IEDB Analysis Resource

MHCII Weekly Benchmark results


Overall scores

Overall scores based on data sets submitted to the IED for the last at least 5 references. The overall scores in the SRCC and AUC columns are calculated using performance values for only SRCC or AUC respectively. In the overall column, both evaluation types are used.

Server Overall SRCC AUC
NN-align 65 64 65
NetMHCIIpan-3.1 81 80 82
Comblib matrices 14 14 15
SMM-align 45 45 44
Tepitope (Sturniolo) 25 25 26
Consensus IEDB method 52 52 53

Data set specific results

Detailed information for the evaluated data sets used in the calculation of the overall scores in the table above. Predictions from each participating server for the data sets listed below may be downloaded here

Datasets displayed in gray showed poor performance across all of the available predictors and are excluded from the overall ranking, pending further analysis.


IEDB
Reference
Allele Peptide
Count
Positive
Count
Measurement
type
NN-align NetMHCIIpan-3.1 Comblib matrices SMM-align Tepitope (Sturniolo) Consensus IEDB method
SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC
 1027578   0   14   10   ic50   0.925   0.975   0.945   1.000   -   -   0.860   0.900   0.707   0.925   0.900   0.950 
 1027578   0   19   12   ic50   0.709   0.952   0.646   0.929   0.784   0.964   0.737   0.976   0.514   0.899   0.792   1.000 
 1027578   0   20   7   ic50   0.668   0.901   0.807   0.945   0.386   0.703   0.635   0.879   -   -   0.591   0.846 
 1027578   0   14   4   ic50   0.402   0.600   0.516   0.800   0.548   0.725   0.460   0.725   -   -   0.465   0.650 
 1027578   0   18   13   ic50   -   -   0.428   0.692   -   -   -   -   -   -   -   - 
 1027865   0   18   16   binary   0.511   0.969   0.545   1.000   0.000   0.500   0.477   0.938   0.256   0.734   0.477   0.938 
 1027865   0   18   11   binary   0.384   0.727   0.538   0.818   -   -   0.472   0.779   0.637   0.883   0.561   0.838 
 1027865   0   18   15   binary   0.101   0.578   0.330   0.756   -   -   0.072   0.556   -0.029   0.478   0.043   0.533 
 1027865   0   18   9   binary   0.675   0.889   0.632   0.864   0.353   0.704   0.482   0.778   0.225   0.630   0.675   0.889 
 1027865   0   18   14   binary   0.515   0.857   0.567   0.893   -   -   0.309   0.714   0.451   0.812   0.541   0.875 
 1027865   0   18   9   binary   -   -   0.632   0.864   -   -   -   -   0.471   0.772   0.471   0.772 
 1027865   0   18   5   binary   0.371   0.738   0.347   0.723   -0.012   0.492   0.084   0.554   -   -   0.227   0.646 
 1027865   0   18   12   binary   0.681   0.917   0.750   0.958   -   -   0.568   0.847   0.318   0.694   0.454   0.778 
 1028057   0   29   22   ic50   0.719   0.851   0.814   0.890   0.675   0.851   0.730   0.753   0.604   0.740   0.787   0.851 
 1028057   0   29   25   ic50   0.649   0.870   0.623   0.920   -   -   0.721   0.770   0.591   0.525   0.728   0.760 
 1028057   0   29   27   ic50   0.786   0.907   0.726   0.889   0.117   0.778   0.634   0.796   0.711   0.722   0.755   0.963 
 1028057   0   29   24   ic50   -   -   0.142   0.483   -   -   -   -   0.338   0.842   0.330   0.842 
 1028057   0   29   26   ic50   0.473   0.692   0.457   0.679   -   -   0.366   0.705   0.349   0.712   0.473   0.744 
 1028237   0   339   50   ic50   -   -   0.432   0.806   -   -   -   -   -   -   -   - 
 1028238   0   759   264   ic50   -   -   0.537   0.760   -   -   -   -   -   -   -   - 
 1028239   0   834   197   ic50   -   -   0.574   0.771   -   -   -   -   -   -   -   - 
 1028241   0   885   642   ic50   0.749   0.876   0.782   0.890   0.583   0.789   0.692   0.849   0.613   0.816   0.728   0.864 
 1028242   0   863   491   ic50   0.578   0.777   0.715   0.856   -   -   0.565   0.777   0.504   0.749   0.591   0.790 
 1028243   0   861   467   ic50   0.592   0.797   0.711   0.861   -   -   0.582   0.783   0.632   0.828   0.615   0.802 
 1028244   0   857   466   ic50   0.731   0.869   0.749   0.876   0.550   0.784   0.718   0.862   0.611   0.813   0.729   0.867 
 1028245   0   889   383   ic50   -   -   0.719   0.863   -   -   -   -   0.592   0.799   0.591   0.799 
 1028246   0   855   552   ic50   0.694   0.857   0.718   0.880   0.163   0.601   0.599   0.803   -   -   0.617   0.820 
 1028247   0   868   457   ic50   0.710   0.859   0.745   0.880   -   -   0.674   0.840   0.571   0.793   0.675   0.841 
 1028248   0   837   474   ic50   -   -   0.535   0.772   -   -   -   -   0.548   0.787   0.548   0.787 
 1028249   0   854   526   ic50   -   -   0.713   0.889   -   -   -   -   -   -   -   - 
 1028250   0   832   235   ic50   0.545   0.825   0.596   0.835   0.296   0.678   0.524   0.806   -   -   0.480   0.801 
 1028251   0   771   306   ic50   -   -   0.432   0.740   -   -   -   -   -   -   -   - 
 1028252   0   854   500   ic50   -   -   0.563   0.781   -   -   -   -   -   -   -   - 
 1028253   0   821   507   ic50   -   -   0.538   0.788   -   -   -   -   -   -   -   - 
 1028254   0   762   488   ic50   0.660   0.806   0.743   0.843   -   -   0.609   0.778   0.526   0.740   0.607   0.775 
 1028269   0   17   7   binary   0.756   0.943   0.756   0.943   0.598   0.850   0.659   0.886   0.586   0.843   0.683   0.900 
 1028269   0   17   4   binary   0.057   0.538   0.170   0.615   -   -   0.170   0.615   -0.198   0.365   -0.028   0.481 
 1028269   0   17   6   binary   0.477   0.788   0.628   0.879   -   -   0.402   0.742   0.452   0.773   0.503   0.803 
 1028269   0   17   9   binary   0.674   0.889   0.650   0.875   0.433   0.750   0.553   0.819   0.301   0.681   0.529   0.806 
 1028269   0   17   5   binary   0.553   0.850   0.527   0.833   0.164   0.600   0.580   0.867   -   -   0.398   0.750 
 1028269   0   15   2   binary   0.136   0.615   0.227   0.692   -   -   0.318   0.769   0.272   0.731   0.363   0.808 
 1028269   0   17   7   binary   -   -   0.512   0.800   -   -   -   -   -   -   -   - 
 1028269   0   17   11   binary   0.327   0.697   0.276   0.667   -   -   0.176   0.606   0.201   0.621   0.251   0.652 
 1028269   0   17   4   binary   -   -   0.736   1.000   -   -   -   -   0.481   0.827   0.481   0.827 
 1028711   0   825   455   ic50   -   -   0.215   0.596   -   -   -   -   -   -   -   - 
 1028712   0   565   133   ic50   -   -   -0.056   0.497   -   -   -   -   -   -   -   - 
 1028713   0   765   241   ic50   -   -   0.039   0.519   -   -   -   -   -   -   -   - 
 1028714   0   747   339   ic50   -   -   0.140   0.577   -   -   -   -   -   -   -   - 
 1028715   0   567   118   ic50   -   -   -0.080   0.482   -   -   -   -   -   -   -   - 
 1028716   0   564   179   ic50   -   -   0.614   0.812   -   -   -   -   -   -   -   - 
 1028717   0   818   374   ic50   -   -   0.588   0.814   -   -   -   -   -   -   -   - 
 1028902   0   36   20   binary   0.743   0.931   0.512   0.800   -   -   0.501   0.791   0.528   0.802   0.372   0.716 
 1029396   0   17   15   binary   0.112   0.600   0.037   0.533   -0.019   0.500   0.075   0.567   -0.056   0.450   0.000   0.500 
 1029396   0   17   5   binary   0.343   0.717   0.606   0.883   -   -   0.553   0.850   0.053   0.608   0.343   0.750 
 1029396   0   17   8   binary   0.313   0.681   0.505   0.792   -   -   0.553   0.819   0.750   0.958   0.553   0.819 
 1029396   0   17   11   binary   0.377   0.727   0.653   0.894   0.139   0.583   0.528   0.818   0.202   0.636   0.377   0.727 
 1029396   0   17   14   binary   0.157   0.619   0.189   0.643   -   -   0.189   0.643   0.159   0.619   0.127   0.595 
 1029396   0   17   11   binary   0.578   0.848   0.678   0.909   -   -   0.653   0.894   0.659   0.894   0.603   0.864 
 1030414   0   18   2   ic50   -   -   0.020   0.875   -   -   -   -   -   -   -   - 
 1030414   0   18   4   ic50   0.622   0.964   0.550   0.982   0.423   0.830   0.722   0.946   -   -   0.702   0.991 
 1030414   0   18   13   ic50   0.691   0.862   0.629   0.785   0.062   0.400   0.577   0.738   0.302   0.715   0.577   0.738 
 1030414   0   18   6   ic50   0.227   0.722   0.405   0.889   -   -   0.067   0.625   -0.266   0.542   0.136   0.681 
 1030414   0   18   10   ic50   0.734   0.825   0.690   0.825   0.262   0.731   0.730   0.838   0.482   0.775   0.796   0.931 
 1030414   0   18   4   ic50   0.341   1.000   0.518   0.946   -0.145   0.339   0.461   0.911   -   -   0.353   1.000 
 1030414   0   17   3   ic50   0.543   0.929   0.647   1.000   -   -   0.633   1.000   0.581   0.786   0.561   0.869 
 1030414   0   18   4   ic50   0.515   0.821   0.459   0.804   -   -   0.429   0.732   0.258   0.554   0.443   0.714 
 1030414   0   18   3   ic50   -   -   0.409   0.667   -   -   -   -   0.387   0.556   0.384   0.556 
 1030865   0   14   5   ic50   0.468   0.822   0.534   0.911   0.180   0.556   0.077   0.522   -0.062   0.589   0.512   0.822 
 1030032   0   108   68   ic50   0.472   0.749   0.628   0.818   -0.239   0.416   0.222   0.594   -0.035   0.471   0.192   0.577 
 1030032   0   124   104   ic50   0.316   0.697   0.338   0.744   -   -   -0.097   0.613   0.235   0.565   0.258   0.640 
 1030032   0   132   109   ic50   0.413   0.803   0.549   0.830   -   -   0.209   0.590   0.041   0.444   0.206   0.603 
 1030032   0   148   127   ic50   0.610   0.730   0.684   0.778   0.011   0.433   0.313   0.633   -0.368   0.158   0.380   0.550 
 1030032   0   142   120   ic50   0.320   0.705   0.439   0.736   -   -   0.188   0.385   -0.411   0.279   -0.154   0.315 
 1030032   0   121   108   ic50   0.688   0.931   0.657   0.945   -   -   0.516   0.866   -0.183   0.154   0.096   0.292 
 1030032   0   134   127   ic50   0.606   0.910   0.620   0.903   -   -   0.422   0.756   -0.281   0.280   0.527   0.765 
 1030032   0   120   75   ic50   0.586   0.757   0.541   0.770   -   -   0.009   0.471   -0.392   0.257   -0.101   0.385