This page lists the P-values (from paired studentís t-test) between any two of the top 20 CASP9 participating servers calculated from Zhangís CASP9 assessment scores. The null hypothesis is that the mean difference between two servers is zero. Only the first models are considered here. As of Nov 5, 2010, in total 108 targets are included in Zhangís assessment. The servers in the tables are ranked by their cumulative raw scores. Please feel free to drop an email to jinboxu@gmail.com if you have any questions regarding the results.

 

1.      P-values among top 20 CASP9 servers (All targets, whole-chain, GDT1)

Zhang-Server

QUARK

RaptorX

RaptorX-MSA

RaptorX-Boost

Seok-Server

HHpredA

HHpredB

chunk-TASSER

MULTICOM-CLUSTER

HHpredC

Phyre2

MULTICOM-REFINE

pro-sp3-TASSER

MULTICOM-NOVEL

MULTICOM-CONSTRUCT

BAKER-ROSETTA

SERVER

FAMSD

ZHOU-SPARKS-X

gws

 

Zhang-Server

1

0.48867

0.182943

0.155721

0.083456

0.000314

0.016329

0.016329

1.05E-09

2.19E-05

0.009809

7.62E-07

1.43E-07

2.37E-14

2.67E-07

2.59E-07

3.34E-05

3.1E-08

7.88E-07

2.67E-05

Zhang-Server

QUARK

0.48867

1

0.37089

0.329279

0.206335

0.001649

0.039045

0.039045

4.68E-08

2.54E-05

0.025104

7.03E-06

4.39E-08

1.11E-11

1.66E-07

1.22E-07

0.000166

1.89E-07

4.36E-06

6.37E-05

QUARK

RaptorX

0.182943

0.37089

1

0.458336

0.104799

0.008118

0.063496

0.063496

8.51E-05

0.005116

0.036393

3.6E-05

0.00027

4.17E-06

0.000213

0.000297

0.000973

4.53E-06

1.97E-05

0.00093

RaptorX

RaptorX-MSA

0.155721

0.329279

0.458336

1

0.276999

0.010432

0.077153

0.077153

0.000141

0.007302

0.04417

9.66E-05

0.000438

7.37E-06

0.000337

0.000447

0.001285

6.55E-06

4.02E-05

0.001463

RaptorX-MSA

RaptorX-Boost

0.083456

0.206335

0.104799

0.276999

1

0.020473

0.121388

0.121388

0.000164

0.012953

0.073903

0.000252

0.001127

8.39E-06

0.000797

0.001126

0.002171

1.52E-05

3.18E-05

0.002044

RaptorX-Boost

Seok-Server

0.000314

0.001649

0.008118

0.010432

0.020473

1

0.897355

0.897355

0.054717

0.393464

0.927451

0.136933

0.096357

0.004245

0.068218

0.066831

0.063904

0.002934

0.011588

0.074655

Seok-Server

HHpredA

0.016329

0.039045

0.063496

0.077153

0.121388

0.897355

1

1

0.042908

0.424207

0.169943

0.194196

0.154196

0.022865

0.119207

0.116864

0.050874

0.009901

0.03083

0.064339

HHpredA

HHpredB

0.016329

0.039045

0.063496

0.077153

0.121388

0.897355

1

1

0.042908

0.424207

0.169943

0.194196

0.154196

0.022865

0.119207

0.116864

0.050874

0.009901

0.03083

0.064339

HHpredB

chunk-TASSER

1.05E-09

4.68E-08

8.51E-05

0.000141

0.000164

0.054717

0.042908

0.042908

1

0.188454

0.070057

0.431288

0.510314

0.260151

0.67788

0.688094

0.612128

0.466161

0.398964

0.861898

chunk-TASSER

MULTICOM-CLUSTER

2.19E-05

2.54E-05

0.005116

0.007302

0.012953

0.393464

0.424207

0.424207

0.188454

1

0.547885

0.60559

0.205731

0.047382

0.046

0.115388

0.163286

0.044529

0.049198

0.258941

MULTICOM-CLUSTER

HHpredC

0.009809

0.025104

0.036393

0.04417

0.073903

0.927451

0.169943

0.169943

0.070057

0.547885

1

0.272444

0.222485

0.035801

0.174849

0.171761

0.071922

0.016267

0.045206

0.093881

HHpredC

Phyre2

7.62E-07

7.03E-06

3.6E-05

9.66E-05

0.000252

0.136933

0.194196

0.194196

0.431288

0.60559

0.272444

1

0.872121

0.128974

0.717782

0.710778

0.324355

0.140411

0.142269

0.477994

Phyre2

MULTICOM-REFINE

1.43E-07

4.39E-08

0.00027

0.000438

0.001127

0.096357

0.154196

0.154196

0.510314

0.205731

0.222485

0.872121

1

0.172609

0.590354

0.524658

0.339745

0.106822

0.203562

0.524618

MULTICOM-REFINE

pro-sp3-TASSER

2.37E-14

1.11E-11

4.17E-06

7.37E-06

8.39E-06

0.004245

0.022865

0.022865

0.260151

0.047382

0.035801

0.128974

0.172609

1

0.264559

0.267356

0.982947

0.90939

0.824062

0.686222

pro-sp3-TASSER

MULTICOM-NOVEL

2.67E-07

1.66E-07

0.000213

0.000337

0.000797

0.068218

0.119207

0.119207

0.67788

0.046

0.174849

0.717782

0.590354

0.264559

1

0.981607

0.418016

0.199084

0.224419

0.640339

MULTICOM-NOVEL

MULTICOM-CONSTRUCT

2.59E-07

1.22E-07

0.000297

0.000447

0.001126

0.066831

0.116864

0.116864

0.688094

0.115388

0.171761

0.710778

0.524658

0.267356

0.981607

1

0.44607

0.179767

0.282005

0.650154

MULTICOM-CONSTRUCT

BAKER-ROSETTASERVER

3.34E-05

0.000166

0.000973

0.001285

0.002171

0.063904

0.050874

0.050874

0.612128

0.163286

0.071922

0.324355

0.339745

0.982947

0.418016

0.44607

1

0.913595

0.862926

0.783249

BAKER-ROSETTASERVER

FAMSD

3.1E-08

1.89E-07

4.53E-06

6.55E-06

1.52E-05

0.002934

0.009901

0.009901

0.466161

0.044529

0.016267

0.140411

0.106822

0.90939

0.199084

0.179767

0.913595

1

0.918255

0.672248

FAMSD

ZHOU-SPARKS-X

7.88E-07

4.36E-06

1.97E-05

4.02E-05

3.18E-05

0.011588

0.03083

0.03083

0.398964

0.049198

0.045206

0.142269

0.203562

0.824062

0.224419

0.282005

0.862926

0.918255

1

0.598457

ZHOU-SPARKS-X

gws

2.67E-05

6.37E-05

0.00093

0.001463

0.002044

0.074655

0.064339

0.064339

0.861898

0.258941

0.093881

0.477994

0.524618

0.686222

0.640339

0.650154

0.783249

0.672248

0.598457

1

gws

 

2.      P-values among top 20 CASP9 servers (All targets, whole-chain, TM1)

Zhang-Server

QUARK

RaptorX

RaptorX-MSA

RaptorX-Boost

Seok-Server

HHpredA

HHpredB

chunk-TASSER

MULTICOM-CLUSTER

HHpredC

Phyre2

MULTICOM-REFINE

pro-sp3-TASSER

MULTICOM-NOVEL

MULTICOM-CONSTRUCT

BAKER-ROSETTA

SERVER

FAMSD

ZHOU-SPARKS-X

gws

 

Zhang-Server

1

0.666635

0.091082

0.066323

0.057002

2.27E-05

0.001039

0.001039

5.2E-07

5.9E-05

0.000519

1.84E-06

5.13E-09

3.79E-11

1.93E-07

2.67E-08

0.000302

4.75E-08

4.39E-06

1.74E-06

Zhang-Server

QUARK

0.666635

1

0.185517

0.148132

0.131275

6.5E-05

0.002716

0.002716

6.31E-06

7.7E-05

0.001461

8.91E-06

2.18E-09

4.49E-09

2.12E-07

1.79E-08

0.001045

2.22E-07

1.99E-05

3.11E-06

QUARK

RaptorX

0.091082

0.185517

1

0.206366

0.284917

0.002098

0.007255

0.007255

0.004284

0.011648

0.00325

0.000278

6.13E-05

0.00069

0.000174

0.000123

0.007509

1.96E-05

0.000169

7.39E-05

RaptorX

RaptorX-MSA

0.066323

0.148132

0.206366

1

0.90427

0.003802

0.010576

0.010576

0.007296

0.019141

0.004687

0.000688

0.000165

0.001226

0.000379

0.000269

0.009837

3.41E-05

0.000355

0.000161

RaptorX-MSA

RaptorX-Boost

0.057002

0.131275

0.284917

0.90427

1

0.003679

0.010631

0.010631

0.005476

0.017956

0.004879

0.000677

0.000151

0.000858

0.000337

0.000268

0.010076

2.94E-05

0.000188

0.000106

RaptorX-Boost

Seok-Server

2.27E-05

6.5E-05

0.002098

0.003802

0.003679

1

0.569807

0.569807

0.469198

0.642782

0.409259

0.36803

0.080547

0.193377

0.077861

0.054697

0.213393

0.015798

0.055816

0.022658

Seok-Server

HHpredA

0.001039

0.002716

0.007255

0.010576

0.010631

0.569807

1

1

0.899166

0.886201

0.161561

0.886532

0.490574

0.68573

0.400687

0.381551

0.36895

0.126791

0.244802

0.096729

HHpredA

HHpredB

0.001039

0.002716

0.007255

0.010576

0.010631

0.569807

1

1

0.899166

0.886201

0.161561

0.886532

0.490574

0.68573

0.400687

0.381551

0.36895

0.126791

0.244802

0.096729

HHpredB

chunk-TASSER

5.2E-07

6.31E-06

0.004284

0.007296

0.005476

0.469198

0.899166

0.899166

1

0.768289

0.902433

0.975104

0.480706

0.56196

0.40048

0.366956

0.388726

0.149969

0.18948

0.078879

chunk-TASSER

MULTICOM-CLUSTER

5.9E-05

7.7E-05

0.011648

0.019141

0.017956

0.642782

0.886201

0.886201

0.768289

1

0.723578

0.745841

0.107447

0.49462

0.004727

0.057629

0.297895

0.075145

0.089791

0.083532

MULTICOM-CLUSTER

HHpredC

0.000519

0.001461

0.00325

0.004687

0.004879

0.409259

0.161561

0.161561

0.902433

0.723578

1

0.930704

0.646426

0.841297

0.532775

0.512999

0.46649

0.18878

0.323548

0.144818

HHpredC

Phyre2

1.84E-06

8.91E-06

0.000278

0.000688

0.000677

0.36803

0.886532

0.886532

0.975104

0.745841

0.930704

1

0.50469

0.701841

0.415445

0.393472

0.445323

0.142768

0.185259

0.134395

Phyre2

MULTICOM-REFINE

5.13E-09

2.18E-09

6.13E-05

0.000165

0.000151

0.080547

0.490574

0.490574

0.480706

0.107447

0.646426

0.50469

1

0.768338

0.628132

0.467088

0.678767

0.263903

0.444162

0.267492

MULTICOM-REFINE

pro-sp3-TASSER

3.79E-11

4.49E-09

0.00069

0.001226

0.000858

0.193377

0.68573

0.68573

0.56196

0.49462

0.841297

0.701841

0.768338

1

0.618312

0.584247

0.566986

0.24332

0.29815

0.176159

pro-sp3-TASSER

MULTICOM-NOVEL

1.93E-07

2.12E-07

0.000174

0.000379

0.000337

0.077861

0.400687

0.400687

0.40048

0.004727

0.532775

0.415445

0.628132

0.618312

1

0.969765

0.796959

0.461974

0.517231

0.379137

MULTICOM-NOVEL

MULTICOM-CONSTRUCT

2.67E-08

1.79E-08

0.000123

0.000269

0.000268

0.054697

0.381551

0.381551

0.366956

0.057629

0.512999

0.393472

0.467088

0.584247

0.969765

1

0.824219

0.429691

0.593063

0.385512

MULTICOM-CONSTRUCT

BAKER-ROSETTASERVER

0.000302

0.001045

0.007509

0.009837

0.010076

0.213393

0.36895

0.36895

0.388726

0.297895

0.46649

0.445323

0.678767

0.566986

0.796959

0.824219

1

0.792974

0.831643

0.651877

BAKER-ROSETTASERVER

FAMSD

4.75E-08

2.22E-07

1.96E-05

3.41E-05

2.94E-05

0.015798

0.126791

0.126791

0.149969

0.075145

0.18878

0.142768

0.263903

0.24332

0.461974

0.429691

0.792974

1

0.981398

0.779005

FAMSD

ZHOU-SPARKS-X

4.39E-06

1.99E-05

0.000169

0.000355

0.000188

0.055816

0.244802

0.244802

0.18948

0.089791

0.323548

0.185259

0.444162

0.29815

0.517231

0.593063

0.831643

0.981398

1

0.749138

ZHOU-SPARKS-X

gws

1.74E-06

3.11E-06

7.39E-05

0.000161

0.000106

0.022658

0.096729

0.096729

0.078879

0.083532

0.144818

0.134395

0.267492

0.176159

0.379137

0.385512

0.651877

0.779005

0.749138

1

gws

 

3.      P-values among top 20 CASP9 servers (All targets, domains, GDT1)

Zhang-Server

QUARK

RaptorX

RaptorX-MSA

RaptorX-Boost

Seok-Server

HHpredA

HHpredB

chunk-TASSER

MULTICOM-CLUSTER

HHpredC

Phyre2

MULTICOM-REFINE

pro-sp3-TASSER

MULTICOM-NOVEL

MULTICOM-CONSTRUCT

BAKER-ROSETTA

SERVER

FAMSD

ZHOU-SPARKS-X

gws

 

Zhang-Server

1

0.772532

0.175081

0.162691

0.048296

0.000294

0.007733

0.007733

9.57E-10

1.25E-05

0.004242

2.3E-07

3.81E-06

6.4E-15

4.76E-06

3.55E-07

1.6E-06

9.1E-09

3.36E-08

5.59E-06

Zhang-Server

QUARK

0.772532

1

0.264819

0.257811

0.090167

0.000638

0.015066

0.015066

1.59E-08

9.25E-07

0.008623

4.23E-07

1.46E-07

1.21E-12

3.73E-07

1.01E-08

1.16E-05

1.59E-08

1.5E-07

1.85E-05

QUARK

RaptorX

0.175081

0.264819

1

0.653681

0.005556

0.010071

0.029538

0.029538

0.000307

0.00593

0.015177

3.86E-06

0.003226

4.29E-06

0.00196

0.000595

0.000382

6.71E-07

8.2E-07

0.00038

RaptorX

RaptorX-MSA

0.162691

0.257811

0.653681

1

0.023466

0.010759

0.03219

0.03219

0.000412

0.007923

0.015951

6.72E-06

0.004212

6.19E-06

0.002516

0.000816

0.000433

7.67E-07

1.45E-06

0.0005

RaptorX-MSA

RaptorX-Boost

0.048296

0.090167

0.005556

0.023466

1

0.044445

0.095983

0.095983

0.001321

0.025331

0.054332

0.00011

0.014538

2.55E-05

0.009296

0.003669

0.001804

9.14E-06

5.47E-06

0.001662

RaptorX-Boost

Seok-Server

0.000294

0.000638

0.010071

0.010759

0.044445

1

0.945215

0.945215

0.113292

0.530432

0.827101

0.082026

0.280795

0.007671

0.171396

0.11928

0.059498

0.001137

0.009238

0.081409

Seok-Server

HHpredA

0.007733

0.015066

0.029538

0.03219

0.095983

0.945215

1

1

0.186652

0.615167

0.198285

0.176182

0.427253

0.045799

0.327947

0.243215

0.080001

0.01567

0.035378

0.111964

HHpredA

HHpredB

0.007733

0.015066

0.029538

0.03219

0.095983

0.945215

1

1

0.186652

0.615167

0.198285

0.176182

0.427253

0.045799

0.327947

0.243215

0.080001

0.01567

0.035378

0.111964

HHpredB

chunk-TASSER

9.57E-10

1.59E-08

0.000307

0.000412

0.001321

0.113292

0.186652

0.186652

1

0.232901

0.277579

0.799637

0.442276

0.055193

0.611189

0.787473

0.613186

0.334137

0.298088

0.67548

chunk-TASSER

MULTICOM-CLUSTER

1.25E-05

9.25E-07

0.00593

0.007923

0.025331

0.530432

0.615167

0.615167

0.232901

1

0.793002

0.37236

0.345666

0.027659

0.133205

0.044263

0.169789

0.034126

0.05527

0.222531

MULTICOM-CLUSTER

HHpredC

0.004242

0.008623

0.015177

0.015951

0.054332

0.827101

0.198285

0.198285

0.277579

0.793002

1

0.281165

0.57218

0.071956

0.45498

0.350516

0.125757

0.029535

0.06133

0.168484

HHpredC

Phyre2

2.3E-07

4.23E-07

3.86E-06

6.72E-06

0.00011

0.082026

0.176182

0.176182

0.799637

0.37236

0.281165

1

0.64344

0.207759

0.820162

0.997596

0.475266

0.155939

0.211272

0.579195

Phyre2

MULTICOM-REFINE

3.81E-06

1.46E-07

0.003226

0.004212

0.014538

0.280795

0.427253

0.427253

0.442276

0.345666

0.57218

0.64344

1

0.073093

0.466654

0.147762

0.280985

0.065033

0.13793

0.367269

MULTICOM-REFINE

pro-sp3-TASSER

6.4E-15

1.21E-12

4.29E-06

6.19E-06

2.55E-05

0.007671

0.045799

0.045799

0.055193

0.027659

0.071956

0.207759

0.073093

1

0.132476

0.182383

0.692662

0.979422

0.973503

0.580857

pro-sp3-TASSER

MULTICOM-NOVEL

4.76E-06

3.73E-07

0.00196

0.002516

0.009296