第四页 · 证据
主结果报在 Table II。模型按任务分成 、、,再按是否闭源分行。Abstract 与 Conclusion 写“17”个当时领先的模型;Section I 写 over 17。表上是十七行。Ovi 与 LTX 各出现两次(T2AV 与 I2AV),独立系统为十五。闭源只在随机 100 对提示上评 T2AV;开源评全部 337 组(Section IV-A)。下列数字一律照抄表格,不另作四舍五入。
Table II · Section IV-A · Section IV-C · Abstract / Section I 的“17”与“超过 17”并立
Table II · PhyAVBench 定量评测。↑ 越高越好,↓ 越低越好。粗体行是各类别 CPRS 最高者。商业 T2AV 与开源 T2AV 的抽样不同,不可当作同分布横比。
| 模型 | FVD ↓ | KVD ↓ | FAD ↓ | TV-IB ↑ | TA-IB ↑ | CLIP ↑ | CLAP ↑ | AV-IB ↑ | DeSync ↓ | AVH ↑ | Javis ↑ | CPRS ↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Sora 2 · T2AV 商 | 578.70 | 72.04 | 4.25 | 0.3415 | 0.1465 | 0.2713 | 0.0314 | 0.2137 | 0.0310 | 0.2118 | 0.1803 | 0.4512 |
| Wan 2.6 · T2AV 商 | 656.62 | 108.25 | 1.48 | 0.3434 | 0.1467 | 0.2792 | 0.0313 | 0.2143 | 0.2370 | 0.2141 | 0.1846 | 0.4120 |
| Seedance 1.5 Pro · T2AV 商 | 968.03 | 315.38 | 3.09 | 0.3274 | 0.1836 | 0.2663 | 0.0186 | 0.2794 | 0.0095 | 0.2754 | 0.2412 | 0.4044 |
| Kling v2.6 · T2AV 商 | 737.52 | 162.64 | 1.48 | 0.3373 | 0.1652 | 0.2725 | 0.0261 | 0.2654 | 0.1995 | 0.2756 | 0.2355 | 0.3718 |
| Veo 3.1 · T2AV 商 | 755.51 | 189.83 | 3.48 | 0.3394 | 0.1123 | 0.2723 | 0.0376 | 0.2136 | 0.0310 | 0.2211 | 0.1950 | 0.3563 |
| Ovi · T2AV 开 | 529.44 | 238.87 | 2.70 | 0.3125 | 0.0536 | 0.2632 | 0.0021 | 0.1509 | 0.3421 | 0.1578 | 0.1355 | 0.3290 |
| LTX · T2AV 开 | 682.38 | 175.86 | 5.76 | 0.3120 | 0.1150 | 0.2618 | 0.0021 | 0.1178 | 0.2488 | 0.1332 | 0.1039 | 0.3235 |
| JavisDiT · T2AV 开 | 656.82 | 244.63 | 3.29 | 0.3131 | 0.1387 | 0.2594 | −0.0167 | 0.1293 | 0.2502 | 0.1320 | 0.1148 | 0.2938 |
| JavisDiT++ · T2AV 开 | 474.62 | 76.89 | 4.55 | 0.3303 | 0.1182 | 0.2693 | 0.0072 | 0.1553 | 0.4903 | 0.1776 | 0.1498 | 0.2844 |
| MOVA · I2AV | 157.43 | 14.17 | 1.37 | 0.3116 | 0.1204 | 0.2676 | 0.0135 | 0.2116 | 0.7788 | 0.2110 | 0.1679 | 0.3613 |
| LTX · I2AV | 254.35 | 45.99 | 7.53 | 0.3094 | 0.0980 | 0.2641 | 0.0201 | 0.0964 | 0.2910 | 0.1010 | 0.0772 | 0.3285 |
| Ovi · I2AV | 122.79 | 7.46 | 3.15 | 0.3049 | 0.0493 | 0.2645 | −0.0008 | 0.1526 | 0.3372 | 0.1579 | 0.1373 | 0.3198 |
| UniVerse-1 · I2AV | 340.20 | 32.14 | 5.84 | 0.2573 | 0.0640 | 0.2338 | −0.0076 | 0.0792 | 0.7050 | 0.0806 | 0.0565 | 0.2729 |
| MMAudio · V2A | — | — | 1.36 | — | 0.1588 | — | 0.0265 | 0.2684 | 0.2896 | 0.2697 | 0.2200 | 0.4003 |
| HunyuanVideo-Foley · V2A | — | — | 1.64 | — | 0.1475 | — | 0.0272 | 0.2721 | 0.3070 | 0.2727 | 0.2260 | 0.3896 |
| ThinkSound · V2A | — | — | 1.60 | — | 0.1161 | — | 0.0228 | 0.1874 | 0.7138 | 0.1941 | 0.1458 | 0.3186 |
| FoleyCrafter · V2A | — | — | 1.88 | — | 0.1457 | — | 0.0175 | 0.2520 | 0.8878 | 0.2580 | 0.2101 | 0.3019 |
。开源 T2AV 的视觉质量可以与商业组竞争:JavisDiT++ 的 FVD 474.62 为 T2AV 全列最低;Sora 2 的 KVD 72.04 为商业组最低。音频上商业组占优,Wan 2.6 与 Kling v2.6 的 FAD 并列 1.48。加上第一帧之后,I2AV 的 FVD/KVD 显著下降:Ovi 为 122.79 / 7.46,MOVA 的 FAD 1.37 为 I2AV 最低。V2A 不报 FVD/KVD(画面不是它生成的);MMAudio 的 FAD 1.36 为全表音频最低。作者的判断是:视觉保真与音频保真之间存在权衡,两端同时做好仍然困难。
语义列。商业 T2AV 的 TV-IB 与 CLIP 普遍较高:Wan 2.6 的 TV-IB 0.3434、CLIP 0.2792 为商业组最高;Sora 2 次之(0.3415 / 0.2713)。全体模型的 文本—音频分都很低,JavisDiT 为 −0.0167。Section IV-C 承认:CLAP 可能未在类似本数据集的困难文本—音频对上充分训练,其文本编码器未必能分辨这些细粒度系统。随后一句写:“the TV-IB score suggests that Seedance 1.5 Pro outperforms the other models.” 表中 Seedance 的 TV-IB 是 0.3274,为商业 T2AV 最低;它的 TA-IB 0.1836 才是最高。本页并列原文与表格,不改写其中任何一方。
同步列。商业 T2AV 中 Seedance 1.5 Pro 的 AV-IB 0.2794、Javis 0.2412 最高,DeSync 0.0095 最低;Kling v2.6 的 AVH 0.2756 最高。开源组整体落后:JavisDiT++ 的 AV-IB / AVH / Javis 为开源最高,LTX 的 DeSync 0.2488 为开源最低。I2AV 里 MOVA 的三项同步最高,但 DeSync 0.7788 很大;LTX 的 DeSync 0.2910 相对最好。V2A 里 HunyuanVideo-Foley 同步总体最好,MMAudio 的 DeSync 最低。条件更强(有图、有片)并未取消时间错位。Seedance 的同步可以接近最好,CPRS 仍是 0.4044,低于 Sora 2 的 0.4512。对齐好,不等于物理变化对。
Section IV-C1 · Table II
Section IV-C2 把物理列单独拿出来。尽管语义相关性高,模型在物理锚定上持续困难。T2AV 商业组最高的 , 为 0.4512;开源的 JavisDiT++ 为 0.2844。V2A 领先的 MMAudio 为 0.4003。作者的解释是:模型可以合成“语义上说得通”的声音——锤子配一段通用撞击声——却反映不出由物理性质变化所规定的、带方向的声学移动,例如空塑料瓶与装水塑料瓶的共振之别。
Figure 3 给出可核对的个例,不是 Table II 的平均。HunyuanVideo-Foley 在 Helmholtz 场景上 CPRS 0.799,衰减时间的收缩方向与真值一致;另一例 0.642。JavisDiT 在遮挡任务上为 0.262 / 0.270,LTX 为 0.253 / 0.267,输出被写成静态或与物理相反,音高或响度该变时不变。作者据此说:当前模型主要是语义驱动,按类别生成,而不是按定律生成。
Figure 4 的雷达图(正文无逐维数字,此处不臆造刻度):T2AV 中 Sora 2 最强且较均衡,尤其在时间/因果与复杂耦合;Wan 2.6 与 Seedance 在观察者物理与耦合上可竞争。开源模型各维落后,流体与声传播尤甚。I2AV 中 MOVA 在流体相关效应上突出,UniVerse-1 最弱,尤其在时间推理。V2A 中 HunyuanVideo-Foley 与 MMAudio 占优。收束句:所有模型都在流体动力学、声传播与复杂相互作用上吃力。
Section IV-C2 · Section IV-C3 · Figure 3 · Figure 4 · Table II
人工部分评文本一致(TC-MOS)、声画同步(AV-Sync-MOS)、物理变化响应(PVR-MOS),均为 1–5 的 。Abstract 与 Section IV-B 写 74 名参与者。附录 B-B:抽 20 组提示,每组评 10 个 T2AV 系统(含真值,引用 [1],[3],[5],[30]–[33],[44],[45]),每条输出三问,共 600 题;质控后保留 419 条有效作答。正文 Figure 5 给出各系统柱状图。本文不从该图读取未写入段落的阿拉伯数字。写入段落的判断是:Wan 2.6 在三项上均为最高,随后是 Sora 2 与 Kling v2.6;开源的 JavisDiT 与 JavisDiT++ 在时间一致性与物理真实感上明显吃力;即使领先模型与真值之间仍有 reality gap,且缺口在 PVR-MOS 上最显著。
自动指标与 PVR-MOS 的 见 Table III。CPRS 为 0.92,高于 CLAP 0.84、AV-IB 0.76、AVH 0.72、Javis 0.71、DeSync 0.62、TA-IB 0.58、FAD 0.51。作者据此称 CPRS 是物理合理性的可自动代理。附录 Table VIII 换三种嵌入后,相关仍高于 0.89:ImageBind 0.9457,LAION-CLAP 0.9230,CAV-MAE-Sync 0.8927。主表 0.92 与 0.9230 相符。绝对 CPRS 会随嵌入移动:同一 Sora 2,CLAP 下 0.4512,ImageBind 下 0.4288,CAV-MAE-Sync 下 0.3479;后一设置中 Wan 2.6 的 0.3595 超过 Sora 2。作者写 rankings remain largely consistent;T2AV 的第一名在第三种嵌入上并不是 Sora 2。
与 PVR-MOS 的 Pearson。其余自动指标最高为 CLAP 0.84。
商业 T2AV 最高 CPRS。作者仍写 only。闭源 100 对。
74 人;600 题;质控后 419 条有效作答。MOS 绝对值未写入正文。
Section IV-C4 · Table III · Appendix B-B · Appendix B-A Tables V–VIII · Figure 5 的像素分数不录入