第四页 · 证据
主结果报在 WMT 2014 的 newstest2014 上，指标是 tokenized BLEU（Papineni et al., 2002）：按系统译文与参考译文之间的片段重合程度自动打分，并惩罚过短的输出。它是当时机器翻译评测的通行数字，并不直接等于“句子通不通”，但足以比较系统高下。下文分数均指 。数据规模如下：英德约 450 万句对，共享约 37k 的子词词表——其构造是迭代合并频繁符号对，把稀有词拆开、常见词保持完整，即 ；英法 3600 万句、32k word-piece。按长度分桶，每个 batch 大约 25,000 源 token 加 25,000 目标 token。
优化器用 Adam（β1=0.9、β2=0.98、ε=10−9），学习率带 4000 step 的升温：lrate = d_model−0.5 · min(step−0.5, step · warmup−1.5)。base 的随机丢弃比例 Pdrop=0.1，标签平滑 εls=0.1——作者写明它伤 perplexity、助 BLEU。perplexity 是平均负对数似然的指数，衡量模型对语料的拟合，越低越好；它是语言模型指标，并不自动等于翻译质量。下文记为 。随机丢弃加在每个子层输出、残差相加之前，以及嵌入与位置编码之和上。
墙钟：base 在八张 P100 上约 0.4 秒/步、100,000 步，大约十二小时，对应 Introduction 那句 new SOTA after training；big 约 1.0 秒/步、300,000 步，3.5 天。P100 是当时用于训练的图形处理器型号。估计训练量 Table 2 记成 base 3.3×1018 FLOPs、big 2.3×1019（两个语种共用一格）。参数：base 65×106，big 213×106（N 仍是 6，dmodel=1024，dff=4096，h=16，Pdrop=0.3；英法的 big 实际用了 0.1 而非 0.3）。
解码用集束搜索：每一步保留若干条最可能的部分假说，而不是只走当前最优的一条，并配以长度惩罚以免短句占便宜。宽度 4，长度惩罚 α=0.6；下文记为 。平均最后 5 个（base）或 20 个（big）checkpoint。
Sections 5.1–5.4 · Section 6.1 · Table 2 · Table 3
Table 2 · WMT 2014 newstest2014 BLEU。只抄论文写出的数字，不补“约”出来的分数。
| 模型 | EN–DE | EN–FR | 笔记 |
|---|---|---|---|
| 23.75 | — | 卷积；对数路径 | |
| + RL | 24.6 | 39.92 | 循环工业线 |
| 25.16 | 40.46 | 卷积 seq2seq | |
| MoE | 26.03 | 40.56 | Shazeer et al. 2017 |
| GNMT ensemble | 26.30 | 41.16 | |
| ConvS2S ensemble | 26.36 | 41.29 | |
| Deep-Att + PosUnk | — | 39.2 | ensemble 40.4 |
| Transformer base | 27.3 | 38.1 | 65M · ~12h |
| Transformer big | 28.4 | 41.8 | Abstract / Table 2 |
ByteNet 的 23.75 说明：卷积线在德语上尚未追上 GNMT 单模型（24.6）。GNMT+RL 的 24.6 / 39.92 是循环加注意力的工业单模型水平；ConvS2S 的 25.16 / 40.46 说明卷积已经能略高于这条工业单模型。MoE 的 26.03 / 40.56 是当时单模型最高的一档。GNMT ensemble 的 26.30 / 41.16 与 ConvS2S ensemble 的 26.36 / 41.29 说明：多模型平均还能再抬大约半个到一个点，而 26.36 / 41.29 即本文上场前记分板上的最高分。
英德上，base 的 27.3 已经单独超过那些 ensemble（最高 26.36）。这说明：拆掉循环之后，较小的一档配置在德语上已不必靠多模型平均才能压过先前最好系统。big 的 28.4 比此前最佳（含 ensemble 的 26.36）高出超过 2 BLEU——Abstract 和 Section 6.1 都这么说。相对于 GNMT+RL 的 24.6，这是将近 4 个点；相对于 ConvS2S 单模型的 25.16，也超过 3 个点。训练成本按 Table 2 的口径是 “a fraction”。
英法更须分开读。base 的 38.1 低于表里若干先前的单模型（GNMT+RL 39.92，ConvS2S 40.46，MoE 40.56）。因而法语上的 state-of-the-art 主张，针对的是 big，而不是 base。Abstract 与 Table 2 写 big 为 41.8，称新的 single-model SOTA——若取 41.8，则单模型已略高于 ConvS2S ensemble 的 41.29。同一份 v7 PDF 的 Section 6.1 却写 41.0。若取 41.0，则尚未超过该 ensemble。本页并列二者，不裁定哪一个是“真分数”。
开发集（newstest2013 英德，未做 checkpoint 平均的变体表）：base PPL 4.92 / BLEU 25.8，big PPL 4.33 / BLEU 26.4。这些 perplexity 按 wordpiece 计，Table 3 caption 警告不要拿去与按词计的 perplexity 相比。
他们还把同一套转导模型用于英语成分句法（WSJ Section 23）：输入是句子，输出是成分树的序列化写法。四层、dmodel=1024：仅用约 4 万句 WSJ 得到 F1 91.3，半监督约 1700 万句得到 92.7。解码 beam 21、α=0.3，输出上限为输入长度 +300。它超过了 BerkeleyParser 的 90.4（仅用 WSJ），但没有超过 RNNG（Dyer et al., 2016）生成式 93.3，也没有超过 Luong 等人 multi-task 的 93.0。RNNG 是把句法推导动作本身当成序列来建模的生成式句法模型；下文记为 。因而句法栏说明的是：这套结构可以迁移到另一类序列转导，但并不是这篇论文赢下的战场。
Section 6.3 · Table 4 · 搜索只覆盖 dropout、学习率和 beam；句法的未完成部分在余韵页