Provided proper attribution is provided, Google hereby grants permission to reproduce the tables and figures in this paper solely for use in journalistic or scholarly works.

---

適切な帰属表示が行われる場合、Googleは本論文の表および図を、ジャーナリズムまたは学術的な作品での使用に限り複製することを許可します。

---

Attention Is All You Need

Ashish Vaswani* Google Brain avaswani@google.com

Llion Jones* Google Research llion@google.com

Noam Shazeer$^{*}$ Google Brain noam@google.com

Aidan N. Gomez$^{*\;\dagger}$ University of Toronto aidan@cs.toronto.edu

---

Aidan N. Gomez$^{*\;\dagger}$ トロント大学 aidan@cs.toronto.edu

---

Niki Parmar$^*$ Google Research nikip@google.com

---

ニキ・パルマー$^*$ Google Research nikip@google.com

---

Illia Polosukhin$^{* \; \ddagger}$

illia.polosukhin@gmail.com

---

イリア・ポロスクヒン$^{* \; \ddagger}$

illia.polosukhin@gmail.com

---

Łukasz Kaiser* Google Brain lukaszkaiser@google.com

Abstract

---

要約

---

Jakob Uszkoreit$^{*}$ Google Research usz@google.com

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

---

主流のシーケンス変換モデルは、エンコーダとデコーダを含む複雑な再帰型または畳み込みニューラルネットワークに基づいている。最も性能の高いモデルはさらに、エンコーダとデコーダをアテンション機構で接続している。我々は、再帰や畳み込みを完全に排除し、アテンション機構のみに基づく新しい単純なネットワークアーキテクチャであるTransformerを提案する。2つの機械翻訳タスクにおける実験により、これらのモデルが品質において優れており、並列化が容易で、トレーニングに要する時間が大幅に少ないことが示された。本モデルは、WMT 2014の英語からドイツ語への翻訳タスクでBLEUスコア28.4を達成し、アンサンブルを含む既存の最良結果を2 BLEU以上上回った。また、WMT 2014の英語からフランス語への翻訳タスクでは、8つのGPU上で3.5日間トレーニングした後に、単一モデルとして新たなstate-of-the-artとなるBLEUスコア41.8を記録し、これは文献にある最良モデルのトレーニングコストのごく一部であった。さらに、Transformerが大規模および限られたトレーニングデータの下で英語の統語木解析タスクにも成功적으로適用されることから、他のタスクへの汎化性が高いことを示す。

---

arXiv:1706.03762v7 [cs.CL] 2 Aug 2023

$^{*}$Equal contribution. Listing order is random. Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. Ashish, with Illia, designed and implemented the first Transformer models and has been crucially involved in every aspect of this work. Noam proposed scaled dot-product attention, multi-head attention and the parameter-free position representation and became the other person involved in nearly every detail. Niki designed, implemented, tuned and evaluated countless model variants in our original codebase and tensor2tensor. Llion also experimented with novel model variants, was responsible for our initial codebase, and efficient inference and visualizations. Lukasz and Aidan spent countless long days designing various parts of and implementing tensor2tensor, replacing our earlier codebase, greatly improving results and massively accelerating our research.

$^{\dagger}$Work performed while at Google Brain.

$^{\ddagger}$Work performed while at Google Research.

---

$^{*}$同等貢献。リストの順序はランダムです。JakobはRNNを自己注意機構に置き換えることを提案し、このアイデアの評価に取り組み始めました。AshishはIlliaと共に最初のTransformerモデルの設計と実装を行い、この作業のあらゆる側面に重要な役割を果たしました。Noamはスケーリングされたドット積アテンション、マルチヘッド・アテンション、およびパラメータなしの位置表現を提案し、ほぼすべての詳細に関与したもう一人の人物となりました。Nikiは、元のコードベースやtensor2tensorにおいて、数えきれないほどのモデル変種の設計、実装、チューニング、評価を行いました。Llionもまた、新規なモデル変種の実験を行い、初期のコードベース、効率的な推論、可視化を担当しました。LukaszとAidanは、tensor2tensorの様々な部分の設計と実装に多数の長時間を費やし、以前のコードベースを置き換えることで結果を大幅に改善し、研究を劇的に加速させました。

$^{\dagger}$Google Brain在籍中に実施した研究。

$^{\ddagger}$Google Research在籍中に実施した研究。

---

1 Introduction

---

1 序論

---

Recurrent neural networks, long short-term memory [13] and gated recurrent [7] neural networks in particular, have been firmly established as state of the art approaches in sequence modeling and transduction problems such as language modeling and machine translation [35, 2, 5]. Numerous efforts have since continued to push the boundaries of recurrent language models and encoder-decoder architectures [38, 24, 15].

Recurrent models typically factor computation along the symbol positions of the input and output sequences. Aligning the positions to steps in computation time, they generate a sequence of hidden states $h_t$, as a function of the previous hidden state $h_{t-1}$ and the input for position $t$. This inherently sequential nature precludes parallelization within training examples, which becomes critical at longer sequence lengths, as memory constraints limit batching across examples. Recent work has achieved significant improvements in computational efficiency through factorization tricks [21] and conditional computation [32], while also improving model performance in case of the latter. The fundamental constraint of sequential computation, however, remains.

Attention mechanisms have become an integral part of compelling sequence modeling and transduction models in various tasks, allowing modeling of dependencies without regard to their distance in the input or output sequences [2, 19]. In all but a few cases [27], however, such attention mechanisms are used in conjunction with a recurrent network.

In this work we propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output. The Transformer allows for significantly more parallelization and can reach a new state of the art in translation quality after being trained for as little as twelve hours on eight P100 GPUs.

---

再帰型ニューラルネットワーク、特に長短期記憶 [13] やゲート付き再帰型ニューラルネットワーク [7] は、言語モデリングや機械翻訳などの系列モデル化および変換問題において最先端のアプローチとして確固たる地位を築いています [35, 2, 5]。その後、再帰型言語モデルおよびエンコーダ・デコーダアーキテクチャの限界を引き上げるための多くの取り組みが続けられてきました [38, 24, 15]。

再帰型モデルは通常、入力および出力系列の記号位置に沿って計算を分割します。計算時間のステップに位置を対応させることで、以前の隠れ状態 $h_{t-1}$ と位置 $t$ の入力を関数として用い、隠れ状態の系列 $h_t$ を生成します。この本質的に逐次的な性質により、トレーニング例内での並列化が不可能になり、系列長が長くなるにつれてこれが重要になります。なぜなら、メモリ制約が例間のバッチ処理を制限するためです。最近の研究では、因子分解トリック [21] および条件付き計算 [32] を通じて計算効率を大幅に向上させるとともに、後者の場合においてはモデル性能も改善しています。しかし、逐次計算という根本的な制約は依然として残っています。

注意機構（attention mechanisms）は、さまざまなタスクにおける魅力的な系列モデル化および変換モデルの不可欠な部分となっており、入力または出力系列内での距離に関係なく依存関係をモデル化することを可能にしています [2, 19]。ただし、ごく一部のケース [27] を除き、これらの注意機構は再帰型ネットワークと組み合わせて使用されています。

本研究では、再帰を避け、代わりに注意機構のみを用いて入力と出力の間にグローバルな依存関係を抽出するモデルアーキテクチャである「Transformer」を提案します。Transformer は著しく高い並列化を可能にし、8つのP100 GPU上でわずか12時間トレーニングするだけで、翻訳品質において新たな最先端を達成することができます。

---

2 Background

---

2 背景

---

The goal of reducing sequential computation also forms the foundation of the Extended Neural GPU [16], ByteNet [18] and ConvS2S [9], all of which use convolutional neural networks as basic building block, computing hidden representations in parallel for all input and output positions. In these models, the number of operations required to relate signals from two arbitrary input or output positions grows in the distance between positions, linearly for ConvS2S and logarithmically for ByteNet. This makes it more difficult to learn dependencies between distant positions [12]. In the Transformer this is reduced to a constant number of operations, albeit at the cost of reduced effective resolution due to averaging attention-weighted positions, an effect we counteract with Multi-Head Attention as described in section 3.2.

Self-attention, sometimes called intra-attention is an attention mechanism relating different positions of a single sequence in order to compute a representation of the sequence. Self-attention has been used successfully in a variety of tasks including reading comprehension, abstractive summarization, textual entailment and learning task-independent sentence representations [4, 27, 28, 22].

End-to-end memory networks are based on a recurrent attention mechanism instead of sequence-aligned recurrence and have been shown to perform well on simple-language question answering and language modeling tasks [34].

To the best of our knowledge, however, the Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence-aligned RNNs or convolution. In the following sections, we will describe the Transformer, motivate self-attention and discuss its advantages over models such as [17, 18] and [9].

---

逐次計算の削減という目標は、拡張ニューラルGPU [16]、ByteNet [18]、ConvS2S [9] の基盤を形成しており、これらはすべて畳み込みニューラルネットワークを基本的な構成要素として用い、すべての入力および出力位置に対して隠れ表現を並列に計算する。これらのモデルでは、任意の2つの入力または出力位置間の信号を関連付けるために必要な操作数は、位置間の距離とともに増加し、ConvS2Sでは線形に、ByteNetでは対数的に増加する。これは、遠く離れた位置間の依存関係を学習することをより困難にする [12]。Transformerでは、アテンション重み付けされた位置の平均化により有効解像度が低下するという代償を払うものの、この操作数が一定数にまで削減される。この効果については、3.2節で説明するマルチヘッド・アテンションによって相殺する。

自己アテンション（intra-attentionとも呼ばれる）は、単一シーケンスの異なる位置同士を関連付けてそのシーケンスの表現を計算するアテンション機構である。自己アテンションは、読解、要約、テキストの含意関係、タスク非依存の文表現の学習など、さまざまなタスクで成功的に使用されてきた [4, 27, 28, 22]。

エンドツーエンドのメモリネットワークは、シーケンス整列型の再帰ではなく再帰的アテンション機構に基づいており、単純な言語による質問応答や言語モデリングのタスクで良好なパフォーマンスを示している [34]。

しかしながら、我々の知る限り、Transformerは初めて、シーケンス整列型のRNNや畳み込みを用いることなく、自己アテンションのみを使用して入出力の表現を計算するトランスダクションモデルである。次のセクションでは、Transformerについて説明し、自己アテンションの動機づけを行い、[17, 18] および [9] などのモデルに対する利点について議論する。

---

3 Model Architecture

---

3 モデルアーキテクチャ

---

Most competitive neural sequence transduction models have an encoder-decoder structure [5, 2, 35]. Here, the encoder maps an input sequence of symbol representations $(x_1, ..., x_n)$ to a sequence of continuous representations $\mathbf{z} = (z_1, ..., z_n)$. Given $\mathbf{z}$, the decoder then generates an output sequence $(y_1, ..., y_m)$ of symbols one element at a time. At each step the model is auto-regressive [10], consuming the previously generated symbols as additional input when generating the next.

---

最も競争力のあるニューラル系列変換モデルは、エンコーダ・デコーダ構造を持っている [5, 2, 35]。ここで、エンコーダは記号表現の入力系列 $(x_1, ..., x_n)$ を連続的な表現の系列 $\mathbf{z} = (z_1, ..., z_n)$ にマッピングする。$\math记号$が与えられたとき、デコーダは次に生成される記号を1つずつ消費しながら、出力系列 $(y_1, ..., y_m)$ を逐次生成する。各ステップにおいて、モデルは自己回帰的 [10] であり、次の記号を生成する際に、以前に生成された記号を追加の入力として使用する。

---

<img src="https://www.kolmopdf.com/images/sk-72e2d70ad175490c80c14b553bdd1e3a/572/3-1.png" style="zoom:70%; display: block; margin: 0 auto;" />

Figure 1: The Transformer - model architecture.

---

図1: Transformer - モデルアーキテクチャ

---

The Transformer follows this overall architecture using stacked self-attention and point-wise, fully connected layers for both the encoder and decoder, shown in the left and right halves of Figure 1, respectively.

---

Transformerは、エンコーダとデコーダの両方にスタックされた自己注意機構およびポイントワイズ・全結合層を用いたこの全体アーキテクチャを採用しており、それぞれ図1の左半分と右半分に示されています。

---

3.1 Encoder and Decoder Stacks

---

3.1 エンコーダとデコーダのスタック

---

Encoder: The encoder is composed of a stack of $N = 6$ identical layers. Each layer has two sub-layers. The first is a multi-head self-attention mechanism, and the second is a simple, position-wise fully connected feed-forward network. We employ a residual connection [11] around each of the two sub-layers, followed by layer normalization [1]. That is, the output of each sub-layer is $\text{LayerNorm}(x + \text{Sublayer}(x))$, where $\text{Sublayer}(x)$ is the function implemented by the sub-layer itself. To facilitate these residual connections, all sub-layers in the model, as well as the embedding layers, produce outputs of dimension $d_{\text{model}} = 512$.

Decoder: The decoder is also composed of a stack of $N = 6$ identical layers. In addition to the two sub-layers in each encoder layer, the decoder inserts a third sub-layer, which performs multi-head attention over the output of the encoder stack. Similar to the encoder, we employ residual connections around each of the sub-layers, followed by layer normalization. We also modify the self-attention sub-layer in the decoder stack to prevent positions from attending to subsequent positions. This masking, combined with fact that the output embeddings are offset by one position, ensures that the predictions for position $i$ can depend only on the known outputs at positions less than $i$.

---

エンコーダ: エンコーダは、$N = 6$ 層の同一なレイヤーのスタックで構成されています。各レイヤーには2つのサブレイヤーがあります。1つ目はマルチヘッド自己注意機構であり、2つ目は単純な位置ごとの全結合順伝播ネットワークです。各サブレイヤーの周囲には残差接続 [11] を採用し、その後にレイヤー正規化 [1] を行います。つまり、各サブレイヤーの出力は $\text{LayerNorm}(x + \text{Sublayer}(x))$ となります。ここで、$\text{Sublayer}(x)$ はサブレイヤー自体が実装する関数です。これらの残差接続を容易にするため、モデル内のすべてのサブレイヤーおよび埋め込みレイヤーは、次元 $d_{\text{model}} = 512$ の出力を生成します。

デコーダ: デコーダもまた、$N = 6$ 層の同一なレイヤーのスタックで構成されています。エンコーダの各レイヤーにある2つのサブレイヤーに加えて、デコーダは3つ目のサブレイヤーを挿入し、これはエンコーダ・スタックの出力に対してマルチヘッド注意機構を実行します。エンコーダと同様に、各サブレイヤーの周囲に残差接続を採用し、その後にレイヤー正規化を行います。また、デコーダ・スタック内の自己注意サブレイヤーを変更し、ある位置がそれ以降の位置に注意を向けることを防ぎます。このマスク処理と、出力埋め込みが1つずれているという事実を組み合わせることで、位置 $i$ における予測は位置 $i$ より小さい既知の出力のみ依赖于することができます。

---

3.2 Attention

An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is computed as a weighted sum

---

アテンション関数は、クエリとキー・バリューのペアのセットを出力にマッピングするものとして記述できる。ここで、クエリ、キー、バリュー、および出力はすべてベクトルである。出力は重み付き和として計算される

---

<img src="https://www.kolmopdf.com/images/sk-72e2d70ad175490c80c14b553bdd1e3a/572/4-3.png" style="zoom:70%; display: block; margin: 0 auto;" />

Figure 2: (left) Scaled Dot-Product Attention. (right) Multi-Head Attention consists of several attention layers running in parallel.

---

図2: (左) スケーリングされたドット積アテンション。(右) マルチヘッドアテンションは、複数のアテンションレイヤーが並列に動作する構成です。

---

of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key.

---

の値であり、各値に割り当てられる重みは、クエリと対応するキーとの互換性関数によって計算される。

---

3.2.1 Scaled Dot-Product Attention

---

3.2.1 スケーリングされたドット積アテンション

---

We call our particular attention "Scaled Dot-Product Attention" (Figure 2). The input consists of queries and keys of dimension $d_k$, and values of dimension $d_v$. We compute the dot products of the query with all keys, divide each by $\sqrt{d_k}$, and apply a softmax function to obtain the weights on the values.

In practice, we compute the attention function on a set of queries simultaneously, packed together into a matrix $Q$. The keys and values are also packed together into matrices $K$ and $V$. We compute the matrix of outputs as:

$$\text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \tag{1}$$

The two most commonly used attention functions are additive attention [2], and dot-product (multiplicative) attention. Dot-product attention is identical to our algorithm, except for the scaling factor of $\frac{1}{\sqrt{d_k}}$. Additive attention computes the compatibility function using a feed-forward network with a single hidden layer. While the two are similar in theoretical complexity, dot-product attention is much faster and more space-efficient in practice, since it can be implemented using highly optimized matrix multiplication code.

While for small values of $d_k$ the two mechanisms perform similarly, additive attention outperforms dot product attention without scaling for larger values of $d_k$ [3]. We suspect that for large values of $d_k$, the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients $^{4}$. To counteract this effect, we scale the dot products by $\frac{1}{\sqrt{d_k}}$.

---

我々の注目すべき点は「スケーリングされたドット積アテンション」（図2）です。入力は、次元 $d_k$ のクエリとキー、および次元 $d_v$ の値で構成されます。クエリとすべてのキーのドット積を計算し、それぞれを $\sqrt{d_k}$ で除算してから、ソフトマックス関数を適用して値に対する重みを取得します。

実際には、一連のクエリに対して同時にアテンション関数を計算し、それらを行列 $Q$ にパックして格納します。キーと値もまた、行列 $K$ と $V$ にパックして格納されます。出力の行列は以下のように計算されます。

$$\text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \tag{1}$$

最も一般的に使用されるアテンション関数は、加算アテンション [2] とドット積（乗算）アテンションです。ドット積アテンションは、$\frac{1}{\sqrt{d_k}}$ というスケーリング係数を除けば、我々のアルゴリズムと同一です。加算アテンションは、単一の隠れ層を持つフィードフォワードネットワークを使用して適合性関数を計算します。理論的な計算量において両者は似ていますが、ドット積アテンションは高度に最適化された行列乗算コードを使用して実装できるため、実際にはるかに高速かつメモリ効率が優れています。

$d_k$ が小さい場合、両者のメカニズムは同様の性能を示しますが、$d_k$ が大きい場合、加算アテンションはスケーリングなしのドット積アテンションよりも優れた性能を発揮します [3]。我々は、$d_k$ が大きい場合、ドット積の絶対値が大きくなり、ソフトマックス関数が極めて小さな勾配を持つ領域に押しやられるためだと推測しています $^{4}$。この効果を相殺するために、ドット積を $\frac{1}{\sqrt{d_k}}$ によってスケーリングします。

---

3.2.2 Multi-Head Attention

---

3.2.2 マルチヘッドアテンション

---

Instead of performing a single attention function with $d_{\text{model}}$-dimensional keys, values and queries, we found it beneficial to linearly project the queries, keys and values $h$ times with different, learned linear projections to $d_k$, $d_k$ and $d_v$ dimensions, respectively. On each of these projected versions of queries, keys and values we then perform the attention function in parallel, yielding $d_v$-dimensional

---

$d_{\text{model}}$ 次元のキー、バリュー、クエリに対して単一の注意関数を実行するのではなく、学習された異なる線形射影を用いてクエリ、キー、バリューをそれぞれ $d_k$、$d_k$、$d_v$ 次元に $h$ 回線形射影することが有益であることがわかりました。その後、これらの射影されたクエリ、キー、バリューの各バージョンに対して注意関数を並列で実行し、$d_v$ 次元の結果を得ます。

---

$^4$To illustrate why the dot products get large, assume that the components of $q$ and $k$ are independent random variables with mean 0 and variance 1. Then their dot product, $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$, has mean 0 and variance $d_k$.

---

$^4$ドット積が大きくなる理由を説明するために、$q$ と $k$ の成分が平均0、分散1の独立な確率変数であると仮定する。このとき、それらのドット積 $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$ は平均0、分散 $d_k$ を持つ。

---