Attention(Q, K, V) = softmax(QKT√dk) V

アテンションは、同じ語でも周りの語を見て向きを変える

Word2Vec では、1つの語に1本のベクトルでした。この回は、同じ語のベクトルを文ごとに作り直す仕組み、アテンションの1本の式を、Q・K・V から順に部品に分けて読みます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Vaswani ほか「Attention Is All You Need」(2017)/Bahdanau・Cho・Bengio「Neural Machine Translation by Jointly Learning to Align and Translate」(2014)/Jain・Wallace「Attention is not Explanation」(2019)/Wiegreffe・Pinter「Attention is not not Explanation」(2019)
変わりやすさ
しばらく変わりにくい
目次はじめに
  1. はじめに
  2. Q は、着目する語の質問メモ
  3. K は、各語の名札。名札も、その場で作る
  4. V は、各語が渡す中身
  5. 合い具合は、内積で測る
  6. 割合にするのは、softmax
  7. √dₖ で割るのは、割合が寄りすぎないため
  8. 混ぜるのは、割合をかけた足し算
  9. この式でできること・できないこと
  10. 確かめたこと

この回の主役は、アテンション(Attention)という仕組みで、頭の式がアテンションの式です。アテンションは、文の中の1つの語のベクトル(数の並び)を、同じ文の語を混ぜて作り直します。Word2Vec では「電話をかける」と「橋をかける」の「かける」が同じ1本で、どちらの「かける」かを表し分けられませんでした。

たとえるなら、着目する語が同じ文の語(自分も入れて)に聞き込みをして、質問メモ(Q)と名札(K)の合い具合で決めた割合で、各語が渡す中身(V)を混ぜます(聞き込みはこの回のたとえで、論文の言葉ではありません)。

下の図で文を切り替えると、同じ「かける」の混ぜた後の点が動きます。各節は式の部品ごとに1文で、+を開くと説明と図が出ます。

相手の語q·k÷√3exp割合
母に1.350.782.180.18
電話を3.622.098.060.68
かける(自分)0.900.521.680.14
exp の合計 = 11.92 割合の合計 = 1.00

混ぜた後の「かける」は (0.84, 0.14)。もう一方の文では (0.14, 0.84) です。

「〜を」重視意味の軸重視25°その間
×1.0式のまま

数・軸の名前・「鋭さ」のつまみは説明用で(論文の √dk は動かしていません)、表の数は後の節の+の中で読めます。

Q は、着目する語の質問メモ

q = WQ x

アテンションは、まず着目する語の「何を探すか」を Q にします。

もう少し詳しく

ここでいうベクトルは、数の並びのことです。2本目で見たとおり、数の並びは向きと長さを持つ矢印として描けます。

着目する語(ここでは「かける」)が持つのが Q です。「自分はどんな語を探しているか」を書いた質問メモにあたります。

Q は、その語のいまの表現 x に、行列 WQ を掛けて作ります。行列は数を縦横に並べた表で、数の並びに掛けると、別の数の並びに変わります。中の数は学習で決まります。

図の「Q の向き」は、この行列を手で動かすつまみです。図の語の表現は3つの数(電話っぽさ・橋っぽさ・「〜を」の付いた語らしさ)でできています。「「〜を」重視」の端に回すと、Q は3つ目の数を重く見るので「電話を」「橋を」への割合が上がります。「意味の軸重視」の端に回すと、Q は前の2つの数を重く見ます。この図の語はどれもその2つの合計が同じくらいなので、割合はほぼならされます。

語その場の表現 xQ(質問メモ)
母に(0.70, 0.20, 0.20)(1.26, 0.36, 2.45)
電話を(0.95, 0.05, 1.00)(1.70, 0.09, 2.72)
かける(0.50, 0.50, 0.00)(0.90, 0.90, 2.72)
「〜を」重視意味の軸重視25°その間

光っている行が、いま着目している「かける」の Q。ほかの語も同じ行列で自分の Q を持ちます。

専門的な注x とは何か、W_Q はどう決まるか

x は、その時点での語の表現(数の並び)です。いちばん下の層では、語ごとのベクトルに語の位置の情報を足したもの(語のベクトルには √dmodel を掛けてから足す。§3.4・§3.5。この回では係数は略します)、2層目から上では、1つ下の層が出した結果です。

WQ は数の並んだ表(行列)で、中の数は学習で決まります。論文は、Q・K・V を「別々の、学習で決まる線形の変換」で作る、と書いています(§3.2.2)。論文の書き方は行のベクトルに右から掛ける形(x WQ)で、ここでは見やすさのために左から掛ける形で書きました。

この図の x は3つの数で、「電話っぽさ」「橋っぽさ」「〜を の付いた語らしさ」と名前を付けましたが、これは説明のためです。本物の表現は数百の数の並びで(論文の基本の設定は 512)、1つずつの数に意味の名前は付いていません。

図の「Q の向き」のつまみは、WQ の中の数を動かしています。本物では学習が終われば WQ は決まっていて、読む時に手で動かすことはありません。

K は、各語の名札。名札も、その場で作る

k = WK x

K は、各語の「どんな問いに答えられるか」を示す名札です。

もう少し詳しく

聞き込みを受ける側の語は、それぞれ名札(K)を下げています。「自分はどんな問いに答えられるか」を示す札です。

名札は、語に最初から貼ってある札ではありません。Q と同じように、その語のいまの表現 x に、別の行列 WK を掛けてその場で作ります。同じ文の語はみな Q・K・V の3つを持っていて、着目する語を替えれば、聞き込む側と答える側が入れ替わります。着目している「かける」も自分の名札を持ち、聞き込みの相手に入ります。

語その場の表現 xK(名札)
母に(0.70, 0.20, 0.20)(0.70, 0.20, 0.20)
電話を(0.95, 0.05, 1.00)(0.95, 0.05, 1.00)
かける(0.50, 0.50, 0.00)(0.50, 0.50, 0.00)

自分(かける)も名札を持ち、聞き込みの相手に入ります。この図では W_K を素通しにしています。

専門的な注名札は、なぜ文ごとに変わりうるのか

K は、語に貼りつけた札を辞書から取り出すのではなく、その時点の表現 x に WK を掛けてその場で計算します。2層目から上では x そのものが前の層で周りの語を混ぜた結果なので、同じ語でも文が違えば名札も違ってきます。

1つの文の中の別々の位置どうしを関係づける注意を、自分自身への注意(self-attention)と呼びます(§2 の定義は "relating different positions of a single sequence")。このとき Q・K・V はどれも同じところ(1つ下の層の出力)から来ます(§3.2.3)。翻訳の Transformer には、訳す側の語が Q を出し、元の文の側が K と V を出す使い方もあります。

この図では WK を素通し(k=x)にして、数を追いやすくしています。本物の WK は WQ とは別に学習される行列です。

V は、各語が渡す中身

v = WV x

V は、割合が決まった後に各語が渡す中身です。

もう少し詳しく

名札を見て割合が決まったら、各語は中身(V)を渡します。V も、いまの表現 x に、また別の行列 WV を掛けて作ります。

名札(K)と中身(V)が別の行列から来るので、「どの語を見るか」を決める材料と、「見た語から何を受け取るか」を別々に学べます。最初の図の平面の点は、各語の V の位置です。

語その場の表現 xV(中身)
母に(0.70, 0.20, 0.20)(0.70, 0.20)
電話を(0.95, 0.05, 1.00)(0.95, 0.05)
かける(0.50, 0.50, 0.00)(0.50, 0.50)

V は2つの数。最初の図の平面の点は、この V の位置です。

専門的な注K と V の数の個数

論文では、Q と K の数の個数を dk、V の数の個数を dv と書き分けています(§3.2.1)。内積をとる Q と K は個数をそろえる必要がありますが、V は別でかまいません。基本の設定ではどちらも 64 です(§3.2.2)。

この図では dk=3、dv=2 にしました。V を2つの数にしたのは、平面に描くためです。

合い具合は、内積で測る

q · k (まとめて書くと QKT)

Q と K の内積で、質問メモと名札の合い具合を測ります。

もう少し詳しく

質問メモと名札がどれだけ合っているかは、Q と K の内積で測ります。2本目で見たとおり、内積は向きが近く、長いほど大きくなります。

式の QKT は、文の語すべての Q と K をまとめて掛けて、どの語からどの語への内積も一度に出す書き方です。

相手の語q·k÷√3exp割合
母に1.350.782.180.18
電話を3.622.098.060.68
かける(自分)0.900.521.680.14
exp の合計 = 11.92 割合の合計 = 1.00

最初の図と同じ数です。q は「かける」の Q、k は各語の K。

専門的な注QKᵀ の書き方と、内積でない測り方

文の語すべての Q を行に並べた表を Q、K を行に並べた表を K とすると、QKT の i 行 j 列が「i 番目の語の Q と、j 番目の語の K の内積」になります。どの語からどの語への合い具合も、1回の行列の掛け算で出ます。

「割合を出して、その割合で混ぜる」形は、2014年の Bahdanau らの翻訳の論文にすでにあります。ただし合い具合の測り方は内積ではなく、小さなネットワーク a(s, h) = vaT tanh(Was + Uah) で点数を出す、足し算型(additive)のものでした(1409.0473 §3.1・付録 A.1.2)。

Vaswani らは、内積のほうが行列の掛け算でまとめて計算できるので、実際にはずっと速く、場所も取らないと書いています(§3.2.1)。

割合にするのは、softmax

softmax(z)i = exp(zi)Σj exp(zj)

合い具合を、足して 1 になる割合に変えます。

もう少し詳しく

内積の値はマイナスにもなり、合計もばらばらです。そこで exp で正の数にして、合計で割ります。これで、どれも 0 より大きく、足して 1 になる割合になります。この形が softmax です。

前回の Word2Vec で、周りに出てくる確率を作ったのと同じ形です。前回は語彙の全部で割るので重く、学習では近道に置き換えていました。ここで割るのは同じ文の語(自分も入れて)の分だけなので、そのまま計算します。

相手の語q·k÷√3exp割合
母に1.350.782.180.18
電話を3.622.098.060.68
かける(自分)0.900.521.680.14
exp の合計 = 11.92 割合の合計 = 1.00
「〜を」重視意味の軸重視25°その間
×1.0式のまま

最初の図と同じ数です。「鋭さ」は説明用のつまみです。

専門的な注exp を使う理由と、先の語を隠す使い方

exp はどんな数も正の数にし、大きい数ほど大きくなる順番はそのまま残します。それを合計で割るので、割合はどれも 0 より大きく、足して 1 になります。

文を前から1語ずつ作る側(デコーダ)では、まだ出ていない先の語を見ないように、softmax に入る前の数をマイナス無限大にして割合を 0 にします(§3.2.3)。この回の図は、文の語を全部見る使い方です。

√dₖ で割るのは、割合が寄りすぎないため

QKT√dk

割合が1つの語に寄りすぎないよう、合い具合の大きさをそろえます。

もう少し詳しく

dk は Q と K の数の個数です。数の並びの個数を、次元と呼びます。論文の基本の設定では 64 で、モデルを組む時に決めて、それからは変えません。

次元が多いと、掛けて足す数が増えるので、内積は大きな値になりやすく、softmax の割合が1つの語にほとんど寄ってしまいます。そうなると学習で直すための手がかりがとても小さくなる、と論文は推測していて、それを避けるために √dk で割っています。下の図で次元を増やすと(ここだけは「かける」の文を離れて、8語の作り物で比べます)、割らない場合は割合が1つに寄っていき、√dk で割るとそうならないのが見られます。

最初の図の「鋭さ」は、ここの √dk とは別物の、説明用のつまみです。

ここだけは「かける」の文を離れて、8語の作り物で比べます。

64論文の基本の設定

内積の大きさの目安(√64)= 約8.0。8語への割合を、割らない場合と √dk で割る場合で比べます。

割らない いちばん大きい割合 0.70

語10.30語20.00語30.00語40.00語50.00語60.00語70.70語80.00

√64 で割る いちばん大きい割合 0.29

語10.26語20.04語30.09語40.07語50.11語60.07語70.29語80.07

q と k の数は、平均0・ばらつき1の乱数で作った説明用のものです。

専門的な注√dₖ の出どころと、「鋭さ」との違い

論文の脚注の考え方はこうです。q と k の数がそれぞれ平均0・ばらつき1でばらばらに決まっているとすると、内積 q·k は平均0、ばらつき(分散)dk になります。大きさの目安(標準偏差)は √dk なので、√dk で割ると、次元によらず目安が1にそろいます。

割らないと割合が1つに寄り、学習の手がかり(勾配)がとても小さくなる、という説明は、論文自身が "We suspect"(推測する)という書き方をしています(§3.2.1)。同じ節で論文は別の研究(Britz ほか 2017)を引いて、dk が小さい時は内積型と足し算型の成績は同じくらいで、大きい時は割らない内積型より足し算型が良かった、とも書いています。

dk はモデルを組む時に決める数で、入力ごとに変えるものではありません。最初の図の「鋭さ」は、割合の寄り方を見るために、softmax に入る前の数に掛けた説明用のつまみです。温度と呼ばれるつまみに近いもので、論文の式には入っていません。

混ぜるのは、割合をかけた足し算

Σi αi vi (まとめて書くと softmax(…) V)

アテンションの最後は、割合で V を混ぜて、文ごとの新しいベクトルを作ります。

もう少し詳しく

割合を各語の V に掛けて足したものが、この文の中での「かける」の新しいベクトルです。最初の図の、線の太さが割合です。

割合は足して 1 なので、混ぜた後の点は V の点どうしの間に来ます。「母に 電話を かける」では「電話を」の側へ、「川に 橋を かける」では「橋を」の側へ寄ります。同じ「かける」から始めても、混ぜた結果そのものが、文ごとに違います。

実際のモデル(Transformer)では、この混ぜた結果を、元の「かける」の表現に足してから次の計算へ渡します。これを足し戻すといいます。足し戻すので元の語らしさは残り、そのうえで文ごとに違うものが加わって、同じ語でも文ごとに向きの違うベクトルになります。

0.18 × 母に の V (0.70, 0.20)0.68 × 電話を の V (0.95, 0.05)0.14 × かける の V (0.50, 0.50)足すと →かける (0.84, 0.14)

割合は最初の図と同じ数です。割合が足して 1 なので、答えは V の点どうしの間に来ます。

専門的な注点が間にしか来ないこと、足し戻すこと

割合 α はどれも 0 以上で足して 1 なので、混ぜた答えは V の点を結んだ形の内側(凸結合)にしか来ません。最初の図で、混ぜた後の点が V の点の外へ出ないのはこのためです。

文ごとに違うのは、混ぜた答えそのものです。図でも、足し戻す前の時点で、2つの文の「かける」はもう別の点にいます。

実際の Transformer では、いくつも並べた割合の出し方(多頭)の答えをつなげて行列 WO を掛け(§3.2.2)、それを元の x に足し戻してから整えます(LayerNorm(x + Sublayer(x))、§3.1)。足し戻す役目は、元の語の情報を残すことです。文ごとに違う答えを元の「かける」に足すので、元の語らしさを保ったまま、文ごとに違うベクトルになります。

この式でできること・できないこと

アテンションで、同じ語のベクトルを文ごとに変え、離れた語とも一度でつなげます。

ただし、語の順番は別に足す必要があり、長い文では計算が2乗で増え、割合はそのまま判断の理由とは限りません。

もう少し詳しく

できる

  • 同じ語のベクトルを、同じ文の語に合わせて、文ごとに違うものにする
  • 離れた位置の語とも、一度でつながる(どんなに離れた2語も、間の語を順にたどらずに直接見合えます。論文の表1の最長の道のり O(1))
  • 文の語を全部同時に計算できる(前の語の計算が終わるのを待たなくてよいので、文が長くても順番待ちの回数が増えません。表1の順番に待つ計算 O(1))

この式だけではできない

  • 語の順番を見る(語を並べ替えても、割合と出力が一緒に入れ替わるだけで、順番の情報は入りません。そのため論文は位置の情報を別に足しています。§3.5)
  • 長い文を軽く扱う(すべての語の組で内積をとるので、文の長さが2倍になると、計算は4倍になります。表1の O(n²·d))
  • 割合の大きさを、そのままモデルの判断の理由として読む(論文の図4も「関わっているらしい」という書き方にとどめています。この点は今も議論があります)

この式を重ねると、Transformer(この回の外の話)

この式を何層も重ね、別の部品を足したものが、Vaswani らの2017年の論文が出した Transformer という仕組みです。割合の出し方を何通りも並べる仕組み(多頭、multi-head)、語の位置を足す仕組み(位置符号化)、混ぜた後に1語ずつ通す計算などが入っています。それぞれは別の回で扱います。

専門的な注割合は「理由」として読めるのか

Vaswani らの付録の図は、割合を色の濃さで描き、代名詞が何を指すかの判断に "apparently involved"(関わっているらしい)という書き方にとどめています(図4)。

Jain と Wallace(2019, "Attention is not Explanation")は、割合が勾配で測った語の効き方とよく食い違うこと、割合をかなり違う形に変えても同じ予測が出せる場合があることを示し、割合を予測の説明として扱うべきでないと主張しました。これに対して Wiegreffe と Pinter(2019, "Attention is not not Explanation")は、説明かどうかは「説明」の定義しだいで、先の実験はその主張を示しきれていないと反論しています。

どちらも主に RNN(BiLSTM)と足し算型の注意を使った分類などの課題での実験です(Jain と Wallace は内積型(scaled dot-product)も試しています)。どちらも、Transformer の自分自身への注意を直接調べたものではありません。この回では「割合は、そのまま理由の説明とは限らない」までにとどめます。

確かめたこと

式 (1)、query・key・value の説明、√dₖ で割る理由(論文は "We suspect" と推測の形で書いています)と脚注の分散の話は Vaswani ほか(2017, arXiv 1706.03762)§3.2・§3.2.1、Q・K・V を別々の行列で作ることと dₖ=64 は §3.2.2、同じ文の中で見合う使い方は §3.2.3、self-attention の定義は §2、足し戻しは §3.1、最下層の入力は §3.4・§3.5、計算量は §4・表1、「関わっているらしい」は付録の図4の説明文。足し算型の点数と、割合で混ぜる式は Bahdanau ほか(2014, arXiv 1409.0473)§3.1 の式 (5)・(6) と付録 A.1.2。割合を説明として読めるかの議論は Jain・Wallace(2019, arXiv 1902.10186)と Wiegreffe・Pinter(2019, arXiv 1908.04626)。どれも ar5iv の HTML 版と arXiv の要旨で照合しました。聞き込みのたとえは論文に無く、この回の説明のために足したものです。例文、語の表現 x、行列、軸の名前(電話っぽさなど)、「鋭さ」、6節の乱数は、説明のために置いたものです。

くわしく専門家が突っ込みそうな所と、この回での手当て
突っ込みこの回での手当て根拠
K は語に固定の札なのか本文で「名札も、その場の語から作る」と書き、くわしくで k=W_K x と、2層目から上では x 自体が文ごとに変わることを書いた1706.03762 §3.2.2・§3.2.3
図の K と V は同じ点か同じ点にしていない。W_K は素通し、W_V は3つ目の数を落とす行列と明記し、平面に描いたのは V だと書いた説明のために置いた行列
着目する語は自分を見ないのか自分も割合を受け取る相手に入れた。表に「(自分)」の行がある1706.03762 §2・§3.2.3(Q・K・V が同じところから来る)
√dₖ は入力ごとに調整するのかモデルを組む時に決める数で、基本の設定は 64 と書いた1706.03762 §3.2.2
√dₖ の理由は確かなのか論文が "We suspect" と推測の形で書いていることを明記した1706.03762 §3.2.1 と脚注
「鋭さ」のつまみは √dₖ なのか別物の説明用のつまみ(温度に近い)と、図の下と6節に書いた—
混ぜた答えは向きを自由に変えられるのかV の点の間にしか来ない(凸結合)と書いた。文ごとに違うのは混ぜた答えそのもので、足し戻し(残差)の役目は元の語の情報を残すことだと書き分けた1706.03762 §3.1・§3.2.2
割合はモデルの理由を表すのか「そのまま理由の説明とは限らない」とし、図4の書き方と 2019年の2本の議論を、実験の範囲(主に RNN)を添えて書いた1706.03762 図4/1902.10186/1908.04626
聞き込み・辞書のたとえは論文の主張か冒頭で「この回のたとえで、論文の言葉ではない」と書いた。論文の言葉は query・key・value1706.03762 §3.2
図の軸に意味があるのか軸の名前は説明のためで、本物の数に意味の名前は無いと書いた—
Bahdanau 2014 も内積だったのか足し算型(小さなネットワークで点数を出す)と書き、式も載せた1409.0473 §3.1・付録 A.1.2
多頭・位置・層の重ねは名前だけ出し、外の話とした1706.03762 §3.2.2・§3.5・§3.1
図の数は本物か語の x・行列・軸の名前・乱数は説明のための数だと、図の下と最後の節に書いた—
くわしく照合した原文(どこに何が書いてあるか)

arXiv 1706.03762(Vaswani ほか 2017「Attention Is All You Need」)

  • §2:self-attention は1つの列の中の別々の位置を関係づける注意
  • §3.1:各部分の出力は LayerNorm(x + Sublayer(x))(足し戻し)。d_model=512
  • §3.2:注意の関数は、問い合わせ(query)と鍵・値(key-value)の組から出力を作る。出力は値の重み付きの和で、重みは問い合わせと鍵の相性で決まる
  • §3.2.1 式 (1):Attention(Q, K, V) = softmax(QKᵀ/√d_k)V。Q・K は d_k 個、V は d_v 個の数。内積型は行列の掛け算で速く場所も取らない。別の研究 [3](Britz ほか 2017)を引いて、d_k が大きいと割らない内積型より足し算型が良い。"We suspect" で始まる √d_k の理由と、分散 d_k の脚注
  • §3.2.2:Q・K・V を別々の学習で決まる線形変換で写す。W^Q・W^K・W^V・W^O。h=8、d_k=d_v=64
  • §3.2.3:self-attention では key・value・query が同じところから来る。エンコーダ・デコーダ間では query がデコーダ側、key・value がエンコーダ側。デコーダでは先の語をマイナス無限大で隠す
  • §3.4・§3.5:語のベクトルに √d_model を掛け、位置の情報(positional encoding)を足して入力にする
  • §4・表1:self-attention は層1つあたり O(n²·d)、順番に待つ計算(Sequential Operations)O(1)、離れた位置どうしの最長の道のり(Maximum Path Length)O(1)
  • 付録 図4:代名詞の判断に "apparently involved" の書き方

arXiv 1409.0473(Bahdanau・Cho・Bengio 2014)

  • §3.1 式 (5)・(6):文脈のベクトルは元の文の語の表現の重み付きの和。重みは点数 e を exp にして合計で割る。点数を出す a は一緒に学習する前向きのネットワーク
  • 付録 A.1.2:a(s, h) = v_aᵀ tanh(W_a s + U_a h)(足し算型)

arXiv 1902.10186(Jain・Wallace 2019「Attention is not Explanation」)

  • 要旨:割合は勾配で測った効き方とよく食い違い、かなり違う割合でも同じ予測になりうる。意味のある説明として扱うべきでない
  • 本文:主に BiLSTM と足し算型の注意。内積型(scaled dot-product)も試している。分類・質問応答・含意の課題。翻訳のような出力が列になる課題は扱っていない

arXiv 1908.04626(Wiegreffe・Pinter 2019「Attention is not not Explanation」)

  • 要旨と §6:説明かどうかは説明の定義しだい。先の研究は注意の説明としての有用さを否定しきれていない
  • 本文:1層の BiLSTM と足し算型の注意、2値の分類の課題

Vaswani・Bahdanau は ar5iv の HTML 版、Jain・Wallace と Wiegreffe・Pinter は arXiv の要旨と ar5iv の本文で照合しました。ここに書いたのは原文の要点で、原文そのままの訳ではありません。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む