- 書いた日
- 所属棚
- AIのウラばなし
- 確かめ方
- 論文を読む
- 根拠にしたもの
- Mikolov ほか「Distributed Representations of Words and Phrases and their Compositionality」(2013)/Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(2013)
- 変わりやすさ
- しばらく変わりにくい
目次はじめに
頭の式は、真ん中の語の周りに、ある語が出てくる確率です。この回は、この1本の式を6つの部品に分けて、1つずつ読んでいきます。式の部品を押すと、その部品の節へ移れます。
1つの語に、ベクトルが2本ある
vwI と v′wO
Word2Vec は、語ごとに2本のベクトルを持っています。真ん中で当てる側に立つ時の v と、周りで当てられる側に立つ時の v′ です。式の分子は、当てる側の v と当てられる側の v′ を掛け合わせています。
当てる側の表 v
| 0.75 | 1.30 | |
| 0.90 | 1.10 | |
| 0.30 | 1.40 | |
| -0.20 | 1.30 | |
| 1.20 | 0.40 | |
| -1.30 | -0.60 |
当てられる側の表 v′
| 0.60 | 1.20 | |
| 1.23 | 1.03 | |
| 0.39 | 1.45 | |
| -0.36 | 1.35 | |
| 1.17 | 0.25 | |
| -1.36 | -0.63 | |
| -0.34 | -1.26 |
「犬」が真ん中にいる時は左の v の行を、周りの語として当てられる時は右の v′ の行を使います。
語を押すと、その語の2本が両方の表で光ります。数は説明のために置いた2次元のもので、本物は数百次元です。
くわしく2本は何に使われるのか
論文は v を「input」、v′ を「output」のベクトルと呼んでいます。学習ではこの2つの表の数をすこしずつ直していきます。
どちらの表を「その語のベクトル」として使うかは、論文の本文では言い切られていないので、この回でも決めつけません。
当てる組は、窓をずらして作る
(wI, wO)
真ん中の語と周りの語の組は、文から作ります。文の語を1つずつ真ん中に置き、前後 c 語の1つずつを「当てる相手」にします。1つの組が、式を1回使う練習問題1問です。
この位置で作る組 4問:(犬, 公園)(犬, で)(犬, が)(犬, ボール)
語を押すと、その語が真ん中(wI)になります。明るく囲んだ語が wO の候補です。
くわしくすべての組をまとめた式と、窓の広さ
1TΣt=1..TΣ−c≤j≤c, j≠0 log p(wt+j | wt)(1)
文の全部の組について、式 (2) の確率の対数を平均したものです。学習は、これが大きくなるように v と v′ を直していきます。T は文の語の数です。
c を広げると練習問題が増えて正確さは上がりますが、そのぶん計算の時間も増えます。遠い語ほど関係が薄いことが多いので、実際には毎回 1〜C の間でくじを引いて前後 R 語ずつを使い、遠い語を使う回数を減らしています(論文の実験では C=10)。
日本語の文は語の切れ目に空白がないので、先に語に区切ってから組を作ります。
向きが似ているほど、確率が高い
exp(v′wO · vwI)
分子は、2本のベクトルの内積を exp で正の数にしたものです。2本目で見たとおり、内積は向きが近いほど大きくなります。真ん中の語の v と向きが似ている v′ を持つ語ほど、周りに出てくる確率が高くなります。
| wO | v′·v | exp | 確率 p | |
|---|---|---|---|---|
| 公園 | 2.26 | 9.54 | 0.36 | |
| ボール | 2.17 | 8.79 | 0.33 | |
| 追う | 1.48 | 4.41 | 0.17 | |
| 夕方 | 1.20 | 3.33 | 0.13 | |
| 銀行 | -1.84 | 0.16 | 0.01 | |
| 計算 | -1.88 | 0.15 | 0.01 | |
| exp の合計(分母)= 26.39 確率 p の合計 = 1.00 | ||||
黄色の矢印が真ん中の語「犬」の v、灰色が各語の v′ です。図の上でドラッグしても向きを変えられます。右の表の「確率 p」は、その行の exp を exp の合計で割ったもので、これが式 (2) そのものです。
くわしくなぜ exp を使うのか
内積はマイナスにもなりますが、確率はマイナスにできません。exp を通すと、どんな数も正の数になり、大きい内積ほど大きくなる順番はそのまま残ります。それを全部の合計で割ると、足して1になる確率になります。この形は「ソフトマックス」と呼ばれます。
分母は語彙の全部。重いので近道を使う
Σw=1..W exp(v′w · vwI)
上の図では6語だけでしたが、本物の分母は語彙の全部(W 語)の合計です。W は10万〜1000万にもなり、1問ごとにその数だけ内積を計算するので、論文はこのまま使うのは現実的でないと書いています。
実際の学習で使われるのは、下の式 (4) の近道です。全部と比べる代わりに、本物の周りの語と、くじで選んだ偽物 k 個とを見分ける問題に変えます。本物との内積は大きく、偽物との内積は小さくなるように直すので、分母の合計を計算しなくて済みます。
log σ(v′wO · vwI) + Σi=1..k Ewi∼Pn(w)[ log σ(−v′wi · vwI) ](4)
偽物の選ばれやすさ Pn(w) = U(w)α / Z
U(w) は語の出てくる割合(説明のために置いた数)です。α=1 だと「の」「が」ばかりが偽物に選ばれ、α=0 だとどの語も同じ割合になります。3/4 はその間で、まれな語にも少し出番を回します。
家のPC1台で学習させると、どれくらいかかるか
全部と比べると約12年。偽物5個と見分けると約54分。計算する語の数が 692,000 から 6 に減った分、約115,333分の1になります。
最初の値は論文の実験の条件(10億語の文・語彙約69万語・300次元・偽物5個)です。棒の長さは時間の桁で刻んでいて(1分〜100年)、同じ長さの差でも右へ行くほど何倍もの差です。PCの速さなどの置いた仮定は「くわしく」に書きました。
くわしく時間の出し方と、置いた仮定
1問(wI と wO の組1つ)の計算は、分母を全部計算すると「W 語 × d 次元」の掛け算と足し算、偽物 k 個なら「(k+1) 語 × d 次元」です。答え合わせをしてベクトルを直す分も入れて、その約3倍と置きました。
問題の数は、文の語の数 × 1語あたりの組の数です。窓の広さの上限を C=5 と置き(前の節のくじで、1語あたり平均 C+1=6組)、文は論文の実験と同じ10億語にしました。
家のPCの速さは、1秒に100億回(1010回)の掛け算と足し算と置きました。ふつうのデスクトップのCPUを全部のコアで使った時の、この種の計算の目安としての仮定です。
時間 ≈ 10億語 × 6組 × (1問の語の数) × d × 3 ÷ 1010 秒
この仮定で論文の条件(偽物5個)を計算すると約54分で、論文が報告した38分と桁が合います(論文の機械の性能は書かれていないので、ここは桁の確かめだけです)。同じ仮定で分母を全部計算すると約12年になります。
間引きの効き目は計算で出さず、論文の表1で 38分が14分になった比(14/38)をそのまま掛けています。
くわしくσ の意味、k の目安、NCE との違い、もう1つの近道
σ(x) = 1 / (1 + exp(−x))
σ は数を 0〜1 に押し込む関数です。内積が大きいほど log σ(…) は 0 に近づき、偽物の項は符号を反対にしてあるので、偽物との内積が小さいほど大きくなります。
k の目安は、小さいデータで 5〜20、大きいデータなら 2〜5 で足ります。3/4 乗に理論の裏付けがあるわけではなく、ふつうの割合や均等な選び方と比べて、試したどの課題でもはっきり良かった、と書かれています。
この方法は「ネガティブサンプリング」と呼ばれ、NCE という方法を簡略化したものです。NCE はソフトマックスの確率に近づくことを目指しますが、Word2Vec の目的は良いベクトルを作ることなので、確率の近似は目指さず、ベクトルの質が保てる範囲で簡略化しています。
もう1つの近道は「階層ソフトマックス」です。語彙の全部を二分木の葉に並べ、根から葉までの分かれ道の計算を掛け合わせて確率を出します。計算は約 log2(W) 個で済みます(10万語なら約17個)。
p(w | wI) = Πj=1..L(w)−1 σ( ⟦n(w, j+1) = ch(n(w, j))⟧ · v′n(w,j) · vwI )(3)
n(w, j) は根から w までの道の j 番目の分かれ道、L(w) は道の長さ、⟦…⟧ は中身が正しければ 1、違えば −1 です。木は、よく出る語ほど道が短くなるハフマン木で組みます。
| Skip-gram・300次元 | 学習時間 | 類推の正答率 |
|---|---|---|
| 偽物 5 個 | 38分 | 59% |
| 偽物 15 個 | 97分 | 61% |
| 階層ソフトマックス | 41分 | 47% |
よく出る語は、練習から間引く
P(wi) = 1 − √tf(wi)(5)
「の」「が」のような、とてもよく出る語は、組を作る前にこの確率で捨てます。よく出る語と一緒に出てくることからは学べることが少ないからで、間引くと学習が速くなり、まれな語のベクトルも正確になりました。
論文の実験では、間引くだけで学習時間が 38分から14分に縮みました。前の節の「家のPC1台で」の図でも、間引くと時間がどう変わるかを見られます。
棒は「捨てる確率」です。f は語の出てくる割合(説明のために置いた数)。t より割合が小さい語は捨てられません。
くわしくこの式の決め方と、効き目
f(wi) はその語の出てくる割合、t は境目の値です。この式は経験的に選ばれたもので、t より割合が大きい語を強く間引きつつ、出てくる多さの順番は崩さないので選んだ、と書かれています。
論文の実験(Skip-gram・300次元・偽物5個)では、間引くと学習時間が 38分から14分に縮み、類推の正答率は 59% から 60% でした。
真ん中と周りを入れ替えると、CBOW
vwI → 周りの語の v の平均
ここまでの「真ん中から周りを当てる」作り方は Skip-gram です。当てる側を周りの語のベクトルの平均に替え、真ん中の語を当てるようにすると、もう1つの作り方 CBOW になります。平均するので、語の並び順は使いません。
同じ文・同じ窓で、矢印の向きだけが逆になります。
くわしく計算の量と、2つの比べ
CBOW:Q = N × D + D × log2(V)1301.3781 (4)
Skip-gram:Q = C × (D + D × log2(V))(5)
1問あたりの計算の量です。N は使う周りの語の数、D は次元、V は語彙の数、C は窓の最大の広さで、log2(V) は二分木を使う時の形です。
| 同じデータ・640次元 | 意味の類推 | 文法の類推 |
|---|---|---|
| CBOW | 24% | 64% |
| Skip-gram | 55% | 59% |
Skip-gram は意味の類推で大きく良く、文法の類推では CBOW がやや良い結果でした。学習時間は、同じ 300次元・7.83億語のデータで CBOW が約1日、Skip-gram が約3日でした。
この式でできること・できないこと
できる
- 周りに出てくる語が似ている語どうしを、近い向きのベクトルにする
- 近道を使えば、10億語のデータ・語彙約69万語でも1時間かからずに学習できる(論文の実験では偽物5個で38分)
この式だけではできない
- 「Boston Globe(新聞の名前)」のような、語の意味の足し算にならない言い回しを表す(論文は、よく一緒に出る語の組を先に1語にまとめる方法を別に足しています)
確かめたこと
式 (1)〜(5)、σ の定義、v と v′ の呼び名、k の目安、3/4 乗、NCE との違い、t の値と間引きの効果、表1の数字は Mikolov ほか(2013, arXiv 1310.4546)§2・§3・表1。CBOW と Skip-gram の計算量の式、遠い語を少なく使うこと、C=10、類推の比べと学習時間は Mikolov ほか(2013, arXiv 1301.3781)§3・§4.3・表3・表5。どちらも PDF の本文で照合しました。図の文・ベクトルの数・語の出てくる割合・「語彙 10万語」と、「家のPC1台で」の図の PC の速さ・窓の広さ・3倍は、説明のために置いた数です。
くわしく専門家が突っ込みそうな所と、この回での手当て
| 突っ込み | この回での手当て | 根拠 |
|---|---|---|
| Word2Vec は1つの手法ではない | 冒頭で「ツールの名前」と書き、作り方(Skip-gram・CBOW)と近道(偽物と見分ける・二分木)を分けて書いた | 1310.4546 §2.1・§2.2/1301.3781 §3.1・§3.2 |
| 式 (2) は実際にはそのまま計算していない | 4節で「重いので近道を使う」と書き、実際の学習で動くのは式 (4) だと書いた | 1310.4546 §2(現実的でない・W は 10⁵〜10⁷) |
| ネガティブサンプリングはソフトマックスの近似ではない | 「確率の近似は目指さず、ベクトルの質だけを目的に簡略化した」と書いた | 1310.4546 §2.2 |
| 3/4 乗に理論の理由があるように書く | 「実験で一番良かった値」と書いた | 1310.4546 §2.2 |
| 間引きの式の根拠 | 「経験的に選ばれた」と書いた | 1310.4546 §2.3 |
| 二分木の計算量を言い切りすぎる | 「約 log₂(W) 個」と書き、ハフマン木でよく出る語ほど道が短いことを添えた | 1310.4546 §2.1 |
| CBOW と Skip-gram の優劣を言い切る | 「同じデータ・640次元で比べた時」と条件を付け、意味と文法で分けて書いた。学習時間も条件(300次元・7.83億語)付き | 1301.3781 §4.3・表3・表5 |
| ベクトルが「意味を学んだ」 | 「周りに出てくる語が似ている語どうしを、近い向きにする」と書いた | 1310.4546 §2(周りの語を当てるのが目的) |
| 今の対話のAIも Word2Vec で動いているような書き方 | 書かない。この回は2013年に公開されたツールの中をのぞく回、と冒頭で書いた | — |
| v と v′ のどちらを語のベクトルとして使うか | 論文の本文で言い切られていないので、決めつけないと書いた | 1310.4546 §2(input・output の呼び名まで) |
| 「家のPCで何年」の時間は本当か | PC の速さ(1秒に100億回)・1語あたり6組・答え合わせ込みで3倍、を仮定として「くわしく」に明記した。数字は桁を見るためのもの | 置いた仮定(論文には書かれていない) |
| 仮定の速さで合っているのか | 同じ仮定で論文の条件(10億語・語彙約69万語・300次元・偽物5個)を計算すると約54分で、論文の38分と桁が合うことだけを確かめた。論文の機械の性能は書かれていない | 1310.4546 §3・表1 |
| 間引くと時間がどれだけ減るか | 計算では出さず、論文の実測(38分→14分)の比 14/38 をそのまま掛けた | 1310.4546 表1 |
| 図の数は本物か | 図のベクトル・語の出てくる割合・「語彙 10万語」は説明のために置いた数だと、図の下と最後の節に書いた | — |
くわしく照合した原文(どこに何が書いてあるか)
arXiv 1310.4546(Mikolov ほか 2013「Distributed Representations of Words and Phrases and their Compositionality」)
- §2 式 (1):窓 c を広げると練習問題が増えて正確さが上がるが、計算の時間も増える
- §2 式 (2):v と v′ を「input」「output」のベクトルと呼ぶ。計算は W に比例し、W は 10⁵〜10⁷ なので、そのままでは現実的でない
- §2.1 式 (3):階層ソフトマックスは約 log₂(W) 個の計算で済む。σ(x) = 1/(1+exp(−x))。木はハフマン木
- §2.2 式 (4):偽物は k 個。小さいデータで 5〜20、大きいデータで 2〜5。ノイズの分布は U(w)^(3/4)/Z が、ふつうの割合や均等より良かった。NCE との違い(確率の近似は目指さない)
- §2.3 式 (5):t はだいたい 10⁻⁵。式は経験的に選んだ。学習が速くなり、まれな語のベクトルの正確さも上がる
- §3・表1:10億語のデータ・語彙約69万語・300次元。偽物5個で38分・正答率59%、偽物15個で97分・61%、階層ソフトマックス41分・47%。間引き(10⁻⁵)を入れると偽物5個で14分・60%
- §1・§4:「Boston Globe」のような、語の意味の足し算にならない言い回しは、語の組を先に1語にまとめて扱う
arXiv 1301.3781(Mikolov ほか 2013「Efficient Estimation of Word Representations in Vector Space」)
- §3.1 式 (4):CBOW は前後の語から真ん中を当てる。ベクトルは平均するので語の順番は使わない。Q = N×D + D×log₂(V)
- §3.2 式 (5):Skip-gram は真ん中から前後の語を当てる。遠い語ほど少なく使う(1〜C のくじ)。Q = C×(D + D×log₂(V))。実験では C=10
- §4.3・表3:同じデータ・640次元で、意味の類推 CBOW 24%・Skip-gram 55%、文法の類推 CBOW 64%・Skip-gram 59%
- 表5:300次元・7.83億語・3周で、学習時間 CBOW 約1日・Skip-gram 約3日
どちらも PDF の画面で式と表を見て照合しました(式 (4) の σ、式 (5) の √ も画面で確認)。ここに書いたのは原文の要点で、原文そのままの訳ではありません。
同じ棚「AIのウラばなし」の記事
2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む