- 書いた日
- 所属棚
- AIのウラばなし
- 確かめ方
- 論文を読む
- 根拠にしたもの
- Jurafsky・Martin『Speech and Language Processing』3rd ed. 草稿 第5章/Mikolov・Yih・Zweig「Linguistic Regularities in Continuous Space Word Representations」(2013)/Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(2013)/Nissim ほか「Fair Is Better than Sensational」(2020)
- 変わりやすさ
- しばらく変わりにくい
目次次元を1つ足すと、1枚の板で分かれる
次元を1つ足すと、1枚の板で分かれる
x3 = k (x1 − ½)(x2 − ½)
上から見ると、直線では分けられない
1本目の終わりで「直線1本では分けられない」とした XOR の並びです。上から見ると、りんごとみかんが交互に並んでいて、どう直線を引いても分けきれません。
3つめの数として、真ん中からのずれの掛け算 x₃ を足します。りんごは上へ、みかんは下へ動き、横から見ると高さ 0 の板1枚で分かれています。点は、次元を足すと見え方が変わります。
言葉も、たくさんの数でできた点
1本の棒が1つの数。本物の言葉のベクトルは、数百個の数の並びになる(この図の数は説明用)
言葉をコンピューターで扱うとき、1つの言葉を数百個の数の並び(ベクトル)で表すことがあります。1つの言葉は、何百もの軸を持つ空間の1点です。軸の1本1本に「性別」のような意味の名前が付いているわけではありません。
この回は、ベクトルを作る方法の話ではありません。できあがったベクトルどうしを比べる話です。
近さは、長さでなく角度
cos θ = a·b‖a‖ ‖b‖ = 3.662.28 × 2.08 = 0.77
角度 θ ≈ 40°
矢印の先をドラッグで動かせます(キーボードでは先を選んで ← →)。長さを変えても cos は変わらず、角度を変えると変わります。
2つの言葉の近さは、矢印の向きの近さで測ります。分子の a·b(内積)は、同じ向きの成分を多く持つほど大きくなりますが、矢印が長いだけでも大きくなります。そこで分母の長さ ‖a‖‖b‖ で割り、向きだけを残します。
cos θ は、同じ向きなら 1、直角なら 0、逆向きなら −1 です。
引き算と足し算で、別の組の答えに届く
王 − 男 + 女 ≈ ?
- 3つ押すと、近い順に並ぶ
点は説明のために3次元に置いたもの。ドラッグで回せます
「男に対する王は、女に対する何か」。王 − 男 + 女 の点を作り、その点と cos が一番大きい言葉を答えにします。関係が同じ向きの矢印になっていれば、足し引きで別の組の答えに届きます。
この探し方は、質問に使った語(王・男・女)を候補から外しています。外さないと、入力の語そのものが一番近くなることがよくあります。いつも当たるわけでもありません。上の点は説明のために3次元に置いたもので、cos もこの3次元で計算しています。本物のベクトルは数百次元で、図に描くときは3次元などに落とすので、形はゆがみます。
この式でできること・できないこと
できる
- 近い言葉を探す(cos が大きい順に並べる)
- 2つの関係が同じ向きの矢印かを比べる
この式だけではできない
- 言葉の意味を分かる(ベクトルは、文の中での出方の似方を数にしたもの)
- 類推の結果だけで、言葉の偏りを測る(入力の語を外すかどうかで、結果が大きく変わる)
ベクトルは、どう作られるのか(この回の外の話)
よく聞く「Word2Vec」は、Mikolov らが2013年に公開したツールの名前です。中身は CBOW と Skip-gram という2つの学び方で、Skip-gram は、ある語から、その周りに出てくる語を当てる練習をくり返して、語ごとの数の並びを決めていきます。当てる確率の計算には2つのベクトルの内積が使われていて、この回の「内積で比べる」とつながります。
king − man + woman ≈ queen の例を最初に紹介したのは、別のモデル(RNN言語モデル)を使った Mikolov・Yih・Zweig(2013)で、Word2Vec の論文はそれを引用しています。
確かめたこと
cos θ の式は Jurafsky・Martin の教科書の草稿(第5章 §5.4・2026年8月版)。類推を「b − a + c に cos が一番大きい語」として解く方法は Mikolov・Yih・Zweig(2013)§5、質問の語を候補から外すことは Mikolov ほか(2013, arXiv 1301.3781)§4 に書かれています。外さないと正答率が 0.74 から 0.21 に下がった実験は Nissim ほか(2020)§4.1・表1。Word2Vec の名前と中身は Google Code Archive の word2vec の説明と arXiv 1301.3781 §3、Skip-gram の確率の式は arXiv 1310.4546 式(2)。XOR に掛け算の数を足して平面で分ける考え方は Fleuret の講義資料 3.3 で、ここでは真ん中を 0 にしてから掛けた形にしました。言葉の点と棒の数は、説明のために置いた数です。
同じ棚「AIのウラばなし」の記事
2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む