言葉の近さは、向きで測る

言葉が数の並び(ベクトル)になっているとき、2つの言葉の近さは向きの近さとして測れます。この回は、できあがったベクトルどうしを比べる話です。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Jurafsky・Martin『Speech and Language Processing』3rd ed. 草稿 第5章/Mikolov・Yih・Zweig「Linguistic Regularities in Continuous Space Word Representations」(2013)/Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(2013)/Nissim ほか「Fair Is Better than Sensational」(2020)
変わりやすさ
しばらく変わりにくい
目次次元を1つ足すと、1枚の板で分かれる
  1. 次元を1つ足すと、1枚の板で分かれる
  2. 言葉も、たくさんの数でできた点
  3. 近さは、長さでなく角度
  4. 引き算と足し算で、別の組の答えに届く
  5. この式でできること・できないこと
  6. 確かめたこと

次元を1つ足すと、1枚の板で分かれる

x3 = k (x1 − ½)(x2 − ½)

0.00

上から見ると、直線では分けられない

1本目の終わりで「直線1本では分けられない」とした XOR の並びです。上から見ると、りんごとみかんが交互に並んでいて、どう直線を引いても分けきれません。

3つめの数として、真ん中からのずれの掛け算 x₃ を足します。りんごは上へ、みかんは下へ動き、横から見ると高さ 0 の板1枚で分かれています。点は、次元を足すと見え方が変わります。

言葉も、たくさんの数でできた点

王…女王…りんご…

1本の棒が1つの数。本物の言葉のベクトルは、数百個の数の並びになる(この図の数は説明用)

言葉をコンピューターで扱うとき、1つの言葉を数百個の数の並び(ベクトル)で表すことがあります。1つの言葉は、何百もの軸を持つ空間の1点です。軸の1本1本に「性別」のような意味の名前が付いているわけではありません。

この回は、ベクトルを作る方法の話ではありません。できあがったベクトルどうしを比べる話です。

近さは、長さでなく角度

ab

cos θ = a·b‖a‖ ‖b‖ = 3.662.28 × 2.08 = 0.77

角度 θ ≈ 40°

2.28

矢印の先をドラッグで動かせます(キーボードでは先を選んで ← →)。長さを変えても cos は変わらず、角度を変えると変わります。

2つの言葉の近さは、矢印の向きの近さで測ります。分子の a·b(内積)は、同じ向きの成分を多く持つほど大きくなりますが、矢印が長いだけでも大きくなります。そこで分母の長さ ‖a‖‖b‖ で割り、向きだけを残します。

cos θ は、同じ向きなら 1、直角なら 0、逆向きなら −1 です。

引き算と足し算で、別の組の答えに届く

王 − 男 + 女 ≈ ?

  1. 3つ押すと、近い順に並ぶ

点は説明のために3次元に置いたもの。ドラッグで回せます

「男に対する王は、女に対する何か」。王 − 男 + 女 の点を作り、その点と cos が一番大きい言葉を答えにします。関係が同じ向きの矢印になっていれば、足し引きで別の組の答えに届きます。

この探し方は、質問に使った語(王・男・女)を候補から外しています。外さないと、入力の語そのものが一番近くなることがよくあります。いつも当たるわけでもありません。上の点は説明のために3次元に置いたもので、cos もこの3次元で計算しています。本物のベクトルは数百次元で、図に描くときは3次元などに落とすので、形はゆがみます。

この式でできること・できないこと

できる

  • 近い言葉を探す(cos が大きい順に並べる)
  • 2つの関係が同じ向きの矢印かを比べる

この式だけではできない

  • 言葉の意味を分かる(ベクトルは、文の中での出方の似方を数にしたもの)
  • 類推の結果だけで、言葉の偏りを測る(入力の語を外すかどうかで、結果が大きく変わる)

ベクトルは、どう作られるのか(この回の外の話)

よく聞く「Word2Vec」は、Mikolov らが2013年に公開したツールの名前です。中身は CBOW と Skip-gram という2つの学び方で、Skip-gram は、ある語から、その周りに出てくる語を当てる練習をくり返して、語ごとの数の並びを決めていきます。当てる確率の計算には2つのベクトルの内積が使われていて、この回の「内積で比べる」とつながります。

king − man + woman ≈ queen の例を最初に紹介したのは、別のモデル(RNN言語モデル)を使った Mikolov・Yih・Zweig(2013)で、Word2Vec の論文はそれを引用しています。

確かめたこと

cos θ の式は Jurafsky・Martin の教科書の草稿(第5章 §5.4・2026年8月版)。類推を「b − a + c に cos が一番大きい語」として解く方法は Mikolov・Yih・Zweig(2013)§5、質問の語を候補から外すことは Mikolov ほか(2013, arXiv 1301.3781)§4 に書かれています。外さないと正答率が 0.74 から 0.21 に下がった実験は Nissim ほか(2020)§4.1・表1。Word2Vec の名前と中身は Google Code Archive の word2vec の説明と arXiv 1301.3781 §3、Skip-gram の確率の式は arXiv 1310.4546 式(2)。XOR に掛け算の数を足して平面で分ける考え方は Fleuret の講義資料 3.3 で、ここでは真ん中を 0 にしてから掛けた形にしました。言葉の点と棒の数は、説明のために置いた数です。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む