音も画像も言葉も、AIに渡す前に数の並びにする

コンピュータが計算できるのは数だけです。音は波の高さを測り、画像はマスに区切って明るさを測り、言葉は番号にする。特徴量の話の手前にある、数への変換を順に見ます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Shannon「Communication in the Presence of Noise」(1949)/MIT 6.003 Lecture 21「Sampling」/W3C「PNG Specification (Third Edition)」/RFC 3629「UTF-8」/Sennrich ほか「Neural Machine Translation of Rare Words with Subword Units」(2016)/OpenAI「tiktoken」README
変わりやすさ
しばらく変わりにくい
目次はじめに
  1. はじめに
  2. 音は一定の間隔で波の高さを測る
  3. 画像はマスに区切って明るさを測る
  4. 言葉は文字や単位に番号を付ける
  5. 3つとも数の並びになる
  6. この変換でできること・できないこと
  7. 確かめたこと

1本目では果物を2つの数にするところから話を始めました。では、声や写真や文章はどうやって数になるのでしょう。コンピュータが計算できるのは数だけなので、AIに渡す前に、どれも数の並びにします。この回はその変換を音、画像、言葉の順に見ます。

音は一定の間隔で波の高さを測る

x[n] = x(nT)

音は空気の振動で、マイクを通すと、時間とともに変わる波の形になります。その高さを T 秒ごとに測って並べると、数の列 x[n] ができます。n は何番目に測ったかを表します。

測る回数を増やせば元の波に近づきますが、いくらでも要るわけではありません。Shannon の1949年の論文は、W より高い周波数を含まない波が 1/2W 秒おきの値で完全に決まることを示しています。1秒あたりで言えば 2W 回です。

下の図で測る回数を減らしてみてください。足りなくなると、同じ点を通る別の波と区別できなくなります。

波の高さを、1 秒に何回測るか

40 回

測った数0.00 0.71 1.00 0.71 0.00 −0.71 −1.00 −0.71 …

波の振れの2倍(10 回)より多く測っているので、点から元の 1 秒に 5 回の波を読み取れます。

画像はマスに区切って明るさを測る

画像では時間の代わりに場所で区切ります。マス目に分けて、1マスごとの明るさを数にします。音で波の高さを測ったのと同じ考え方です。

色のある画像では1マスに赤、緑、青の3つの数を持ちます。たとえば PNG の 8 ビットの場合、それぞれの数は 0 から 255 までの整数です。

同じ絵を、何マスに区切って何段階で測るか

8 × 8 マス
256 段階

数の個数64個

白黒の場合です。色のある画像では、赤・緑・青の3つの数を1マスごとに持ちます。

マスの中の数字が、コンピュータの受け取っているものです。0 が黒、255 が白です。

言葉は文字や単位に番号を付ける

文字には Unicode の番号が付いています。「り」の番号は U+308A です。保存や通信で使う UTF-8 では、この番号を1文字あたり1〜4バイトに直します。「り」は 227、130、138 の3バイトになります。

AIに渡すときには、文字より少し大きな単位に切り分けて番号を付ける方法があります。この単位をトークンと呼びます。BPE という方法はよく隣り合う組を繰り返しまとめて単位を作ります。OpenAI のモデルで使う tiktoken もこの方法で、平均すると1トークンが約4バイトにあたるとされています。

音や画像と違って、言葉の番号の大きさには意味がありません。番号が近くても、意味が近いわけではありません。意味の近さを数で表す話は、2本目と3本目で扱いました。

りU+308A227 130 138
んU+3093227 130 147
ごU+3054227 129 148
空白U+002032
AU+004165
上が文字の番号(Unicode)、下が保存や通信で使う UTF-8 のバイト列です。「あ」と「い」は番号が近くても、意味が近いわけではありません。

3つとも数の並びになる

音も画像も言葉も、ここまで来ると形が違うだけの数の並びです。AIの計算はこの数を受け取ります。

音1列[0.31, 0.59, 0.81, …]時間の順に並んだ波の高さ
画像縦 × 横 × 3[[[212, 64, 58], …], …]1マスに赤・緑・青の3つの数
言葉1列[4821, 305, 77, …]切り分けた単位ごとの番号

数の値は形を示すための例です。

この変換でできること・できないこと

できる

  • 音、画像、言葉を、同じ計算に渡せる数にする
  • 周波数の上限が決まった波を、飛び飛びの値で表す

この変換だけではできない

  • 測った点の間の情報を取り戻す(別の波でも同じ点を通ることがあります)
  • 何が写っているかを、数を見ただけで知る
  • どの数が見分けに効くかを決める

最後の2つは、次の回の特徴量の話につながります。

確かめたこと

標本化の定理は Shannon (1949) の Theorem 1、同じ点が別の波を表せることは MIT 6.003 の講義資料で確かめました。式 x[n] = x(nT) は T 秒ごとに測ることを式にした書き方で、この講義資料には図と文章で出てきます。式の字面そのものは資料の中で確かめていません。

PNG の画素と深度は W3C の仕様の4節と11節の表、UTF-8 は RFC 3629 で確かめました。「り」のバイト列は RFC の規則から自分で計算し、図は同じ規則で動くブラウザの TextEncoder で計算しています。BPE は Sennrich ほか (2016) の3.2節、tiktoken は公式の README を開いて確かめました。

図の波と絵、形を示す表の数は説明のためのものです。絵は写真の代わりに式で描いています。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む