行列の乗算：現代AIとニューラルネットワークの基盤

線形代数は、高次元ベクトル空間の数学的言語であり、現代の人工知能（AI）と機械学習にとって不可欠な基盤です。画像や動画から言語、生体認証データに至るまで、事実上すべての情報は、これらの空間内でベクトルとして表現できます。ベクトル空間の次元が高くなるほど、エンコードできる情報はより複雑になります。この基本的な原則が、高度なチャットボットからテキストから画像を生成するツールまで、今日見られる洗練されたアプリケーションを支えています。

多くの現実世界の現象は非線形ですが、AIモデルにおける「線形」変換への焦点は制約ではありません。むしろ、それは戦略的な選択です。多くのニューラルネットワークアーキテクチャは、線形層を積み重ね、間に単純な一次元非線形関数を挟むことでその能力を発揮します。決定的に重要なのは、確立された定理が、そのようなアーキテクチャがあらゆる関数をモデル化できることを確認している点です。これらの高次元ベクトルの操作が主に「行列の乗算」に依存していることを考えると、それを現代AI革命の基盤と呼ぶのは誇張ではありません。例えば、深層ニューラルネットワークは、その層をベクトルで構成し、連続する層間の接続を行列として符号化し、これらの層間の変換は行列の乗算という洗練されたメカニズムを通じて行われます。

行列は、その本質において、線形変換、すなわち「線形写像」の数値表現です。数字で算術演算を行うように、これらの写像に対しても演算を行うことができます。例えば、行列の加算は簡単です。同じサイズの2つの行列の場合、対応する要素を単純に加算するだけで、これはスカラー加算とよく似ています。この演算は、交換法則（加算の順序が結果を変えない）と結合法則（加算のグループ化が結果に影響しない）というおなじみの性質を持っています。また、加法単位元、つまり「ゼロ行列」（すべての要素がゼロ）も存在し、これを任意の行列に加えても行列は変化しません。同様に、すべての行列には加法逆元があり、–Aと表記され、Aに加えるとゼロ行列が得られます。減算は、2番目の行列の加法逆元を加えることとして定義され、加算の単なる拡張となります。

しかし、行列の乗算は別格です。要素ごとの乗算（アダマール積として知られる）も存在しますが、行列の乗算の伝統的な定義ははるかに複雑で、そして決定的に、はるかに重要です。その重要性は、線形写像をベクトルに適用する役割、そしてさらに深く、複数の線形変換を順次合成する役割に由来します。加算とは異なり、行列の乗算は一般に可換ではありません。通常、2つの行列を乗算する順序は重要です。ただし、結合的であるため、3つ以上の行列を乗算する場合でも、演算のグループ化が最終結果を変えることはありません。

さらに、行列の乗算には単位元が存在します。それは単位行列であり、通常Iと表記されます。この特別な正方行列は、主対角線上に1が並び、それ以外の場所はすべて0です。任意の行列が単位行列と乗算されると、元の行列は変化しません。これは、加法単位元（ゼロ行列）やアダマール積の単位元（すべての要素が1の行列）とは異なります。乗算における単位行列の存在は、逆行列の概念も示唆します。与えられた行列Aに対して、その逆行列A^-1は、Aと（どちらの順序でも）乗算されると単位行列を生成する行列です。この逆行列による「除算」は、特に線形方程式系を解く上で基本的です。最後に、行列の乗算は分配法則にも従い、ある行列を他の行列の和にわたって乗算することができます。

行列の乗算の、一見「複雑な」定義は恣意的なものではありません。それは、線形変換がどのように適用され、合成されるかから直接導かれます。m次元ベクトルを取り、それをn次元ベクトルにマッピングする線形変換を考えてみましょう。この変換は、固定されたn次元の「基底」ベクトルのセットをスケーリングし、合計する関数として概念化できます。ここで、スケーリング因子は入力ベクトルの要素です。これらの固定された基底ベクトルが行列の列として収集されると、入力ベクトルに線形変換を適用する行為は、まさに「行列-ベクトル乗算」になります。この視点により、単位行列が対角線上に1を持つ構造になっている理由がすぐに明らかになります。それは、ベクトルを変化させない変換を表しているからです。

これを拡張すると、2つの行列を乗算することは、それぞれの線形変換の合成を表します。行列Bが1つの変換を表し、行列Aが別の変換を表す場合、その積ABは、まずBを適用し、次にAを適用することによって達成される結合された変換を記述します。この合成により、結果として得られる積行列Cの各列は、行列Aによって表される線形変換を行列Bの各列に適用することによって得られます。これにより、積行列Cの各要素（i行j列）がAのi行とBのj列の内積であるという行列乗算の標準的な定義に直接つながります。これはまた、最初の行列の列数と2番目の行列の行数が一致しなければならない理由も説明しています。これは、これらの内積計算のために内部次元が揃うことを保証します。

行列の乗算におけるこの構造的選択、つまり内部次元が一致しなければならないという点は、大きな利点をもたらします。もし行の整合を要求するような別の定義があった場合、出力ベクトルの形状が変わり、基本的な行列-ベクトル乗算が複雑になり、単位元を定義することが難しくなるでしょう。さらに重要なことに、行列乗算の連鎖において、従来の定義は、行列が互換性があるかどうか、そして最終的な積の次元がどうなるかについて、即座に明確な情報を提供します。

ベクトル変換を超えて、行列の乗算はもう一つの強力な解釈を提供します。それは「基底の変換」としてです。異なる座標系からベクトルを見ていると想像してみてください。正方行列がベクトルと乗算されるとき、そのベクトルをある座標系（または「基底」）から別の座標系へ変換するものと見なすことができます。例えば、列が基底ベクトルの集合である行列は、その基底で表現されたベクトルを私たちの標準的な座標系に変換できます。逆に、その逆行列は逆の変換を行います。これは、本質的にすべての正方行列が「基底変換器」として考えられ、データに対する私たちの視点を根本的に変えることを意味します。特殊な正規直交行列の場合、列が互いに直交する単位ベクトルであるため、逆行列は単にその転置行列となり、基底変換をさらに単純化します。

行列の乗算は、現代のコンピューティングとデータサイエンスにおいて、間違いなく最も重要な操作の一つです。そのメカニズム、そしてさらに重要なことに、それがなぜそのような構造になっているのかを深く理解することは、これらの分野に深く関わる者にとって不可欠です。それは単なる一連の規則ではなく、現代AIのまさに根幹をなす変換と合成の深遠な数学的表現なのです。