IEICE の英文誌 A に論文が掲載されましたので、簡単に内容を紹介します。
Hopfield network は非常に良く出来たモデルです。実数で構成されていた古典的なモデルは複素数など拡張された代数系を使って拡張されました。しかし、その原理は十分わかっていないのではないかと考えていました。そして、原理が明確になるような定式化を与えました。まず、入力和の解釈を検討しました。入力和 \( \displaystyle \sum_{b=1}^N w_{ab} z_b \) において、\( w_{ab} \) と \(z_b\) は実数や複素数など同じ代数系に属することが多いです。\( w_{ab} z_b \) では入力信号 \(z_b\) に結合荷重 \( w_{ab} \) で重みづけをしていると解釈するのが普通かもしれません。そうすると \(z_b\) と \( w_{ab} \) の役割は違いそうです。\( w_{ab} \) が \(z_b\) に作用していると考えてみましょう。その考え方が顕著に表れているモデルが Rotor Hopfield network で、\(z_b\) は 2次元ベクトル、\( w_{ab} \) は (2,2) 行列で表されます。
具体例として複素数の場合を見てみます。\(z_b=x_b+y_b i, w_{ab}=u_{ab}+v_{ab}i \) とすると、入力和は
\( \displaystyle \sum_{b=1}^N
\left( \begin{array}{cc} u_{ab} & -v_{ab} \\ v_{ab} & u_{ab} \end{array}\right)
\left( \begin{array}{c} x_b \\ y_b\end{array} \right) \)
と表されます。この例から入力信号と結合荷重は異なる集合に属することが分かります。さらに、入力信号に積は不要で、入力和を求めるために和は必要ということです。
入力信号をベクトル、結合荷重を行列で定義すれば十分かもしれません。ベクトル空間は体上の加群ですので、使っている代数系が体でない場合には不便が生じる可能性があります。もちろん体上で定義されたベクトルと行列で表す手段はありますが、次元が大きくなったりする不便も想定されます。そこで入力空間を加群で表し、結合荷重を作用素として定式化しました。数学で言うところの環上の加群という概念を使っています。本論文では Hopfield network を舞台に理論を展開していますが、ここまでの考え方は他のニューラルネットワークにも適用できます。
