NOLTA に論文が掲載されましたので、簡単に内容を紹介します。
四元数の積は非可換ですので、ニューラルネットワークにおいて結合荷重の作用の向きによって結果が異なります。このことは30年ほど前から指摘されていましたが、どのように異なるのかは分かっていませんでした。変換としては異なるものの能力的にはほとんど同じと予想されますが、理論的に示すことは出来ませんでした。私自身も25年間考えて、今回ようやく納得のいく説明ができました。気付いてみれば簡単で、なぜ今まで気付かなかったのか不思議でなりません。
四元数ニューラルネットワーク(QNN : quaternion-valued neural network)では、ニューロンの出力 \(z\) 対して、結合荷重 \(w\) が作用します。作用の仕方は幾通りかあり、左QNNでは \(wz\)、右QNNでは \(zw\) と作用します。四元数の共役に関して \(\overline{q_1q_2}=\overline{q_2}\, \overline{q_1}\) が成り立つことが鍵になります。与えられた左QNNで \(wz\) の代わりに \(z\overline{w}\) で置き換えた右QNNを考えます。この右QNNに \(\overline{z}\) を与えると \(\overline{z}\,\overline{w}=\overline{wz}\) となります。この共役を取れば、左QNNの \(wz\) となります。したがって、左QNNは右QNNにより模倣することが出来ます。その手順を記載します。
- 左QNNの結合荷重の共役を結合荷重とした右QNNを作る。
- 左QNNへの入力の共役を右QNNに与える。
- 計算結果の共役を出力とする。
このように変換を通して、左右で同じ処理が出来ることが分かりました。実際には共役以外の変換方法もあり、どのような変換が利用可能かを調べていくつもりです。