IEICE TRANS. FUNDAMENTALS に論文が掲載されましたので、簡単に内容を紹介します。
Quaternionic Vector Product Hopfield Network
3次元の Hopfield モデルの例は極めて少なく、その１つに外積を利用したモデルがあります。外積による３次元ニューラルネットワークは新田先生が MLP のモデルを提案しています。
T.Nitta, “A back-propagation algorithm for neural networks based on 3d vector product,” Proc. IEEE/INNS International Joint Conference on Neural Networks, vol.1, pp.589–592, 1993.
この手法を私が３次元の Hopfield モデルに適用しました。Vector Product Hopfield Network (VPHN) と呼ぶことにします。
M.Kobayashi,“Multistate vector product Hopfield neural networks,” Neurocomputing, vol.272, pp.425–431, 2018.
ニューロンの状態は３次元ベクトルで表されるので、ニューロン \(a\) の状態を \(\vec{z}_a\) と表記しましょう。また、ニューロン \(b\) からニューロン \(a\) への結合荷重も３次元ベクトルで表され、 \(\vec{w}_{ab}\) と表記しましょう。ネットワークの収束のために、条件 \( \vec{w}_{ab} = -\vec{w}_{ba} \) と \( \vec{w}_{aa} = \vec{0} \) が課されます。ニューロン \(a\) への入力和は \( \displaystyle \sum_{b\neq a} \vec{w}_{ab} \times \vec{z}_b \) となります。
本論文は VPHN の問題を主に学習の観点から解決します。VPHN にはヘブ則が与えられているものの、外積に結合則が成り立たないことからプロジェクションルールなどの学習則の導出が困難になります。また、VPHN の構造的な問題もあります。\( \vec{z}_a, \vec{z}_b \) が与えられた時、\( \vec{w}_{ab} \times \vec{z}_b = \vec{z}_a \) となる \( \vec{w}_{ab} \) は一般的にありません。例えば、\( \vec{z}_a = \vec{z}_b \) なら \( \vec{w}_{ab} \times \vec{z}_b \) は \( \vec{z}_a \) に垂直なベクトルになってしまいます。この事実は VPHN のヘブ則の能力を大きく下げる原因となります。これらの問題を四元数を使うことで解決します。四元数の積の中に外積が現れますので、結合荷重を四元数にすることで解決します。次回、提案手法を解説します。
