NOLTA に掲載された論文の簡単な紹介です。
Two-level quaternion-valued Hopfield networks
次の論文で複素連想記憶に two-level という手法を導入しました。
M. Kobayashi: “Two-level complex-valued Hopfield neural networks”, IEEE Transactions on Neural Networks and Learning Systems, Vol.32, No.5, pp.2274-2278 (2021)
バイナリで表現された情報を上位と下位に分けます。雑音の種類によっては下位ビットに雑音が集中します。この時、上位ビットの方が信頼性が高いと考えられます。上位ビットを重視した想起を行うことにより、雑音耐性が向上します。複素連想記憶にこの仕組みを導入した結果、２つの改善点が考えられました。１つはニューロン数が2倍になり、結合荷重の数は４倍になってしまうことです。もう１つは重要ではないですが、１つの情報が２ニューロンに分離してしまうことです。この２点を改善するために四元数連想記憶を使いました。四元数連想記憶の結合荷重は複素連想記憶の半分ですので、提案モデルは通常の複素連想記憶の倍になります。
四元数を \( x+yj=(q_0+q_1i)+(q_2+q_3i)j \) と解釈し、２つの複素数 \(x,y\) のペアと考える。\(x,y\) に上位ビット、下位ビットをそれぞれ割り当てます。これで分割された情報を１つのニューロンに割り当てることが出来ます。上位ビットを重視するために、強化パラメータ \(A\) が導入されます。通常の四元数ニューロンでは活性化関数を \(|x|=|y|=1\) としていますが、\(|x|=A,|y|=1\) とすることで導入できます。論文中では活性化関数の代わりに入力和を処理していますが、本質的に同じです。