はじめに
複素連想記憶モデルの発展させるために、複素数を他の代数系で置き換えることは自然な発想です。四元数も最初に思いつくでしょう。実数、複素数、四元数の流れから次に何が来るでしょうか。この系列が Cayley–Dickson 代数の一部と考えると８元数、１６元数という拡張が考えられ、実際に取り組んでいる研究者もいます。しかし、８元数以降は結合則を満たさないため、連想記憶には使いにくい代数系と個人的には考えています。もう１つの有力な系列は Clifford 代数です。こちらは結合則を満たし、使いやすいと思います。今回は複素数と同じ２次の Clifford 代数である双曲数を使って連想記憶を構成します。
双曲数とは
双曲数という名称は一般的ではないと思いますが、それ以前に英語の名称もまちまちで、その上に日本語での表記例が少なくて、何が一般的な名称なのか分かりません。そこで、幾つか名称を調べてみました。split complex number というのが一番多いかもしれません。分解型複素数と訳すようです。私は hyperbolic number を使っています。hyperbolic complex number とも呼びます。double number や dual number と呼ぶ人もいるようですが、dual number は他の代数と紛らわしいので避けた方が良いと思います。tessarine の研究者は real tessarine と呼ぶようです。
複素数は \(x+yi\) と表されますが、これを \(x+yj\) と書き換えます。\(i\) を \(j\) に置き換えただけですが、\(i^2=-1\) の代わりに \(j^2=1\) を満たすものとします。交換則、結合則、分配則など望ましい性質の多くを満たしますが、零因子が存在するため除算については制限があります。実際、\( (1+j)(1-j)=0 \) です。幾何学的な性質などは深いものがありますが、基礎的部分はこの程度です。
双曲化の試み
双曲化の実現まで試行錯誤が続きました。私が初めに考案したモデルは [1] です。[1] では \( z=x+yj \) の共役を \( \overline{z} = x-yj \) と定義し、複素連想記憶と同じように共役な相互結合を要求しています。活性化関数の構成に苦慮して、演算範囲を右四分平面に限定して構成しました。理論的には綺麗な構成で満足感がありましたが、後で連想記憶としては使い物にならないことが判明しました。理論は面白いのでその後も論文を２報書いています。いずれも理論だけで実装はありません。
次に [2] で split 型の活性化関数を提案しました。この場合は対称結合を採用することで、単に実数型連想記憶を制限したモデルになりました。[1] と [2] で異なる結合になってしまった訳ですが、検討の結果、面白みのない [2] のモデルの方が発展性がありそうに感じました。どうやら双曲数の共役を \( \overline{z}=z \) で定義した方が便利らしいという結論に達しました。共役を導入する意味はなさそうですが、これは双曲数だけではを見えにくいことで、双複素数(可換四元数とも呼ぶ)を通してみると自然に感じます。双複素数 \( q=q^0+q^1i+q^2j+q^3k \) に対して \( \overline{q}=q^0-q^1i+q^2j-q^3k \) と定義されます。この一部 \( q^0+q^1i \) は複素数、\( q^0+q^2j \) は双曲数となります。この符号の違いは \( i^2=-1 \) と \( j^2=+1 \) に対応するものです。
双曲化には対称結合が適切との確信を得て、[3] で複素連想記憶と同じタイプの単位円周上の多値活性化関数を採用しました。[4] で自己結合の条件緩和をして一応の完成形を得ます。双曲連想記憶は複素連想記憶の弱点であった雑音耐性を大きく改善し、ようやく大成功の結果を残しました。次回は [4] で与えられたモデルについて解説します。
[1] M. Kobayashi: “Hyperbolic Hopfield Neural Networks”, IEEE Transactions on Neural Networks and Learning Systems, Vol.24, No.2, pp.335-341 (2013)
[2] M. Kobayashi: “Hyperbolic Hopfield Neural Networks with Four-State Neurons”, IEEJ Transactions on Electrical and Electronic Engineering, Vol.12, No.3, pp.428-433 (2017)
[3] M. Kobayashi: “Hyperbolic Hopfield Neural Networks with Directional Multistate Activation Function”, Neurocomputing, Vol.275, pp.2217-2226 (2018)
[4] M. Kobayashi: “Noise Robust Projection Rule for Hyperbolic Hopfield Neural Networks”, IEEE Transactions on Neural Networks and Learning Systems, Vol.31, No.1, pp.352-356 (2020)
