複素連想記憶の原型となる Hopfield Network は 1980年代初めに提案されました。ニューラルネットワークによる連想記憶の多くは Hopfield Network またはその亜種を使っています。Hopfield Network による連想記憶を HAM (Hopfield Associative Memory) と呼ぶことにしましょう。
[1] Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 79(8), 2554-2558.
物理学者の研究
HAM は統計物理の研究対象としても盛んに研究されました。複素数値化に取り組んだのも物理学者達でした。複素数値化に必要なものは位相ニューロン、すなわち位相型活性化関数を備えた複素ニューロンでした。これを離散化した多値ニューロンというものが複素連想記憶で使われています。驚いたことに多値ニューロンは Hopfield Network の提案よりも早く、すでに 1970年代に Aizenbergらによって考案されていますが、物理学者達は知らなかったようで独自に考案します。HAM の複素数値化は Noest の２つの論文で実現しました。
[2] Noest, A. (1987). Phasor neural networks. In Neural information processing systems.
[3] Noest, A. J. (1988). Discrete-state phasor neural networks. Physical Review A, 38(4), 2196.
[2] で Hopfield network の複素数値化が実現し、[3] で離散化されて現在の複素 HAM が出来上がりました。この後、物理学者達は統計物理のモデルとして研究をしていたようです。物理学者達は複素ニューラルネットワークを位相ニューラルネットワーク (phasor neural network)や振動子ニューラルネットワーク (oscillatory neural network) とも呼ぶようです。
HAM の記憶容量は、中心極限定理を使って誤差項 (crosstalk term) を正規分布で近似する手法で解析されました。これを古典的解析法と呼ぶことにします。その後、統計物理学伝家の宝刀レプリカ法を使った解析法が導入されました。複素 HAM の場合は、いきなり Cook がレプリカ法で解析してしまいます。
[4] Cook, J. (1989). The mean-field theory of a Q-state neural network model. Journal of Physics A: Mathematical and General, 22(12), 2057.
工学系研究者の参入
1990年代に入り、電気や情報などの工学系の複素 HAM の研究に参入してきます。私の知る限り東大の廣瀬先生の論文が一番古そうです。参考文献を見る限りは、物理学者の研究結果は知らなかったようです。
[5] Hirose, A. (1992). Dynamics of fully complex-valued neural networks. Electronics letters, 16(28), 1492-1494.
Jankowski らは古典的解析法で複素 HAM の記憶容量を求めました。[7] が引用されていましたので、 Noest の結果は知っていたようです。しかし、Cook の結果 [4] は知らなかったようです。複素 HAM に関する論文で IEEE に掲載されたためか、複素 HAM を代表するかのような扱いで引用されていきました。Cook の結果を査読者が知っていたら採録されていたか疑問です。他の高次元化した HAM の記憶容量を古典的解析法で調べた時に、この結果と比較して論文を書けましたので、私にとっては幸運だったのかもしれません。
[6] Jankowski, S., Lozowski, A., & Zurada, J. M. (1996). Complex-valued multistate neural associative memory. IEEE Transactions on neural networks, 7(6), 1491-1496.
[7] Noest, A. J. (1988). Associative memory in sparse phasor neural networks. Europhysics Letters, 6(5), 469.
