NOLTA に論文が掲載されました。オープンアクセスですので誰でもご覧になれます。論文には次のリンクからアクセスしてください。
Complex-valued Hopfield associative memories with hybrid connections
掲載から速報まで１月もかかってしまった理由は、これまでの多くの研究成果の結集となっているため簡潔に紹介するのが難しくて手間取りました。私の研究は何の役にも立たないという批判は良く受けました。過去の研究成果が新しい成果に結びついていますので、本研究が反論になっているかもしれません。お前の研究の中で閉じているだけだから意味がないと言われるのは予想しています。しかし、信号処理の技術として使っているので、他分野にも適用可能だと思います。そのためには多くの研究者に私の研究を見てもらわなければならないのですが、あまり見てもらえないようです。
複素連想記憶(CVHAM)の雑音耐性を改善する研究で、新しいアーキテクチャと学習アルゴリズムを提案しています。CVHAMの雑音耐性に関する障害は回転不変性にあります。学習パターン \( (z_1, \cdots, z_N) \) を与えた時、ニューロン \(a\) への入力和は
\( \displaystyle S_a = \sum_{b} w_{ab}z_b \)
です。\(\alpha\) を大きさ１の複素数として、\( (\alpha z_1, \cdots, \alpha z_N) \) を回転パターンと呼びます。回転パターンを与えた時の入力和は
\( \displaystyle \sum_{b} w_{ab} (\alpha z_b) = \alpha \sum_{b} w_{ab}z_b =\alpha S_a \)
と入力和も \(\alpha\) 倍となり、回転パターンも安定します。これを回転不変性と呼び、雑音耐性が低下する主要因とされています。回転不変性が生じる原因は、あるニューロンの状態が回転すると接続先のニューロンへ回転した情報を伝えてしまうことにあります。回転不変性を解決することで雑音耐性が改善されますが、各手法に対してなんらかの問題点が生じます。それを順次解決していきます。
最初は IEEE TNNLS に掲載された次の論文です。(Open Access ではありません)
Symmetric Complex-Valued Hopfield Neural Networks
入力和の計算を \( S_a = \sum_{b} w_{ab}\overline{z_b} \) と変更しました。従来のCVHAMの結合は共役(\(\overline{w_{ab}}=w_{ba}\))ですが、修正後の結合荷重は対称\( w_{ab}=w_{ba} \)になります。そこで修正後のCVHAMを 対称CVHAM と呼びます。対称CVHAMに回転パターンを与えると、入力和は
\( \displaystyle \sum_{b} w_{ab}\overline{\alpha z_b}=\overline{\alpha}\sum_{b} w_{ab}\overline{z_b}=\overline{\alpha}S_a\)
となります。ニューロンの状態が回転すると、入力和は逆回転します。こうして回転不変性は解消され、雑音耐性は改善します。実は２ニューロンでは上手く行きません。２ニューロンの状態が互いに逆回転して安定してしまうからです。ところが３ニューロンになると、どの２つも互いに逆回転となることはできません。この注意は後で重要になります。
対称CVHAMの問題点はプロジェクションルールが使えないことです。次回、もう一捻りしてプロジェクションルールが使えるアーキテクチャを考案します。
