前回はネットワークを３層に分けるところまで解説しました。今回はプロジェクションルールをどのように適用するか解説していきます。一般的な用語ではないですが、ネットワークの合成を使います。ネットワークの合成はヘブ学習でも使われています。ヘブ学習では各パターンについてネットワークを作り、単純に足し合わせる手法と言えます。私は異なるモデルのネットワークを合成する手法を考案しました。次の論文で複素連想記憶と双曲連想記憶を合成しています。
Synthesis of Complex- and Hyperbolic-Valued Hopfield Neural Networks
また、兵庫県立大との共同研究で重なりのある部分的なネットワークの合成を提案しています。
A Projection Rule for Complex-Valued Associative Memory with Partial Connections
今回はこれを使用します。
ニューロンを３つのグループに分け、第0,1,2層と呼ぶことにします。２つの層を選び出す組み合わせは３通りあり、それらを部分ネットワークと呼ぶことにします。各部分ネットワークに対して前回のプロジェクションルールが適用できます。３つの部分ネットワークを合成します。２つの部分ネットワークは１つの層で重なり合います。これにより全体が繋がったネットワークが構築できます。各層内の結合は共役、層間の結合は対称になります。プロジェクションルールを３回計算する必要がありますが、この計算量は大した問題ではありません。問題があるとすれば、記憶容量が 2/3 になってしまうことでしょうか。
在職中、私の研究は役に立たないとよく批判されました。ここで少し反論させていただこうと思います。今回の研究では、これまでの３つの研究成果が応用されました。もちろん提案された連想記憶が役に立たないと批判されるのは予想しています。しかし、それは視野が狭いと思います。私の研究は連想記憶として行っていますが、信号処理の技術として価値のあるものではないでしょうか。私は連想記憶しか詳しくないので連想記憶に応用していますが、信号処理の他の対象には全く適用できないとは想像できないのです。そのためには適用対象分野の専門家に私の研究を見つけてもらう必要があります。私もマイナーな研究論文から、著者も気づかなかったであろう価値を拾い上げてきました。しかし、研究を見つけてもらうためには、アピールの仕方に一考が必要かもしれません。それでも退職の数年前には、2,3の研究機関(大学ではなかった)から研究内容について聞かせて欲しいと連絡をいただいたことがあります。その頃は健康を害して休職中で、ご要望にお応えできなかったのは心残りでした。私の研究に否定的な方についてですが、わざわざ人の研究を批判しにくる必要はないと思います。そういう人は何の役に立つのかを問うのではなく、なぜか役に立たないと断言するのですね。論文も読んでいなくて、ニューラルネットワークの研究としか認識していないようでした。
