学習アルゴリズムの種類
これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が projection rule と勾配降下学習です。学習アルゴリズムは一括学習と逐次学習の大きく2系統に分類されます。一括学習はデータから一気に計算する方法で、ヘブ則が含まれます。逐次学習は結合荷重を少しづつ修正しながら決めていく方法で、こちらの方が学習という雰囲気はあるでしょう。projection rule は一括学習に、勾配降下学習は逐次学習に分類されます。私の主観ですが、長所、短所を表にまとめます。
長所 | 短所 | |
---|---|---|
ヘブ則 | 高速 結合構造に制限がない | 記憶容量が小さい |
projection rule | 高速 | 記憶容量が大きい 全結合に限る |
勾配降下学習 | 低速 結合構造に制限がない | 記憶容量が大きい |
記憶容量の大小を比較していますが、一体どれくらいでしょうか。ニューロン数を
projection rule だけは結合に制限がありますが、実際の影響はどうなのでしょうか。Hopfield Network は全結合ですから、適用には問題がありません。私の研究のほとんどは Hopfield 型を採用していましたので、projection rule は非常に有効でした。一部の結合を省くなどした構造に適用する場合には問題があります。典型的な例としては BAM があげられます。
勾配降下学習の学習速度が低速と記載しました。工夫して実行すればそのようなことはないという意見も聞いたことがあります。私の実装に問題があるだけなのかもしれませんので、私の実験例は高次元のモデルに限りますが実体験に基づいて説明していきます。勾配降下学習は学習パターン数が多くなると急激に学習速度が低下します。特に問題になるのは記憶容量を評価する場合です。記憶容量は
projection rule の歴史
projection rule は何時からそう呼ばれるようになったのかは分かりません。私が初めて知った時は直交学習と聞きました。最適連想写像と呼んでいる論文もありました。ある査読者から現在は projection rule と呼ばれていると意見をいただいたことから、以後そのように読んでいます。アルゴリズムの考案者は Kohonen らしいです。
私はほとんど高次元モデルしか研究していませんので、実数値 Hopfield 連想記憶のことは詳しく知りません。複素 Hopfield 連想記憶で初めて projection rule を導入したのは青木先生の次の論文だと思います。
青木宏之, 小杉幸夫: ペナルティ項を有する複素連想記憶モデルの性質. 電子情報通信学会論文誌 A, 1998, vol.81, no.11, 1538-1546.
この論文では Kohonen の Self-organization and associative memory を参照して、最適連想写像と呼んでいます。projection rule を導入したことに青木先生は新規性を感じていなかったと思われます。 8年後に次の論文が IEEE TNN に掲載されます。
LEE, D.-L.: Improvements of complex-valued Hopfield associative memory by using generalized projection rules. IEEE Transactions on Neural Networks, 2006, vol.17, no.5, 1341-1347.
この論文では projection rule の導入以外のアイデアも入ってはいるものの projection rule が評価されたのなら、青木先生の結果にも大きな価値があることになり IEEE TNN に掲載されても不思議ではなかったと思います。そう考えると国内の論文誌でのみ発表されたのはもったいないことだと感じます。
projection rule のアルゴリズム
学習ベクトルを並べて
さて、