Associative Memory Hopfield 連想記憶 Projection Rule (1)
学習アルゴリズムの種類 これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が pr...
Associative Memory Associative Memory Hopfield 連想記憶 偽記憶
偽記憶 Hopfield 連想記憶は幾つかの学習パターンを記憶し、ノイズを乗せた学習パターンを与えてノイズを回復する形で利用されます。したがって、記憶容量とともにノイズ除去性能が求められます。ノイズ除去性能に深く関わってくるのが偽記憶という...
Associative Memory Hopfield 連想記憶 ヘブ則の記憶容量
前回の学習パターンは１つでした。今回は複数パターンを学習するヘブ則を扱います。 複数パターンのヘブ則 学習パターンを \( \{ \vec{a}^p = (a_1^p, \cdots, a_N^p)^{\mathrm{T}} \,|\, p...
Associative Memory Hopfield 連想記憶
Hopfield Network の構造を与え、収束することまで証明しました。今回は Hopfield Network の応用として、連想記憶を解説します。Hopfield Network を使った連想記憶を Hopfield Associ...
Associative Memory Hopfield Network ベクトル化の例
今回はかなり一般的な枠組みの高次元化を例にあげます。 入力和の見直し 入力和に注目して Hopfield Network を見直します。入力和 \( \displaystyle S_j = \sum_k w_{jk} z_k \) は荷重和...
Associative Memory Hopfield Network 複素数値化の例
前回は Hopfield Network を高次元化に向けての視点を交えながら構成しました。今回は具体例として複素数値化を見ていきます。 複素 Hopfield Network の文献 参考として複素 Hopfield Network に関...
Associative Memory Hopfield Network 高次元化に向けて
私の研究は連想記憶の高次元化が中心で、Hopfield Network またはその亜種を高次元化して使います。Hopfield Network の主な用途は最適化問題と連想記憶です。Hopfield Network の高次元化は連想記憶では...
Associative Memory 複素連想記憶の黎明期
複素連想記憶の原型となる Hopfield Network は 1980年代初めに提案されました。ニューラルネットワークによる連想記憶の多くは Hopfield Network またはその亜種を使っています。Hopfield Network...
General Neural Network 複素ニューラルネットワークの黎明期
今回は黎明期の複素ニューラルネットワーク、特に MLP などに適用される活性化関数が中心です。実は私の研究分野は連想記憶に偏っているため、複素ニューラルネットワーク全般の歴史は詳しくありません。複素ニューラルネットワーク(廣瀬明 著，サイエ...
MISC 高次元ニューラルネットワーク研究の勧め
このサイトは私の研究してきた分野である高次元ニューラルネットワークを普及する目的で運営しています。特に、学生や若い研究者に参入してもらいたいと考えています。ここでいう「高次元」とは、実数で構成されていたニューラルネットワークを「複素数」など...