MISC ノーベル物理学賞雑感
ホップフィールド先生とヒントン先生がノーベル物理学賞を受賞されました。ホップフィールドネットワークの研究者としては感慨深いです。今回は伝統的な物理学賞の傾向からかなり外れたものになりました。選考委員会の基準は分かりませんが、人によって感想は...
MISC Associative Memory 【論文掲載】Group Ring-Valued Hopfield Network (NOLTA)
NOLTA に論文が掲載されましたので、簡単に紹介します。オープンアクセスですので誰でもご覧になれます。論文には次のリンクからアクセスしてください。 Group ring-valued Hopfield networks 必要な知識はホップ...
Associative Memory 連想記憶の双曲数化(3)
プロジェクションルール 前回、双曲連想記憶の安定性条件 \( w_{ab}=w_{ba},\, u_{aa} \geq | v_{aa} | \) を与えました。実数や複素数の場合と同じように進めますが、安定性条件が異なるので若干の注意が必...
Associative Memory 連想記憶の双曲数化(2)
はじめに 前回は連想記憶の双曲数化の試みについて解説しました。今回は連想記憶として実用的なモデルを解説します。原型は で発表しました。このままではプロジェクションルールを適用するために不十分で、若干の拡張を で行いました。 が話題の中心にな...
Associative Memory 連想記憶の双曲数化(1)
はじめに 複素連想記憶モデルの発展させるために、複素数を他の代数系で置き換えることは自然な発想です。四元数も最初に思いつくでしょう。実数、複素数、四元数の流れから次に何が来るでしょうか。この系列が Cayley–Dickson 代数の一部と...
Associative Memory 連想記憶の四元数化
はじめに 前回の記事 ニューラルネットワークの四元数化 では四元数の MLP を構成しました。MLP を高次元化することは比較的容易で、連想記憶を高次元化する場合は難易度が上がります。それは安定性を保証する必要があるからです。実数の場合では...
MLP ニューラルネットワークの四元数化
はじめに ニューラルネットワークの複素数値化は一応成功したと言えるでしょう。さらに拡張するというのは自然な研究の流れでしょう。多くの人が思いつくのは四元数です。さらに多様な代数系を求めて、クリフォード代数などが試みられています。今回はモデル...
Associative Memory 複素連想記憶の偽記憶
はじめに 連想記憶とは学習パターンを記憶する学習モデルです。記憶するとは学習パターンを安定状態に持つということ、エネルギーの言葉で表せば、学習パターンをエネルギーの極小にすることになります。実数型の Hopfield 連想記憶では、パターン...
Associative Memory 複素連想記憶の回転不変性
はじめに 複素連想記憶に関しては Hopfield Network 複素数値化の例 をご覧ください。オープンアクセスの文献も紹介してあります。 反転不変性 Hopfield 連想記憶では、パターンベクトル \( \vec{x} \) のエネ...
Associative Memory Hopfield 連想記憶 Projection Rule (2)
今回は projection rule の理論的な補足をします。 記憶容量 学習ベクトルを並べた行列 \( X=\left( \, \vec{x}^1 \, \cdots \, \vec{x}^P \, \right) \) に対して \(...