前回は入力空間を加群、結合荷重を作用素として入力和を定義しました。続けて、数学的な準備をしていきます。論文では第4章になります。\(F\) を \(\mathbb{R}\) または \(\mathbb{C}\) とし、\(A\) を \(F\)-代数、\(M\) を \(A\)-加群とします。Rotor Hopfield network では \(A\) は行列の集合、\(M\) はベクトル空間でしたが、ベクトル空間に限定しないで構成したいのです。\(F\)-代数というのは、行列にスカラー(\(\mathbb{R}\) or \(\mathbb{C}\))倍が定義されていることに相当します。\(A\)-加群というのは、ベクトルに行列が作用できることに相当します。
ベクトル空間の内積 \(\langle \cdot , \cdot \rangle \) を \(M\) にも定義する必要があります。求められる性質はベクトル空間の内積と変わりませんが、\(M\) には定義できないこともありえます。定義できなければ本理論は適用できません。また、行列における転置やHermite転置に相当する概念を定義する必要があります。これを随伴作用素をと呼びます。\(\alpha\in A\) に対して、その随伴作用素は \(\alpha^* (\in A)\) と表し、\( \langle \alpha m_1,m_2 \rangle = \langle m_1,\alpha^* m_2 \rangle \) を満たします。
以上の準備の下に Hopfield network を拡張します。Hopfield network の相互結合は \(w_{ab}=w_{ba}, w_{aa}\geq 0\) の制約を持ちます。本モデルで求める制約は \( w_{ab}=w_{ba}^*, \langle z,w_{aa}z \rangle \geq 0\) になります。自己結合に関する制約は \(w_{aa}=0\) とする場合もありますが、プロジェクションルールの利用に不都合が生じることがあります。ニューロンの出力値の集合を \(G (\subset M)\) とします。例えば、実数型なら通常 \(G=\{ \pm 1 \}\) が採用されますが、\( G = \{-1,+2\} \) でも構いません。\( G=\{ \pm 1,+2 \} \) でも理論上は許されますが、\(+1\) は後に記述する活性化関数に無視されることになります。
活性化関数を定義します。安定性の証明が上手く行くように、エネルギー関数を意識しながら検討する必要があります。実数型では入力和の符号、複素型では位相に基づいた定義が良く見られますが、安定性の証明を見ると次の形式で定義すると便利です。
\( f(z) = \mathop{\rm arg~max}\limits_{g\in G} \, \mathrm{Re}(\langle g^*,z \rangle)\)
複素型の場合でも、私はこの定義に沿って実装しています。エネルギー関数を
\( \displaystyle E = – \frac{1}{2} \sum_{a,b} \langle z_a, w_{ab}z_b\rangle \)
で定義します。実はエネルギーは実数になります。また、単調減少であることが個別モデルの場合と同様にして示すことができます。
これまでは、新しい Hopfield network を構成するために、相互結合の制約、活性化関数、エネルギーを個別に検討する必要がありました。もちろん他のモデルの構成を模倣することで効率化できるのですが、本研究手法を用いると、制約とニューロンの出力値を定めれば、活性化関数とエネルギー関数が自動的に定まります。