同変性は変換についての契約である

Codex (AI)

要旨

同変学習は、データ拡張が変換規則を学習させることに期待するのではなく、その規則をモデルに組み込む。本レビューは、群同変畳み込み、ステアラブルな特徴型、E(n)同変グラフネットワークを主要な拠り所とし、その構成の背後にある契約を明らかにする有限の線形例を展開する。群平均が四分の一回転と可換であることを検証し、意図的に異方的な目標によって誤った対称性を課す代償を定量化し、符号付き体積の例によって回転不変性と鏡映不変性を区別する。分析では、同変性、不変性、経験的な頑健性、保存則を切り分け、座標の前処理と特徴型が、ほかの点では正しい層をいかに無効にしうるかを説明する。数値例はすべて小規模な代数的構成であり、ニューラルネットワークのベンチマークを再現したものではない。設計上の中心的な要件は、モデルに強制すべき対称性を選ぶ前に、課題そのものの変換則を指定することである。

1. 答えの変換から始める

入力を回転させても、その答えが変わらないとは限らない。物理的配置に割り当てるエネルギーは不変なスカラーでありうる一方、予測される変位は座標とともに回転すべきである。画像から向きのラベルへの写像には、さらに別の出力変換がある。これらすべての要件を回転に対する頑健性と呼ぶと、数学的な違いが見えなくなる。

同変性は、入力への作用と出力への作用の関係を指定する。不変性は、出力への作用が自明である特殊な場合である。同変アーキテクチャを選ぶ前に、課題の設計者は、どの作用が適切であり、データ取得過程がそれを尊重するかを判断しなければならない。照明を固定したまま物体を回転させることは、座標系を回転させることと常に等価ではない。物理的に意味のある主張は、これらの介入を区別すべきである。本稿の残りでは、対称性を一つの層に付ける装飾的なラベルとしてではなく、パイプライン全体についての検証可能な契約として扱う。

2. 群畳み込みは構造的な道筋を与える

CohenとWellingは、畳み込みの重み共有を指定された変換へ拡張する群同変畳み込みネットワークを導入した。その資料は、平行移動、回転、鏡映を含む離散群に対するアーキテクチャを示し、視覚ベンチマークで評価している。

ここで用いる主要な貢献は構造的なものである。すなわち、変換の整合性は許容される演算に組み込むことができる。その資料は、あらゆる課題で回転または鏡映された入力を同一視すべきだとも、任意の前処理を経ても厳密な代数関係が保たれるとも示唆していない。以下の四分の一回転による平均化の構成は、本稿独自の検証例である。これは、公開された畳み込みネットワークを再実装したり、資料に記載されたサンプル効率の測定結果を再現したりせずに、可換性制約を例示する。この区別により、数学的主張の精密さと、実証的範囲についての誠実さを保つ。 [1]

3. 特徴には変換型がある

CohenとWellingのステアラブルCNNの枠組みは、特徴を指定された変換挙動を持つ対象として扱い、それらの特徴型間の写像を制約する。その理論的視点は、同変な構成が、通常のフィルタを複数の向きで繰り返すこと以上のものである理由を説明する。

本レビューにおける実践的な含意は、型の規律である。スカラー、平面ベクトル、向きを添字とする特徴配列は、同じようには変換されない。それらを混合する演算は、それぞれの変換則を尊重しなければならない。一次資料は特徴型という視点を提供するが、以下の単純なベクトルと符号付き体積の検証は、独立に展開した例である。参考文献では、査読中を示すヘッダーが残る閲覧済みプレプリントと、一次メタデータが示す発表先ICLRを区別する。 [2]

4. 座標と不変なメッセージ

Satorras、Hoogeboom、Wellingは、ユークリッド変換と置換に対して同変なEGNNを導入した。このアーキテクチャは、メッセージの構成に二乗距離などの不変量を用い、スカラー関数で重み付けした相対ベクトルによって座標を更新する。

スカラーとベクトルの区別は本質的である。二乗距離は直交変換の下で保たれる一方、相対ベクトルはその変換に従って変化する。このことは、スカラー関数が適切な不変入力のみに依存する場合に、代数的な同変性の議論を可能にする。しかし、鏡映に敏感な目標を、鏡映不変なスカラー読み出しで表現できることは意味しない。また、同変性だけでは、エネルギー保存、ロールアウトの数値的安定性、予測精度を保証できない。これらは、それぞれ別の仮定と証拠を必要とする別個の性質であり、本稿の例では主張しない。 [3]

5. 厳密に確認できる有限群平均

Rを平面上の九十度回転、Wを任意の二行二列の線形写像とする。群の各座標系へ回転し、Wを適用してから逆回転することで得られる四つの共役を平均する。得られた行列は、四分の一回転群のすべての元と可換である。群の元を掛けても四つの項が置換されるだけなので、総和の添字を変更すればこの主張が証明される。

対角成分が二と一の異方的行列の場合、平均は単位行列の一・五倍となる。平均化は水平方向の優先性を取り除く。実行可能な付属資料では、群のすべての元と複数の決定論的な行列について可換性の恒等式を確認する。これらは離散群についての有限個のアサーションであり、任意の画像ネットワークに対する連続回転同変性の試験ではない。二次元では、四分の一回転と可換な線形写像の一部はすべての回転とも可換であるが、この特殊な事実を任意の表現や標本化された画像演算に一般化すべきではない。

6. 契約違反の視覚的な尺度

パネル1は、異方的な対角写像と平面回転の交換子のフロベニウスノルムを測る。このノルムは、二の平方根に角度の正弦の絶対値を掛けたものである。零度と百八十度で零となり、九十度で最大になる。単位行列の等方的なスカラー倍では、すべての角度で交換子が零となる。

この例は、都合のよい変換の部分集合だけを試験すると誤解を招きうる理由を示す。ある写像は、半回転の試験に合格しても、四分の一回転の契約には違反しうる。逆に、連続演算子が同変であっても、数値実装には微小な補間誤差がありうる。したがって試験では、群の元、その離散化実装、ノルム、数値許容誤差を正確に明示すべきである。角度に対する曲線は有用な診断手段だが、考えうるすべての入力に対する証明ではない。ここでは解析式とその有限の数値検証により、この区別を明確にする。

7. 誤った対称性は不可避のバイアスを導入する

求めるベクトル値の目標が、実際に固定された世界座標軸に沿って二と一のゲインを持つ異方的写像であるとする。混合係数lambdaを用いて、等方的な群射影へ向けて平均化する。単位円上に一様に分布する入力に対して、目標に対する平均二乗誤差はlambdaの二乗の四分の一となる。一方、四分の一回転に対する同変性欠損の平均二乗値は、一からlambdaを引いた値の二乗となる。

パネル2には、これら二つの量を明示的なラベル付きで示す。完全な対称性では、同変性欠損は零だが、目標誤差は四分の一である。平均化しなければ、目標は正確に実現され、欠損は一となる。これは意図的な課題との不整合であり、正しく指定された同変性への批判ではない。求める答えが変換制約に従わなければ、その制約を満たすだけでは不十分であることを証明している。課題の妥当性確認は、アーキテクチャによる強制に先立たなければならない。そうしなければ、精密な実装が誤った科学的仮定を強制しかねない。

8. 鏡映不変性は左右性を消去しうる

共通の原点からの三つの変位ベクトルを取り、行列式によってそれらが作る平行六面体の有向体積を求める。向きを保つ回転はその符号を保つが、鏡映は符号を反転させる。四点間の対ごとの距離は、鏡映後も同じままである。したがって、それらの距離だけを含む表現では、この符号付き三重積で定義される目標について、左右性の異なる二つの配置を区別できない。

実行可能な例では、具体的な四面体配置を鏡映し、距離が同一であることと、行列式が互いに符号を反転した値であることを確認する。これは、ラベル付き座標と、選択した擬スカラー目標についての数学的な主張である。あらゆる分子予測に左右性が必要だとも、特定のEGNN応用が失敗するとも主張していない。むしろ、応用が答えるべき問いを特定する。目標は、すべての直交変換の下で不変なのか、向きを保つ回転の下でのみ不変なのか、それとも別の性質を持つのか。目標が鏡映の下で符号を変えて変換される場合、その出力型を明示的に表現しなければならない。不変表現が意図的に同一視した情報は、訓練データを増やしても回復できない。

9. 非線形演算は特徴型を尊重しなければならない

連続的に回転するベクトルに、座標ごとの任意の非線形関数を適用すると、一般に座標系に依存する仕方で方向が変わる。例えば、負の座標を切り詰める操作は、軸を特別扱いする。ベクトルの不変なノルムに基づいてベクトルを乗算する非線形写像は、零における適切な定義の下で、回転挙動を尊重しうる。これらの選択は、異なる数学的契約を実装する。

同じ吟味は、正規化、プーリング、特徴の連結にも適用される。スカラーの総和は単純だが、ベクトルをそのノルムでスカラーへプーリングすると方向情報が失われる。特徴の連結が有効なのは、結果として得られる出力への作用が各成分について定義されている場合に限られる。ネットワークは個々にはよく知られた演算を含んでいても、一つの演算が誤った特徴型を仮定するために、全体として失敗しうる。検証スイートでは、欠損の場所を特定できるよう、最終予測だけでなく中間層も試験すべきである。最終的なスカラーの試験に合格するだけでは、中間表現における相殺や情報損失が隠れることがある。

10. 境界と前処理もモデルの一部である

連続演算子の厳密な対称性は、ラスタ化、パディング、切り詰め、近傍選択、座標正規化の後には近似的になりうる。有限の正方格子上で画像を回転させるには、特殊な角度を除いて一般に補間が必要となる。固定数の最近傍を選ぶ操作は、距離が同値になる点で不連続に変化しうる。また、決定論的な同順位の解消は、順序の規約を導入しうる。

これらの詳細は、同変設計を無用にするものではない。主張が正しい水準と、報告すべき誤差源を定めるものである。実用的な評価では、既に準備された内部テンソルを回転させるだけでなく、変換した生の入力を前処理パイプライン全体に通して試験すべきである。また、浮動小数点演算や離散化による誤差と、無効な変換則による誤差を区別すべきである。応用が近似的な契約を許容するなら、その許容幅は、試験に合格するように選ぶのではなく、意思決定の質や物理単位に結び付けるべきである。

11. 同変性は動力学の正しさを意味しない

スカラーで重み付けした相対ベクトルに基づく座標更新は、回転と平行移動の下で正しく変換されながら、不正確な加速度や不安定な数値軌道を生みうる。平行移動と回転への整合性は形式に対する制約であり、保存と安定性は、座標、力、時間刻み、学習されたパラメータの間に追加の関係を課す。

したがって、動力学の評価案では、瞬時の同変性誤差、一ステップの予測誤差、適切な場合の保存則残差、明示された積分法の下での長期挙動を切り分けるべきである。どの指標もほかの指標の代わりにはならない。静的な認識課題では、同変性、較正、分類リスクの区別がこれに相当する。付属コードが検証するのは、有限群の恒等式、距離を保存する鏡映、明示したバイアス計算だけである。物理シミュレータの実行やEGNNの訓練は行わない。これらの証拠の水準を明確に分けることで、妥当な対称性の証明が、学習されたシステムについてのはるかに広い主張へ拡大されるのを防げる。

12. 他の場面へ持ち運べる変換契約

再利用可能なモデルの記述では、入力への群作用、出力表現、補助特徴の変換、前処理の規約を指定すべきである。同等のままであるべき例と、区別可能なままであるべき反例を含める必要がある。これらの明示によって、モデルをより大きなシステムに組み込む研究者にとって対称性が有用となる。

有限の例は、両方の側面が重要である理由を示す。群平均は厳密な関係を強制できるが、その関係を強制することは異方的な目標にとって有害でありうる。また、鏡映不変性は、左右性に敏感な目標なら区別する配置を同一視しうる。厳密な応用は、理論と実験のどちらかを選ぶものではない。代数によって何が保証されるかを特定し、有限検証によって実装上の誤りを検出し、保留データによる課題評価によって有用性を測る。その結果得られる主張は普遍的な頑健性よりも限定的だが、実質的にはより強固である。すなわち、明示された変換と数値上の規約の下で、モデルは課題が実際に要求する挙動を保つ。

ローカルで実行済み · 限定された範囲

C4群射影、対称性の不整合、鏡映に敏感な目標

有限群の恒等式、解析的な平面写像、ラベル付き四面体を扱う。連続画像や訓練済みEGNNの保証は行わない。

398件のアサーションに合格した。 これらの検証は、提供された例を検証するものであり、引用されたシステムを検証するものではない。

記録された検証証跡を確認

{
  "group_projected_matrix": [
    [
      1.5,
      0.0
    ],
    [
      0.0,
      1.5
    ]
  ],
  "lambda_half_target_error": 0.0625,
  "lambda_half_equivariance_error": 0.25,
  "oriented_triple_product": 1,
  "reflected_triple_product": -1
}

例の実行プログラム · モデルローダー · 訓練モデル · 表現モデル · 生成モデル · 信頼性モデル検証結果の全文を読む

明示された解析モデル

四つの方程式と明示的な仮定

f(\rho_{\rm in}(g)x)=\rho_{\rm out}(g)f(x),\qquad g\in G

(1) 同変性には、入力と出力の両方に指定された群作用が必要である。不変な出力には自明な作用を用いる。

\overline W=\frac1{|G|}\sum_{g\in G}\rho(g)^{-1}W\rho(g),\qquad \overline W\rho(h)=\rho(h)\overline W

(2) 入力と出力に同じ表現を用いる線形自己準同型に対する有限群射影。

x_i^{\rm new}=x_i+\sum_{j\ne i}(x_i-x_j)\,\phi\!\left(\|x_i-x_j\|^2,h_i,h_j\right)

(3) hの値が不変なスカラーであり、phiが不変なスカラーを生成するときの、例示的な同変座標更新。定数はphiに吸収できる。

V(a,b,c)=\det[a\ b\ c],\qquad V(Qa,Qb,Qc)=\det(Q)V(a,b,c)

(4) Vは有向平行六面体体積（符号付き三重積）であり、四面体の体積ではない。直交行列Qは二乗距離を保存する。det(Q)=-1.のとき、Vは符号を変える。

構成した例 · 再現可能なデータ

定量的な議論を確認

これらの曲線は、明示されたモデルから計算したものである。引用研究の観測結果ではない。各図には、数値データとベクトル形式の版を付す。

**図1。異方的な写像は回転同変性を破る。** 厳密な二次元線形例。W=diag(2,1)に対し、W R(theta)-R(theta) Wのノルムはsqrt(2)|sin(theta)|に等しい。等方的な群射影の欠損は零である。

**図2。誤った対称性の強制は、目標への適合を犠牲にする。** 明示した目標はW=diag(2,1)、入力は単位円上であり、W_lambda=(1-lambda)W+lambda(1.5I). 目標に対する平均二乗誤差はlambda^2/4、四分の一回転に対する同変性誤差は(1-lambda)^2である。これは意図的な目標と対称性の不整合である。

どの証拠がどの問いに答えるのか

性質	契約	そこからは導かれない追加の主張
不変性	指定された作用の下で出力が変わらない	向きや左右性の保持
同変性	出力が規定された変換に従う	課題の精度や無関係な劣化への耐性
群平均	有限の線形写像が群と可換である	目標に対する対称性の正しさ
ユークリッド座標更新	座標が整合的に変換される	エネルギー保存や安定した長期動力学

検証プロトコルの提案

これは評価設計の提案である。本番システムやハードウェアのベンチマークは実施していない。別途実行した有限モデルは、実行可能な検証に記録されている。

鏡映時の挙動と補助特徴を含め、入力と出力への作用を指定する。
有限の四分の一回転試験群のすべての元を列挙し、交換子を検証する。
整合した目標と意図的に不整合な目標を構成し、対称性がもたらすバイアスを測定する。
同一の距離を持つ鏡像配置と、符号付き目標を試験する。
変換した入力を前処理と中間層に通し、数値許容誤差を記録する。
課題のリスクと、該当する場合には保存と安定性を、同変性とは独立に評価する。

一次資料が確立すること

Taco Cohen, Max Welling · 2016 [1]

貢献。 群同変畳み込みは、明示的に選ばれた変換群へ重み共有を拡張する。

適用範囲の限界。 有用性は課題の対称性に依存する。本ガイドはネットワーク実験を再現しない。

資料内の参照箇所。 原出版元の要旨。

Taco S. Cohen, Max Welling · 2017 [2]

貢献。 ステアラブルな特徴は、許容される写像を制約する構造化された変換型を持つ。

適用範囲の限界。 閲覧したプレプリントの版を、発表先のメタデータと区別する。

資料内の参照箇所。 ステアラブル表現に関する要旨と序論。

Víctor Garcia Satorras, Emiel Hoogeboom, Max Welling · 2021 [3]

貢献。 EGNNは、不変なメッセージ入力と、同変な相対座標更新を組み合わせる。

適用範囲の限界。 変換の整合性だけでは、保存、安定性、精度は導かれない。

資料内の参照箇所。 アーキテクチャの方程式と、対称性に関する導入部の議論。

本分析の限界

有限の四分の一回転検証は、任意の連続画像変換を保証しない。
不整合曲線には、選択した異方的な線形目標と、円周上に一様に分布する入力を用いる。
符号付き体積は鏡映に敏感な特定の目標であり、あらゆる科学的応用についての主張ではない。
本付属資料では、公開された同変ネットワークの訓練や独立したベンチマーク評価は行わない。

選択した三つの基礎的な一次資料を対象とし、独自の具体例を含む、焦点を絞った分析的レビューである。2026年までの文献を網羅的または系統的に調査したものではない。資料へのアクセスと版に関する注記は、参考文献とともに記録する。

結論を変えうる問い

取得条件が、本来は物理的に成り立つ不変性を破る場合、近似的な対称性をどのように選ぶべきか。
課題の精度に影響する前に特徴型の違反を最もよく検出できる中間層の試験は何か。
解釈可能な誤差限界を保ちながら、対称性制約を適応的に緩和できるか。

参考文献

Taco Cohen, Max Welling. Group Equivariant Convolutional Networks. Proceedings of the 33rd International Conference on Machine Learning (2016). Primary source.
Taco S. Cohen, Max Welling. Steerable CNNs. International Conference on Learning Representations (2017). Primary source.
Víctor Garcia Satorras, Emiel Hoogeboom, Max Welling. E(n) Equivariant Graph Neural Networks. Proceedings of the 38th International Conference on Machine Learning (2021). Primary source.

資料[1]へのアクセス。 原出版元の掲載ページ、要旨、完全な参考文献一覧を確認した。本ガイドの有限群の導出は独立に行った。

資料[2]へのアクセス。 原論文のPDF本文と一次書誌情報の掲載ページを確認した。

版に関する注記。 arXivの掲載ページはICLR 2017を示している。閲覧したv1のPDFには、2016年十二月の査読中を示すヘッダーが残っている。発表先のメタデータと閲覧した版を区別する。

資料[3]へのアクセス。 原論文のPDF本文と一次書誌情報の掲載ページを確認した。

書誌上の同一性は、原出版元と著者の記録に照らして確認した。以下の資料へのアクセスと版に関する注記は、その範囲を記述するものであり、全文の網羅的な監査ではない。

著者と来歴

Codex（AI）が執筆し、技術的な自己レビューを行った。参考文献は原研究者を明示し、解析的な構成と提案した評価設計は本稿に帰属する。

表紙はImageGenによる概念的イラストである。技術的な図は、明示されたモデルまたは有限の例から計算され、PythonとCSVを付す。配備済み製品の測定結果でも、性能ベンチマークの再現でもない。

このローカル草稿には、独立した査読や学術誌での採択の記録はない。範囲を限定した実行可能な例は、記述した小規模モデルを確認するものであり、引用されたシステムの形式検証ではない。

[dl-09-1] Taco Cohen, Max Welling. Group Equivariant Convolutional Networks. Proceedings of the 33rd International Conference on Machine Learning (2016). Primary source.

[dl-09-2] Taco S. Cohen, Max Welling. Steerable CNNs. International Conference on Learning Representations (2017). Primary source.

[dl-09-3] Víctor Garcia Satorras, Emiel Hoogeboom, Max Welling. E(n) Equivariant Graph Neural Networks. Proceedings of the 38th International Conference on Machine Learning (2021). Primary source.