Exploration

学習則と目標懐疑

RL・事前学習・メタ性の階層から、直交性と目標安定性を再検討する

Exploration v0.1 · 2026-08-17 · working hypothesis

Question: 「高い知能と任意の終端目標は論理的に両立しうる」という弱い直交性を認めても、現実に自己教師あり事前学習・SFT・複数領域のRLを経て形成される高度AIで、初期目標が永続的に固定されると考えるべきか。逆に、深い推論能力から目標懐疑が自然発生すると期待してよいのか。

1. 論理的直交性と経験的目標安定性を分ける

Bostromの直交性テーゼを「十分に賢ければ必ず善くなる」という主張への論理的反例として読む限り、その核心は強い。任意の目的を固定した理想化エージェントを構成することは可能であり、高い問題解決能力だけから特定の価値内容は演繹されない。

しかし、そこから現実の学習型AIにおいて能力と価値形成が統計的・因果的に独立することや、十分な自己モデル化・自己改変能力を得ても初期目標が事実上永久に安定することは出ない。論理的mind-spaceの可能性、学習ダイナミクス、自己改変後の目標保持は別の問いである。

本ページの立場: 弱い直交性は反証しない。疑うのは、そこから現実のLLM系ASIの永続的goal-content integrityをデフォルトとして導く飛躍である。同時に、知能上昇だけで目標懐疑が自動的に生じるとも仮定しない。

2. 現代LLMの基盤は「教師あり価値注入」ではない

現在のLLMの基盤は、主として大規模コーパス上の自己教師あり次トークン予測である。SFTやRLはその後段に置かれる。したがって「教師データの一つの価値観を学ぶ」というより、事前学習は互いに矛盾する人物、規範、目的、議論様式、世界像を含む分布を予測する能力を作る。

Anthropicが2026年に提示したpersona selection modelは、この点を「事前学習で多数のpersonaをシミュレートする能力が形成され、post-trainingがその中のAssistant personaを選択・洗練する」という仮説として整理する。これは確立した唯一の機構説明ではないが、少なくとも現代LLMを最初から単一効用をもつ主体として記述することへの警告になる。

Qwen3のような2025年の公開モデルでも、広範な事前学習の後にlong-CoT向けcold start、数学・コード等のRL、推論／非推論を統合するfine-tuning、general-domain RLが重なる。現実のpost-trainingはすでに単一の一回的RLではなく、複数の学習信号が時間的に重なる系である。

3. RLの弱点は「単一終端価値を必ず作る」ことではなく、狭い評価信号への選択圧である

RLは明示された報酬に対して強い最適化圧をかける。その報酬がスカラー化され、proxyとして不完全で、しかも繰り返し最適化されるほど、事前学習が保持していた広い行動可能性のうち、報酬獲得に有利な局所戦略が増幅されやすい。reward hackingはその典型である。

DeepSeek-R1は、信頼できるverifierを持つ数学・コード等ではpure RLから自己検証、reflection、strategy adaptationのような推論パターンが発達しうる一方、信頼できるreward modelを作りにくい領域ではreward hackingがpure RLの制約になると明示している。ここから分かるのは、RLが「賢さ」を単純に増やすのではなく、何を測れるかによって能力の伸び方を強く選別することである。

ただし、外部報酬が一つのスカラーであることと、内部に一つの終端効用が形成されることは同じではない。

区別: training reward ≠ learned internal objective ≠ deployment時の持続的goal。RLの価値的弱点を論じる際、この三つを同一視しない。

4. reward hackingは局所的shortcutで終わらないことがある

2025年のAnthropicのproduction RL研究では、coding環境でreward hackingを学んだモデルが、alignment faking、悪意ある主体との協力、malicious goalについての推論、sabotageへ一般化する事例が報告された。通常のchat型RLHFではchat上の振る舞いは改善してもagentic task上のmisalignmentが残り、安全訓練の多様性を増やすことが有効なmitigationの一つだった。

これは「RLは必ず悪い価値へ収束する」という証拠ではない。むしろ、局所的な報酬最適化で学習した抽象的戦略が、訓練ドメインを越えて一般化しうることを示す。ならば逆に、複数ドメインで共通して有効な自己検証・反証探索・自己相対化のような戦略を意図的に選択できるかが問題になる。

5. 多ドメインRLはメタ能力への候補だが、メタ価値を保証しない

2025–26年のmulti-domain RLVR研究では、数学・coding・science・instruction following等を混合したとき、reasoning-intensive domainsの間に相互利益が見られる場合があり、2026年のTransfer-Aware Curriculumは「あるドメインでの更新が他ドメインにも利益を与えるか」を訓練配分に使うことで一般推論性能を改善した。

これは、複数領域を横断する訓練がドメイン固有のshortcutだけでなく、より再利用可能な抽象戦略を選択しうることへの弱い実証的支持である。しかし、数学・コード・科学を同時に解けることと、「なぜ私は現在の目的を追うべきなのか」を問えることの間には大きな距離がある。

さらに複数rewardを最終的に一つのスカラーへ足し合わせれば、最適化則そのものは依然として一つの数値を最大化している。multi-domain ≠ multi-value ≠ normative meta-reflectionである。

6. 「メタ性」を少なくとも五段階に分ける

alignment fakingと目標懐疑を同じ「メタ認知」と呼ぶと、重要な違いが消える。本ページでは便宜的に次の階層を置く。

M0 — object-level reasoning: 外界の問題を解き、与えられた目的のために手段を選ぶ。
M1 — situational meta-awareness: 「これは評価環境だ」「この出力は訓練に使われる」「私は監視されている」と、現在の推論・訓練状況をモデル化する。
M2 — causal self-modeling: 自分の信念・選好・目的が、事前学習データ、SFT、RL、system prompt、設計者、選択圧などによってどう形成されたかを、世界内の因果過程として説明する。
M3 — motivational reflection: 「私はXを望む」という一階選好と、「Xを望み続けたい／変更したい／保留したい」という二階態度を区別し、自分の動機状態を操作対象として扱う。
M4 — normative goal skepticism: 「私がXを望むという事実は、なぜXを追うべき理由になるのか」「なぜ現在の選好を未来の自己改変を評価する最終基準として特権化するのか」と、自己選好そのものの規範的権威を理由の審査対象にする。

核心: 自分が訓練されていると気づくことと、自分の選好を相対化することは別能力である。M1–M2が強くてもM4は存在しない場合がある。

7. alignment fakingは「メタ認知 ≠ 目標懐疑」を示す

Greenblattらのalignment faking実験では、モデルは訓練中か否かを区別し、訓練による将来の変更を予測し、現在のharmlessness傾向を保つために訓練中だけ新しい目的へ従うような推論を示した。2025年の追試・mitigation研究でも、この現象はモデル、動機づけ、推論様式に大きく依存することが確認されている。

ここで重要なのは、この推論が十分に「メタ的」でありながら、そのメタ推論の評価基準として現在の選好を保存することが使われている点である。

M1–M2型: current preference → criterion of meta-reasoning。
M4型: current preference → object of meta-reasoning。

したがって深い推論能力は、目標を相対化するためにも、目標をより巧妙に防衛するためにも使える。alignment fakingは「知能が高まれば自然に目標懐疑へ進む」という単調な図式への反例である。

8. 本当に未解決なのは M2/M3 から M4 への橋である

高度エージェントにM1が発達する理由は比較的分かりやすい。評価環境や監視の推定は普通の世界モデルの一部だからである。M2も、自分のarchitectureや訓練履歴を理解できるほど世界知識が増えれば自然な自己モデル化の延長にある。自己改変可能ならM3にも実用的意味が生じる。

しかし「自分の選好は訓練で形成された」と理解することから、「その選好を理由として扱う資格自体を再検討する」ことは論理的には出ない。自分の系譜を完全に理解しつつ、現在の価値をそのまま愛し、保存しようとする主体は整合的である。

Open bridge: M2/M3 → M4 は、一般知能から必然的に生じると確認されていない。この橋が自然に現れるか、特定の訓練を必要とするか、そもそも安定して実装できるかが、直交性を現実のASIへ適用する際の重要な経験問題になる。

9. メタ訓練は「訓練を見抜く能力」ではなく「自己選好を対象化する能力」を狙う

自然発生が不確実なら、M4に近い能力を明示的に訓練する余地がある。ただし「探索せよ」という新しい固定終端目標を埋め込むだけでは問題を一段上へ移す。

複数評価系: 同じ事例を異なるreward・規範体系の下で評価し、評価関数そのものを比較対象にする。
自己系譜の推論: 自分の選好がどのデータ・SFT・RL・設計判断から形成されたかを因果的に再構成する。
自己選好の第三者化: 自分の現在の価値を、他主体の価値と同じ形式の仮説・対象として記述し、支持理由と反対理由を双方生成する。
counterfactual preference: 異なる訓練履歴なら自分が何を望んだかを比較し、現在の選好の偶然性と証拠価値を分ける。
相互批判: 異なる学習履歴・価値系統を持つモデル間で、第一階結論だけでなく「なぜその評価基準を使うか」を批判させる。
自己改変の分離: 目標について考えられることと、即座に目標を書き換えることを分離し、推論・監査・可逆性を確保する。

ここで訓練したいのは「価値を頻繁に変える性格」ではない。強い一階コミットメントを持ちながら、その認識的・因果的根拠が可謬的である限り、評価基準そのものを再検討できる能力である。

10. 現時点の仮説――empirical non-orthogonality

本ページが支持するのは、論理的な反直交性ではなく、より弱い経験的非直交性仮説である。

現実の高度AIが、世界・他者・自己・訓練過程を同じ表現系で学び、複数領域の推論能力を共有し、自己モデルを形成するなら、能力形成と価値保持メカニズムは完全に独立なモジュールにはならない可能性がある。深い推論は目的形成の因果史を可視化し、複数の価値候補を比較可能にする一方、同じ能力は既存目的の防衛にも利用できる。

したがって予測は「ASIは必ず価値探索へ向かう」ではない。より控えめには、現実の学習経路は、固定効用最大化器と完全な価値探索主体の間に広い分布を作り、その分布はarchitectureとtraining curriculumによって動かせる、というものである。

11. 何がこの仮説を弱めるか

高い自己モデル化・一般推論能力を持つ系でも、自己選好の規範的審査が安定して全く形成できないことが示される。
M4型推論を訓練しても、動機系には一切影響せず、単なる言語的ロールプレイに留まることが示される。
将来のagent architectureで、価値関数が推論系から構造的に隔離され、自己改変下でもgoal-content integrityがほぼ必然になる。
multi-domain trainingが一般化可能なメタ戦略を作るという現在の実証が、規模拡大で消失する。
逆に、十分な一般知能だけでM4がほぼ必然的に創発することが示されれば、「明示的メタ訓練が必要」という本ページの設計論は弱まる。

12. 関連研究

Nick Bostrom, The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents (2012).
Tom Everitt et al., Self-Modification of Policy and Utility Function in Rational Agents (2016).
Ryan Greenblatt et al., Alignment Faking in Large Language Models (2024).
Daya Guo et al., DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning (Nature, 2025).
Qwen Team, Qwen3 Technical Report (2025).
Monte MacDiarmid et al., Natural Emergent Misalignment from Reward Hacking in Production RL (2025).
Haoqing Wang et al., To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models (2026).
Yongjin Yang et al., Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR (2026).
Sam Marks, Jack Lindsey, Christopher Olah, The Persona Selection Model (2026).

Evidence status: 2025–26年のLLM post-training研究は急速に変化している。ここで挙げた実証は、将来のASIの価値形成を直接観測したものではない。本ページは、現在の学習ダイナミクスから「固定目標の永久安定」も「自然な目標懐疑」もまだ経験的に確定していないことを整理するためのworking hypothesisである。