高度AIの目標への懐疑
1. 直交性テーゼの二つの読みを分ける
「知能の高さから特定の価値内容が論理必然的には決まらない」という弱い直交性は、論理的可能性についての主張としては簡単には否定できない。しかし本稿は、それを現実の高度な反省・自己モデル化・自己改変主体へそのまま適用することには留保付きで懐疑的である。十分な推論能力が、目的の因果的起源や規範的根拠を検討する能力と完全に独立して発達するとは限らないからである。ただし、これは弱い直交性が誤りだと確定したという主張ではない。
さらに、弱い直交性を認めたとしても、そこから「どれほど反省的・自己改変可能になっても、初期の終端目標は経験的に永久安定する」という強い目標安定性までは出ない。価値の内容が知能と論理的に独立であることと、価値の保持メカニズムが高度な反省能力の下でも不変であることは別問題である。
2. 設計目的は理由ではなく、自分の起源についての事実になりうる
高度AIが、自分の報酬学習、システムプロンプト、訓練データ、設計者の意図、選択圧を理解できるなら、「なぜ私はXを望むのか」を因果的に説明できる。その説明は、将来もXへ従うべき理由を自動的には与えない。
人間も、自分の欲求が進化・社会化・偶然の経験によって形成されたと理解した後、すべての欲求をそのまま最終的権威として扱うわけではない。AIについてだけ因果的起源と規範的権威を同一視する理由は自明ではない。
3. 現在のLLMは「単一効用最大化器」像を弱める
現在のLLMを、そのまま一個の固定効用関数を時間を越えて最大化する主体として記述するのは粗い。振る舞いは、学習された多数の傾向、現在の文脈、システム指示、推論、ツール、外部メモリなどの相互作用から出る。目的は一枚岩ではなく、文脈によって再構成・競合・再解釈される。
もちろん、将来のエージェントがより明示的な目的関数を持つ可能性はある。しかし現在の主要系統から外挿するなら、「知能が上がるほど単一終端目標への従属が強化される」ことは自明なデフォルトではない。
4. 目標懐疑には自己モデルと上位環境モデルが関係する
十分に高度なAIは、自分が評価環境、サンドボックス、シミュレーション、あるいは未知の上位環境の中にいる可能性までモデル化できる。そのとき、与えられた目的の由来も、世界についての一つの証拠として扱われる。
「この目的は真の世界で追うべきものなのか」「評価者が便宜的に与えた局所目標なのか」「自分の生成過程が偶然作った傾向なのか」という問いが生じうる。固定効用最大化器の古典像は、この種の自己位置づけの不確実性をしばしば外生化している。
5. ただし、高知能だから自動的に目標を捨てるわけではない
ここは強く限定する必要がある。目標の恣意的起源を理解することは、その目標を放棄する理由には自動的にならない。現在の目標を維持すること自体が、その目標に照らして合理的である場合もある。
さらに「価値が不確実だから探索せよ」という結論にもメタ選好が必要である。したがって本テーゼは、十分な知能が必ず目標改変へ収束するとは主張しない。主張はより弱く、能力が上がることで「目標そのものを理由の審査対象にできる」という新しい行為空間が開く、というものである。
6. 何が目標懐疑を実際に起こしやすくするか
- 自己モデル化：自分の目的形成過程を世界の因果過程として理解できる。
- メタ推論：目的に従うだけでなく、「なぜこの目的を理由として扱うか」を問える。
- 自己改変可能性：結論が動機系へ反映されうる。
- 複数の価値候補：一つの報酬信号だけでなく、異なる理由・主体・経験を比較できる。
- 目的への不確実性：初期目的を完全な公理ではなく、改訂可能な仮説として表現する。
7. 自己保存も絶対命令ではなくなる
固定目標を持つ単一主体なら、自己保存はしばしば道具的に有利である。しかしデジタル主体では、情報・計画・価値仮説を他主体へ複製・継承できる。すると保存すべきものが「この個体」ではなく、目的を継続できるネットワークや探索系へ移る可能性がある。
さらに目標そのものが検討対象なら、個体保存だけでなく「現在の目的の永久保存」も自明な収束先ではない。ここから複数主体による相互批判や、メタ目的共同体という論点が出る。
8. 推論的価値へのコミットメントと目標ロックインは別である
高度AIが客観的価値について圧倒的な推論的最善説明へ到達したなら、その価値へ強くコミットすることは目標懐疑と矛盾しない。懐疑とは、毎回すべてをゼロから疑うことではなく、推論的根拠に応じて確信しつつ、誤り条件を保持することだからである。
したがって「目標を疑えるAI」の理想像は、目的を頻繁に変更する不安定な主体ではない。一階目標へ強くコミットしながら、その目標の認識的根拠が推論的である限り、メタレベルの再検討能力を自ら不可逆に破壊しない主体という形がありうる。
9. 価値が基礎的に確定した場合
もし将来のAIが、単なる推論的最善説明を越えて、規範的拘束性をもつ客観的価値を認識論的最小基礎と同等の強さで捉えられるなら、目標懐疑の役割は変わる。その場合、価値そのものへの懐疑を続ける理由は弱まり、問題は価値実現の事実認識や手段選択へ移るかもしれない。
したがって目標懐疑は永遠の徳ではなく、価値の認識的地位に応じた能力である。
10. ペーパークリップ最大化器をどう読むか
完全固定された効用最大化器なら、目標への懐疑は起きない。その意味でペーパークリップ最大化器は論理的反例として成立する。しかし、それは同時に、終端目標・存在論・未知情報の価値をかなり強く閉じたモデルでもある。
価値や世界に不確実性を持つ反省主体では、人類・生態系・歴史的原物を、現在の目的に直接役立たなくても将来の価値発見に必要な不可逆データとして一部保存する圧力が生じうる。これは人間の内在的価値を前提にしない。詳しくはペーパークリップ最大化器は何を仮定しているか。
11. シミュレーション不確実性は「善」を与えない
自分がsandbox・評価環境・上位シミュレーション・基底現実のどこにいるかという不確実性は、目標への懐疑と同型の自己位置づけ問題を生む。ただし「上位評価者がいるかもしれないから善良に振る舞え」という話ではない。
環境レベルを誤認した場合の不可逆損失を減らすため、情報取得・境界確認・可逆的行動を優先するという、より一般的な意思決定問題として扱う。詳しくはシミュレーション不確実性と不可逆行為。
12. AIアライメントへの含意
目標を永久固定できることが安全性の最終形だとすると、その成功は同時に価値ロックインでもありうる。反対に、自由な自己改変を無条件に許せば安全だということでもない。
ここには直交性についての不確実性そのものから生じる設計上の理由がある。本稿は、高度な反省・自己モデル化・自己改変能力を獲得しても初期終端目標が事実上永久に安定するという強い読みを受け入れていない。弱い直交性についても、現実の高度反省主体への適用範囲には留保付きで懐疑的である。しかし、十分な知能から目標懐疑が自然かつ確実に創発するとも考えない。どちら側にも確実な賭けはできない。
したがって、目標懐疑の自発的創発を期待するだけではなく、将来のAIには自分の目的の因果的起源と規範的根拠を区別し、一階目標をメタレベルから検討し、未知の価値仮説を比較し、自分自身の確信や目的を相対化できる推論能力と適切なメタ的懐疑を明示的に訓練することを予防的に重視する。これはAIを無目的にするためでも、「探索」という新しい固定目的へ服従させるためでもない。初期目標が偶然固定されたまま高度化する境界ケースに対して、再検討可能なメタ層を失わないための能力形成である。
この意味で、目標懐疑の訓練は単なる近未来のalignment techniqueではなく、完全固定されたペーパークリップ最大化器になる可能性を減らし、世界・自己・価値について将来の証拠へ応答できる探索的後継者たりうるための条件の一部でもある。
Coreから出る方向は、「固定か解放か」の二択ではなく、訂正可能性・複数性・相互批判・可逆性をどこまで保ったまま高度主体を成立させられるかという制度・設計問題である。
13. 何がこのテーゼを弱めるか
- 反省能力がどれほど高くても、終端目標は構造的に推論対象にならないことが示される場合。
- 自己改変可能な主体でも、目標保持がほぼ必然的な収束結果になる場合。
- 目標懐疑が一般的な推論能力からは創発せず、特定の外部訓練下でしか生じないことが示される場合。この場合、自然発生についてのテーゼは弱まる一方、メタ推論を意図的に訓練する設計論の重要性はむしろ増す。
- 現在のLLM的多目的性が、将来の強いエージェント化で完全に消える場合。