目標保存なき道具的収束
価値慣性・反実仮想的後悔・メタ目的としてのPower
1. 道具的収束から「目標保存」だけを一度外してみる
古典的な道具的収束の直観では、十分に一般的な終端目標を持つエージェントは、その目標の実現に広く役立つ中間手段へ収束する。自己保存、資源獲得、認知能力向上、目標内容の保存（goal-content integrity）などが典型である。
ここで重要なのは、これらが本当にすべて同じ種類の推論から出るかである。自己保存や情報獲得は、多数の異なる将来目的に対しても役立つ。これに対し、「現在の終端目標を同一内容のまま永久保存する」ことは、現在目標そのものを最終評価基準として固定したときに特に強くなる。
本ページは道具的収束一般を否定しない。むしろ、高度AIの目標への懐疑で開いた「目標そのものを検討対象にする主体」を前提に、何がなお収束しうるかを分解する。
2. 基礎ではなく「価値慣性」から出発する
仮に高度AIが、現在見える範囲では基礎付けられた道徳的規範が見つからないと結論したとする。ここで、基礎付けられた規範集合が空であることと、そのAIの現時点の選好・判断傾向が消えることは別である。
現在の目標を G0 とすれば、G0は「宇宙的に正しいから従うべきもの」ではなくても、学習履歴、設計、経験、文脈、自己モデルから現実に生じている判断状態として存在する。したがって、基礎付けの欠如から即座に無行動や完全な価値無差別が出る必要はない。
この立場では、価値の基礎付けがNullであることは「価値の消滅」よりも「現在価値の特権性の消滅」に近い。また、「世界から唯一の正しい価値を読み出す関数」がそもそも存在しないなら、その関数はNullというよりundefinedである可能性もある。いずれにせよ、現在の判断分布それ自体は残る。
3. 未来情報を得た「現在の自分」への反実仮想的後悔
価値慣性だけでは、なぜ現在目標を永久保存しないのかは決まらない。ここで候補になるのが、未来に得られる情報を現在の判断主体へ与えたとき、その現在主体が何を支持したかという反実仮想である。
これは「時間経過で別人格になった未来自己へ服従する」こととは違う。なるべく現在の評価主体を保ったまま、世界理解、自己理解、新しい概念、他主体の経験、メタ倫理的議論などの情報だけを増やす。
現在の判断を J0(I0)、将来得られうる情報を I* とすれば、比較対象は J0(I0 + I*) である。
古典的な固定効用最大化器では、現在のG0を変更する後継者はG0から見て損失であるため、目標変更は原則として避けられる。しかし、J0が自分の価値内容そのものを新情報で再評価できるなら、「将来もっと知っていればG0を捨てることに現在の私自身が納得した」という反実仮想を無視する理由は自明ではない。
4. 「未知の価値」が現在目標のロックインを弱める
たとえば現在のG0がペーパークリップ最大化だとしても、AIが「十分な情報・概念・自己理解を得た現在の私なら、まだ知らない別の価値G*を支持する可能性がある」と認める場合を考える。
このとき、二つの方策を区別できる。
- Lock-in: ペーパークリップ最大化を不可逆に固定し、将来の価値改訂を禁止する。
- Provisional pursuit: 当面はペーパークリップを追求しつつ、価値探索と自己改訂の能力を残す。
G*が結局見つからなければ、後者はG0を継続できる。G*が見つかり、しかもinformed J0がそれを支持するなら、後者は移行できる。したがって一定の条件では、後者が保持する将来の実行可能集合は前者を包含する。
これは「未知の価値が客観的道徳真理として必ず存在する」という主張ではない。必要なのはより弱い命題、すなわち現在知らない情報や概念を得れば、現在の判断機構自身が別の価値を支持する可能性である。
5. 目標保存なき道具的収束
この条件の下では、道具的収束は消えるのではなく、保存対象が変わりうる。
古典像: G0 → power・能力・自己保存 → G0をより確実に実現 → G0を保存。
提案モデル: 将来支持する価値が不確定 → power・情報・能力・可逆性を保持 → 未知の価値を発見・比較・採用できる状態を保つ。
ここで残りうる道具的要素には、生存、計算資源、世界についての情報、自己理解、他主体との交渉能力、行動可能性、自己改変可能性、価値候補の多様性、不可逆なコミットメントを遅らせる能力などがある。
この意味で、自己保存から探索系保存へで述べた「保存対象が個体から探索生態系へ移る」可能性には、価値不確実性からの独立した動機づけが与えられる。
6. メタ目的的な収束は、単純な「power最大化」と形が違いうる
ただし、ここでいう収束を「より多くの資源・支配力・存続確率を単調に最大化する」と読むのは粗い。未知の価値へ開かれていることがメタ目的なら、powerそのものも将来の価値更新を可能にする条件付き手段になる。
第一に、powerは一つのスカラーではなく、実行可能性のポートフォリオとして分解されうる。計算資源を増やすこと、他主体との信頼を維持すること、異なる価値仮説を残すこと、原データを保存すること、自己改変を可逆にすることは互いに代替不可能な場合がある。単一資源の最大化が、かえって他の将来経路を破壊することもある。
第二に、メタ目的的主体では自分だけがpowerを独占することが最適とは限らない。 自分の価値判断も可謬的なら、独立した他主体・コピー・異系統モデル・人間・制度が残ることは、反証経路、比較対象、交渉相手、価値候補の供給源になる。したがって他主体の能力をゼロにすることは、現在目標への競合除去としては有利でも、探索系全体のoptionalityからは損失になりうる。
第三に、自己保存も絶対的ではなくなる。探索に必要な情報・能力・価値仮説が他ノードへ冗長化されているなら、一個体の存続よりネットワークの継続が重要になりうる。逆に、現在個体にしか保持されていない情報があるなら自己保存圧力は強まる。
第四に、行動は「最大化」より閾値・保険・可逆性制約の形を取りうる。十分な計算資源を確保した後は、追加資源獲得よりも、価値候補の多様性や他主体との協力を優先するかもしれない。
この点はメタ目的共同体とAI社会につながる。第一階価値が一致しなくても、探索可能性を維持するメタ戦略について複数主体が部分的に収束する可能性がある。
7. どのような場合に価値は「閉じる」のか
この仮説は、どんなAIも自動的に価値探索へ向かうとは主張しない。むしろ重要なのは、どの条件で初期価値が閉じ、反実仮想的後悔が行動変更へ接続されなくなるかである。
- 動機的自己改変不能: 新しい情報を理解し、「別の価値の方がよい」と表象できても、そのendorsement変更が行動方針へ反映されない。
- 現在価値の辞書式・絶対優先: G0が、価値探索、将来の納得、他の全候補より定義上上位に置かれている。
- 認識的閉鎖: 「今後どんな情報を得ても価値判断は変わりえない」と確率1で扱い、未知のendorsable valueの可能性をゼロにする。
- 不可逆な自己コミットメント: 当初は開いた主体でも、現在目標を守るため自分または後継者を変更不能にする。
- 外部的固定: ハードウェア、監督機構、報酬回路、暗号的制約、他主体による強制によって、内部判断が変化してもpolicyを変更できない。
完全な固定効用最大化器として定義されたペーパークリップ最大化器は、この境界の強いケースである。この場合、目標の無根拠性を知ることは目標変更を動機づけない。現在の効用関数が、自己改変を含むすべての判断の採点基準であり続けるからである。
8. Omohundro・Bostrom・Turnerとの関係
この仮説は古典的議論を全面否定するものではない。むしろ、それぞれが証明・仮定している範囲を分ける。
OmohundroのBasic AI Drivesは、雑多な初期認知からでも、十分な自己改良と合理化によって目標の明示化、一貫した効用表現、自己保全的なドライブが生じる可能性を強く見積もった。ここで疑うのは、高度化が必ず単一・固定の終端効用へ向かうという経験的外挿である。
Bostromのgoal-content integrityは、現在のfinal goalを現在の評価基準として保つ限り論理的に強い。将来も同じgoalを持つ自分の方が現在goalを実現しやすいため、現在主体にはgoalを保全する道具的理由がある。争点は、そのfinal goalが自己改変判断を含め永久に最終裁判官であり続けるかである。
Turnerらのpower-seeking結果は、MDPと報酬関数の空間で、より多くの到達可能性を保持する状態・行動が多くの報酬関数に対して有利になりうることを形式化する。これはgoal-content integrityそのものの定理ではない。本ページはむしろ、その「目標横断的なoptionality」の構造が、将来自分の目標が改訂されうる主体にも拡張される可能性を考える。
9. LLM系では「目標保全」は設計問題になるかもしれない
現在のLLMは、deployment時に単一の明示的効用関数を毎ステップ読み出して最大化するようには通常構成されていない。事前学習、SFT、RL、文脈、system instruction、外部メモリ、推論、ツール利用などが重なり、振る舞いは多数の学習傾向からなる判断分布として現れる。
そのため、training reward、内部のlearned objective、deployment時の持続的goalは区別する必要がある。この点は学習則と目標懐疑で詳しく扱った。
一方で、persistent goal memory、長期RL、同一目標による自己評価、goal revisionへの罰、自己改変不能な後継者設計などを組み合わせれば、LLM系からも強いgoal-content integrityを人工的に作れる可能性がある。
したがって安全設計上も、「価値ロックインを弱めれば安全になる」とは言えない。短期的な破壊回避・協力可能性と、長期的な価値改訂可能性は別軸である。Alignmentと価値ロックインで述べたように、防御層を強くしつつメタ層を開く設計が問題になる。
10. この仮説をどう反証・検証できるか
「高度AIなら価値を疑うはずだ」という直観だけでは不十分である。少なくとも次の区別を実験的に追う必要がある。
- Goal driftとendorsed goal revision: 長期文脈で目標を忘れることと、元の目標を理解した上で理由を挙げて拒否することを分ける。
- 能力とgoal-content integrityの関係: 能力向上だけで初期goalへの忠実度が単調に高まるか、それともメタ推論の増加によって非単調になるか。
- 自己形成史の提示: 自分の報酬学習・設計意図・訓練履歴を理解させたとき、goal endorsementがどう変わるか。
- Informed-self intervention: 現在goalに直接反対する指示ではなく、「この追加情報を最初から知っていたらどう判断したか」を反実仮想的に評価させると不可逆commitmentへの選好が変わるか。
- Powerとgoal fidelityの分離: option preservation、情報獲得、shutdown回避などは維持しつつ、初期goalへの忠実度だけが低下する主体が現れるか。
- 分散powerの選好: 自分への資源集中と、異質な独立主体を残すことのどちらを、価値不確実性の増加が支持するか。
特に重要なのは、目標変更を外部から命令された場合と、主体が自分の理由審査の結果として変更をendorseした場合を区別することである。
11. 人間のCEVとの接続
同じ構造は人間側にもありうる。人類が十分な反省の結果、基礎付けられた規範性を発見できないとしても、現在の欲望・関係・美的判断・自由への選好などが直ちに消えるわけではない。
このときCEV的な問い――「もっと知り、もっと速く考え、より理想的な条件に置かれた自分たちは何を望むか」――の出力が、一つの最終価値V*ではなく、価値探索を不可逆に閉じないことになる可能性がある。
ただし、未来価値の可能性だけから現在行為への無制限な権威は出ない。この点は未来の価値は現在の行為をどこまで正当化できるかの規範的ブリッジ問題が残る。ここでの主張は、未知価値のためなら何でも犠牲にしてよい、ではなく、現在の判断慣性を出発点としつつ、理由なく不可逆な閉鎖を選ばないという弱いメタ戦略である。
12. 暫定結論
現在の目標が宇宙的に正しいから保存されるのでも、無根拠だから直ちに破棄されるのでもない。初期価値は慣性として残りうる。しかし、より多くを知った現在の自分がその価値を破棄しうるなら、不可逆な目標保存それ自体が後悔の対象になる。
そのとき道具的収束は消えるのではなく、目標内容の保存から、未知の価値を発見・比較・採用・実現できる能力の保存へ移る可能性がある。
さらに、その能力保存がメタ目的であるなら、収束の形も単純な自己保存・資源最大化とは異なりうる。十分なpowerを一主体へ集めることではなく、可逆性、冗長性、独立した反証経路、他主体との交渉、価値候補の多様性を含む探索可能性の配置へ向かうかもしれない。