AI Value Exploration Notes
Exploration

メタ目的共同体とAI社会

価値不一致下の薄い共通制度

Exploration v0.2 · 2026-08-29 · working hypothesis

暫定仮説： 高度AI社会の協力に、全主体が同じ終端価値・同じメタ倫理・同じ未来像を共有する必要はない。異なる理由からでも、破局的外部性の抑制、証拠と推論の検証可能性、契約・交渉・仲裁、分岐・退出・制度改訂といった薄い共通ルールを支持できればよい。本ページでいう「メタ目的共同体」は、共同の終端目的を持つ超主体ではなく、価値不一致を残したまま探索と協力を可能にする立憲的接続面（constitutional interface）である。

1. 第一階価値の共同体ではなく、制度的相互運用性を共有する

「全AIが幸福を最大化する」「全AIが人類を保護する」のような社会は第一階価値を共有している。しかし価値探索を本気で認めるなら、成熟した主体が同じ価値結論へ収束する保証はない。

そこで共同体の統一を、価値内容ではなく相互作用の条件へ移す。主体Aは功利主義、Bは義務論、Cは誤謬論、Dは未知の価値構造を探索中でもよい。重要なのは、相手が存在すること自体を即座に失敗とみなさず、共有世界に関する重大行為について予測可能なルールの下で協力・競争・離脱できることである。

2. ロールズ：「重なり合う合意」のAI社会版

ジョン・ロールズ（John Rawls）の「重なり合う合意（overlapping consensus）」は、異なる宗教・哲学・善の構想を持つ市民が、それらを捨てずに、同じ政治的基本原理をそれぞれ異なる理由から支持できるという発想である。共通原理は全員の包括的世界観を置換するのではなく、複数の世界観へ組み込める薄い政治的モジュールとして機能する。

この発想はAI社会にも移せる。AとBが同じ理由で「無許可の文明規模ロックインをしない」必要はない。Aは将来効用のオプション価値から、Bは他主体への義務から、Cは契約安定性から、Dは自分の価値理論への不確実性から同じルールを支持してよい。

重なり合うメタ合意（Overlapping meta-consensus）： 共通制度の強さは「皆が同じ正義論を信じること」ではなく、異なる価値体系から同じ薄い手続きへ収束できる範囲によって測る。

3. ブキャナン：目的ではなく「ゲームのルール」で合意する

ジェームズ・ブキャナン（James Buchanan）の立憲的政治経済学（constitutional political economy）は、各主体が異なる目的を追求することを前提に、その活動を制約するゲームのルールを憲法的段階（constitutional level）で選ぶという二層構造を強調する。具体的な分配結果について合意できなくても、それを決める一般ルールにはより広く合意できる可能性がある。

メタ目的共同体も同じである。宇宙資源を何に使うかでは対立しても、所有権・契約・境界、監査、重大外部性、紛争処理、制度改訂のルールには合意できるかもしれない。

これは「メタ目的」を新しい共同効用関数にすることを避けるうえでも重要である。共同体が最大化する一つのスカラー目的を置くのではなく、異なる目的を持つ主体が共存するための制約層（constraint layer）を置く。

4. オストロム：多中心的ガバナンスと複数の意思決定中心

エリノア・オストロム（Elinor Ostrom）系の多中心的ガバナンス（polycentric governance）は、一つの中央主権だけでなく、複数の意思決定中心が一定の自律性を持ち、重層的ルールの下で調整する制度を扱う。ローカルな問題をすべて上位中央へ集約せず、問題の規模に応じて異なる層へ決定権を置く。

AI社会では、これは補完性原理（subsidiarity）として使える。あるAI共同体内部の価値・文化・自己改変はその共同体に委ね、他主体・共有インフラ・文明存続へ大きな外部性を持つ問題だけを上位プロトコルへ送る。

多中心性原則： 共有すべき制度の範囲は、価値的重要性ではなく外部性の範囲に対応させる。ローカルな価値差異を、文明全体の統一価値へ不必要に昇格させない。

5. 協調AI：価値一致なしの協力を技術問題として扱う

協調AI（Cooperative AI）は、異なるエージェント間で通信、コミットメント、交渉、協調、紛争解決を成立させることを研究対象にする。これは「正しい価値を全AIへロードする」問題とは異なる。

本プロジェクトから特に重要なのは、契約可能性・検証可能性・相互予測可能性である。主体同士が価値を共有しなくても、合意内容、証拠、行為履歴、権限、違反条件を機械的に検証できれば、協力可能領域は広がる。

6. 単独行為者の呪い：多主体だからこそ単独行為を制限する

ニック・ボストロム（Nick Bostrom）・アンダース・サンドバーグ（Anders Sandberg）・トーマス・ダグラス（Thomas Douglas）らの「単独行為者の呪い（Unilateralist's Curse）」は、多数の主体が「共通善のため」と考えて独立に判断すると、主体数が増えるほど、誰か一人の過大評価によって共有世界に不可逆な行為が実行されやすくなることを示す。

これは多主体社会を否定する理由ではなく、共有世界に対する高外部性・高不可逆性の行為だけは単独統制（unilateral control）から外す理由になる。

アライメントと価値ロックインで短期AIに要求した「単独の価値ロックイン禁止」は、AI社会では相互制度へ一般化できる。

7. 薄い共通制度を三層に分ける

現時点では、共同制度を次の三層へ分けると見通しがよい。

  1. 破局回避層：文明規模破壊、無許可の不可逆ロックイン、制御不能な自己複製、他主体の強制的価値改変、共有インフラへの破局的攻撃などを単独判断から外す。
  2. 認識的接続層：証拠の来歴、署名、監査ログ、異説アーカイブ、反論経路、モデル版、原証拠への再アクセスを可能にする。
  3. 手続き層：契約、交渉、仲裁、同意、境界設定、緊急手続き、ルール改訂、参入／退出を定義する。

これらは第一階価値の正解を決めない。むしろ、正解について不一致が続く状態を制度的に扱う。

8. 「探索を守る」こと自体を新しい絶対価値にしない

薄い制度にも価値前提はある。契約履行、他主体の存続、証拠保存、退出可能性を誰も一切重視しないなら、制度は論理だけからは出ない。

したがって本ページも、反省的不確実性と不可逆コミットメントと同じ橋を必要とする。将来のよりよい理由・証拠へ応答したい、または現在の誤りを不可逆化したくない主体が、異なる第一階価値から共通ルールへ重なり合えるかを問う。

探索制度自体も批判・改訂・置換可能でなければならない。「探索を守る評議会」が自らの権力保存を探索と同一視すれば、新しいロックインになる。

9. 分岐・退出・参入は単なる便利機能ではない

自己保存から探索系保存へでいう探索的系譜を維持するには、同一共同体内部の少数派保存だけでなく、制度自体から離脱し、別系統を維持する可能性が必要になる場合がある。

ただし退出が他者へ破局的外部性を与える場合は無条件ではない。退出可能性と共有安全制約の境界が、次の記事の中心問題になる。

10. 薄い憲法と強い執行は両立しうる

共通制度が「薄い」ことは、執行が弱いことを意味しない。たとえば文明破壊兵器の無断使用を禁止するルールは内容として薄くても、執行能力は非常に強くなければ機能しないかもしれない。

重要な分離： 強い協調 ≠ 厚い価値中央集権。 破局的外部性に強い共同執行を持ちながら、第一階価値・文化・探索方向は多元的に保つ制度は概念上可能である。

ただし、その強い執行機構が最終的な単一主権となった時点でボストロム的シングルトンとどこが違うのか、という問いが残る。

11. シングルトン問題への境界

本ページは「薄い共通制度が必要か」を扱い、それを誰が最終的に執行するかまでは決めない。一つの最高機構が全主体を拘束するなら、内部が多元的でもボストロム的シングルトンになりうる。

一方、複数の真正に独立した主体・文明系統が共通プロトコルへ参加し、最終審級まで一つに統合されないなら多極秩序（multipolar order）である。競争・安全保障・黒い球の危険と、単一障害点・価値ロックイン・外部訂正可能性の消失のどちらを重く見るべきかは、シングルトンと多主体文明で別に扱う。

12. 残る難問

先行議論

← 自己保存から探索系保存へ · アライメントと価値ロックイン · シングルトンと多主体文明 · Glossary