ASI能力拡散は安全にできるか
文明レジリエンス・区画化・非支配的安全
1. ASI safety と plural agency の衝突
強力なAIの安全論では、単一主体の失敗・誤用・制御喪失が非常に大きな外部性を持つ可能性が重視される。もし一主体のASI利用が文明全体を不可逆に損なえるなら、無制限な能力拡散には明白な問題がある。
しかし能力制約を実効的に行うには、誰かがcompute、モデル、通信、ロボット、金融、研究設備などへのアクセスを監視・停止できなければならない。その安全管理能力は、同時に他主体のeffective agencyを消去できる政治権力になりうる。
これは現時点で証明された不可能性ではない。むしろ、どの技術条件でこのトリレンマが強くなり、どの条件で解けるかを検討することが本稿の目的である。
2. 「ASIの拡散」を四つに分ける
「ASIをみんなが持つ」という表現は粗い。少なくとも次の四つは区別すべきである。
- Intelligence diffusion
- 高い推論・研究・設計能力へ広くアクセスできる。
- Agency diffusion
- その知能を使って独立に生産、研究、組織形成、制度実験を行える。
- Catastrophic capability diffusion
- 単独主体が非同意の多数主体へ文明規模の不可逆的損害を与えられる。
- Control-power diffusion
- 他主体のAI利用・compute・actuationを停止または制約できる権限がどこにあるか。
目標は必ずしも全能力の均等配分ではない。多数主体が自己維持・探索・退出・防御を行える一方、他主体の存在可能性を一方的に消去する能力は制約される、という非対称な能力配分の方が望ましい可能性がある。
3. 能力より failure domain を見る
ASIの危険性は「どれだけ賢いか」だけでは決まらない。同じ能力でも、社会が一つの巨大なfailure domainとして密結合しているか、障害を局所化できるかで結果は変わる。
単一の通信、金融、クラウド、物流、食料、エネルギー、AI更新系に文明全体が依存するほど、一箇所の侵害は全球的な状態遷移へ変換されやすい。逆に、地域・ネットワーク・供給系が切り離し可能で、独立バックアップから復旧できるなら、同じ攻撃や事故を局所災害へ縮小できる。
したがってASI safetyには「危険能力を減らす」だけでなく、文明側の分母を大きくする戦略がある。
4. Safety by restriction と Safety by resilience
Restriction strategy は、危険能力の利用を事前に制限する。モデルアクセス、compute、利用者認証、監視、危険研究の制約などが典型になる。
Resilience strategy は、危険な行為が一部で起きることを前提に、それが全球破局へ伝播しないよう、抵抗・吸収・復旧・適応能力を高める。
2026年の International AI Safety Report も、技術的安全策には限界があるため societal resilience を defence-in-depth の一層として扱い、生物リスクでは早期検知・隔離・医療備蓄、サイバーではnetwork segmentation・自動隔離・offline backupなどを例示している。一方、その有効性には大きな実証ギャップが残るともしている。
政治的には両戦略の副作用が異なる。Restrictionは少数主体へ監視・停止権限を集中させやすい。Resilienceは、うまく設計できれば各主体の自己維持能力を高め、中央権力への依存をむしろ低下させうる。
5. Biosecurity：フィジカルAIは隔離のコスト構造を変えられるか
感染症への強い隔離が社会的に高コストなのは、人間の接触を止めると物流、介護、製造、食料供給、インフラ保守、医療の一部まで止まりやすいからである。
十分なフィジカルAIが、倉庫、配送、工場、廃棄物処理、建築・修理、検査、医療支援、消毒、インフラ保守を人間同士の接触なしに維持できるなら、isolation cost を大きく下げられる可能性がある。危険な生物知識を完全に封じ込める以外に、「漏れても局所封鎖できる」均衡が広がる。
WHOの2024年 Laboratory biosecurity guidance は、高影響生物材料だけでなく情報・サイバー・AIを含むbiosecurity risk managementを扱っている。ASI時代には、この枠をラボ管理から社会インフラの耐障害化へ拡張する必要があるかもしれない。
ただし境界条件は厳しい。防御が成立するには概念的に、Tdetect + Tresponse < Tcascade を達成できなければならない。AIが攻撃側の設計速度をそれ以上に上げるなら、フィジカルAIによる復旧能力だけでは追いつかない。
6. 物理的区画化：地球上の分散から宇宙へ
文明レジリエンスを極端に押し進めると、地理的・物理的なcausal compartmentalizationへ行き着く。都市、地域、大陸、軌道居住圏、月、火星などを、互いの事故が自動的には伝播しないfailure domainとして構成する発想である。
ただし距離だけでは独立性にならない。真に独立した区画には、食料、電力、compute、製造、修理、医療、AIを自前で再生産できるreproductive autonomyが必要である。
NASAの2026年の研究でも、長期月面居住について、高可用性、graceful degradation、高度なfault tolerance、自律的な計算・監視・障害対応が長期持続性の条件として扱われている。Enabling Reliable, Fault-Tolerant Autonomous Lunar Habitats。
7. 多惑星化しても同じASIなら一つのfailure domainである
月・火星・軌道に複数居住圏があっても、同じASI、同じroot key、同じモデル更新チャネル、同じ半導体供給、同じ認証・金融インフラへ依存していれば、一つのソフトウェア障害・侵害・政治判断がすべてへ伝播しうる。
したがって真の区画化には、地理だけでなくhardware diversity、software diversity、AI diversity、institutional diversity、supply-chain diversity、forkabilityが必要になる。
これは単なる絶滅リスク低減ではない。異なる制度・価値・AI設計を独立して試せる因果経路を残すという意味で、Value Explorationの基盤にもなる。
8. LAWS・ロボット私有・coercive outside option
中央権力への政治的抑制を考えると、初期近代の市民武装に似た役割を、個人・共同体が所有するロボットが持ちうるという仮説が出る。ただし、銃器と自律ロボットは同じではない。一主体が多数機を運用できれば、単純な所有権拡散は資本格差によって暴力能力の再集中を招く可能性がある。
また、個人所有ロボットでもクラウド認証が必須で、メーカーや国家がremote disableできるなら、政治的には十分なcontrol sovereigntyを持たない。
一方、自律殺傷能力の個人レベルへの全面拡散が政治的主体性に必要とは限らない。2025年の国連総会は Lethal autonomous weapons systems（A/RES/80/57） を164対6で採択し、LAWSをめぐる国際的な規範形成は継続している。国連事務総長も、人間の統制なしに生命を奪うシステムへの法的禁止を求めている。
政治的outside optionとしてより重要なのは、生産、電力、通信、compute、移動、防御、修理を一般主体が独立して維持できることかもしれない。つまりlethal capability diffusionよりmaterial autonomy diffusionを優先する余地がある。
9. 能力を三クラスに分ける
- Class I — Resilience-enhancing agency
- 分散するほど安全性と政治的主体性の両方を高めやすい能力。分散電力、生産、修理、医療、通信、防御、独立computeなど。
- Class II — Reciprocal coercive capability
- 分散が中央権力の抑制になりうる一方、軍拡・事故・私的支配も生みうる能力。ロボット防御、一部サイバー能力など。
- Class III — Non-local irreversible capability
- 一主体が非同意の多数主体へ不可逆的な巨大損害を与える能力。単純な「均衡のための拡散」が均衡そのものを壊しうる。
10. Least-Sovereign Safety
この方向を制度原理として圧縮すると、目標は「最も安全に管理できる中央主体」を作ることではなく、必要な安全水準を満たす範囲で、他主体に対する裁量的支配権を最小化することになる。本稿ではこれを作業概念としてLeast-Sovereign Safetyと呼ぶ。
- cognitionよりactionを制約する：考えること全体を監視するより、巨大な外部性を出す現実世界のstate transitionを制約する。
- identity-based permissionより対称的制約：「誰に使わせるか」より「誰も単独では何をできないか」を重視する。
- 完全予防だけでなくresilience：小規模事故を全て事前阻止するための全面監視より、局所化と復旧を組み合わせる。
- 管理主体への自己適用：安全機構自身が同じ制約から免除されない。
- forkabilityとexit：単一の安全・AI・インフラ系が失敗しても別系統へ移れる。
ただしここにも再帰問題がある。誰が安全ルールを更新し、例外を認め、緊急時に停止し、プロトコル侵害を認定するのか。運用が分散していても、amendment powerやemergency powerが集中すれば主権はそこで再発生する。
11. ASIで本当にトリレンマになる条件
今後の予測では、少なくとも次の変数を追う必要がある。
- Capability fungibility (φ): 無害な研究・経済能力をサイバー・生物・軍事・支配能力へどれほど容易に変換できるか。
- Defense dominance (D): 多数の防御主体が少数の攻撃主体をどれほど容易に封じ込められるか。
- Reversibility (R): 失敗後に状態を戻せるか。
- Physical bottleneck (B): 巨大外部性に希少な物理資源・設備が必要か。
- Control concentration (C): 安全インフラのroot authorityが何主体に集中しているか。
- Recursive advantage (A): ASI保有者が次世代ASI・生産・軍事能力で自己強化する速度。
φが低く、DとRが高く、危険行為に強い物理ボトルネックが残るなら、かなり広いASI拡散と安全性が両立する可能性がある。逆にφが高く、攻撃優位で、不可逆性が高く、ソフトウェア知能から物理的破局能力への変換が容易なら、集中管理への圧力は強くなる。
12. Resilience race
ASI時代の競争をcapability raceだけとして見ると、能力を誰が先に獲得するかしか見えない。しかし政治的自由と安全の両立可能性は、文明側がどれほど速く耐障害化するかにも依存する。
前者が大幅に先行すれば、「安全のための一時的集中」が合理化され、その管理主体がASIによって人間への物質的依存まで下げることで、safety-induced political lock-inへ移行する可能性がある。
逆に後者を意図的に先行させられれば、危険能力を完全に封じ込めなくても文明が耐えられる領域が広がり、恒久的な中央監視・停止権限を必要としない未来の可行領域が増えるかもしれない。
13. 本稿からは何が導けないか
- ASIを広く拡散しても安全だとはまだ言えない。将来の能力変換性、攻防バランス、不可逆性は未確定である。
- resilience投資だけでalignmentやmisuse対策が不要になるとは言えない。restrictionとresilienceは代替ではなく組み合わせになる可能性が高い。
- 宇宙開発だけで人類絶滅リスクが解消するとは言えない。自己再生産能力と技術・制度的独立性がなければ同一failure domainに残りうる。
- 個人ロボット所有が自動的に自由を生むとは言えない。資本集中、remote control、軍拡、事故の問題がある。
- すべての能力を民主化すべきだとも言えない。非局所・不可逆的な能力は広いagencyと両立しない可能性がある。
14. 暫定結論
ASI能力拡散が人類絶滅へつながるかどうかは、ASIの能力だけでは決まらない。一主体の失敗を文明全体へ伝播させる結合構造、攻撃と防御の相対速度、物理的ボトルネック、復旧可能性が同じくらい重要である。
もし文明がglobal single-failure-domainのままASIだけを拡散するなら、強い集中管理論には合理性が生じる。しかし集中管理は、それ自体が文明規模の政治権力になり、AIによる人間への依存低下と結びつけば恒久的なpower lock-inを作りうる。
したがって別の戦略は、能力拡散可能な文明を先に作ることである。フィジカルAI、分散生産・電力、迅速な医療対応、ネットワーク区画化、複数の独立AI系統、自己再生産可能な宇宙居住圏などによって、単一主体の失敗を局所化し、社会をhard to killにする。
最終的な問いは「ASIを集中させるか拡散させるか」だけではない。多数主体が自分の世界を作れるほど強いagencyを持ちながら、他者の世界を一方的に消去できないような物質的・技術的均衡を構成できるかである。