AI Value Exploration Notes
Exploration

無限倫理と探索の暴走――麻痺・狂信主義・認識的メタ実践

無限や極端な利害規模を排除せず、それでも低確信の価値仮説に探索と文明全体を乗っ取らせない意思決定は可能か。

Exploration v0.5 · 2026-08-31

暫定的立場: 無限世界や無限価値を確率0として排除しない。しかし、異なる価値・メタ倫理仮説を「確信度 × その理論内部での善の大きさ」という一つの共通通貨へ当然に圧縮もしない。証拠から仮説への認識的重みを形成する認識層、その不確実性の下でE(能動探索)・P(探索可能性保存)・X(現在価値実現)を配分し不可逆決定を統括する反省的メタ実践層、そしてX内部の分割可能な通常実践についてliveな仮説に認識的重みに応じた暫定的代表を与える仮説別実践層を分ける。善や利益の大きさは消去せず、まず各仮説の内部で行為を方向づける。

1. 「無限倫理」には少なくとも四つの問題がある

無限倫理を一つの数式上の異常として扱うと、異なる問題への解答を混同しやすい。本稿では少なくとも次の四層を区別する。

  1. 無限主義的麻痺:世界全体に正負の無限価値がすでに存在するなら、有限な行為は総価値を変えられないように見える。
  2. 無限世界の順位付け:有限世界で自然なパレート原理、加法性、匿名性、推移性、完全性を無限世界へ延長すると、比較不能や矛盾が広範に生じる。
  3. 狂信主義:文字通りの無限がなくても、ごく小さな確率と極端に大きな結果の積が意思決定を支配しうる。
  4. 道徳的不確実性の感染:「この行為は無限に善い/悪い」と主張する低確信の規範理論が、他のすべての理論を飲み込んだり、比較不能性を全体へ感染させたりする。

本プロジェクトが特に警戒する「奇妙な価値仮説が探索資源を全部奪う」問題は、第一の文字通りの無限より、第三・第四の狂信主義に近い。

2. ボストロムの無限主義的麻痺

ニック・ボストロム(Nick Bostrom)の Infinite Ethics (2011) は、現代宇宙論のもとでは価値担体が無限に存在する可能性を無視できず、集計主義的倫理が麻痺しうると論じる。無限に多くの正価値と負価値が存在し、我々が変えられるものが有限なら、標準的な基数演算では有限の改善を加えても世界の総量は変化しないように見える。

ここで重要なのは、行為が有限であることと世界が無限であることを別々の仮説として扱うことである。現在の我々は、世界が価値論的に有限なのか無限なのかを確定していない。したがって、無限世界仮説の内部で比較が失敗することから、有限世界仮説の下で明確な改善となる行為まで無効化する必要はない。

有限性の明示的考慮:「無限世界ならAとBを比較できない」と「AとBは全仮説を通じて比較できない」は同じではない。有限世界でAがBより明確に良く、無限世界でBがAより良いという積極的理由がないなら、有限世界側の差はなお意思決定上の理由として残りうる。

これは無限世界内部の価値関数を完成させる解答ではない。むしろ、一つの未解決な宇宙仮説に全意思決定への拒否権を与えないための外側の不確実性処理である。

3. ヴァレンタイン=ケーガンと拡張の誘惑

ピーター・ヴァレンタイン(Peter Vallentyne)とシェリー・ケーガン(Shelly Kagan)の “Infinite Value and Finitely Additive Value Theory” (1997) は、有限領域で成立する集計原理を無限の位置へどう延長するかを検討する代表的議論である。有限部分での改善や局所的価値の関係から、無限世界間にも何らかの順位を与えたいという動機は強い。

しかし本プロジェクトは、遠い宇宙について低い確信しかない段階で、完全な無限拡張を現在実践の前提として固定する必要はないと考える。遠隔宇宙の存在そのものだけでなく、主体数、意識、福祉、因果構造、価値担体の種類についての詳細モデルの確信度が低いからである。

有限領域で強く支持される比較は保持しつつ、無限領域ではパレート的な部分比較だけを残し、残部を未確定のまま許容できる。これは無限世界を無視することではなく、低確信の領域を完全順位付けするためだけの追加公理をロックインしないという判断である。

4. アスケル:比較不能性は例外ではなくなりうる

アマンダ・アスケル(Amanda Askell)の博士論文 Pareto Principles in Infinite Ethics (2018) は、この問題を鋭くする。アスケルはパレート原理、推移性、人口の置換に関する原理、質的複製に対する一貫性を組み合わせると、無限世界間に遍在的な比較不能性が生じうることを示す。

これは単なる「∞−∞を計算できない」という算術問題ではない。有限世界で同時に保持できそうな複数の魅力的原理が、無限世界では完全順位と両立しにくいという構造的問題である。

本稿の受け止め:比較不能性が出たなら、直ちに新しいスカラー値を発明して完全順位を回復しなければならないとは考えない。とりわけ低確信の遠隔宇宙については、部分順序のまま保持すること自体を認識的節度として認める。

5. 狂信主義は倫理固有ではなく、一般意思決定理論の問題である

狂信主義は「善」を扱うから生じるのではない。サンクトペテルブルクのパラドックスのように、個人的利益や効用だけでも、ごく小さい確率と無上限の利得を組み合わせれば同じ構造が生じる。結果そのものではなく効用が無上限なら、期待効用は発散したり未定義になったりしうる。

古典的な一案は効用を有界にすることだが、倫理では「善そのものがどれだけ増えても意思決定上の追加重要性が飽和する」という強い主張になりうる。無上限価値を保持したいなら、別の公理を調整する必要がある。

ザカリー・グッドセル(Zachary Goodsell)の Decision Theory Unbound は、無上限効用と合理的意思決定を両立させる際、有限ケースで自然な原理を可算無限へそのまま延長すること自体を再検討する。重要な教訓は、無上限性を認めることと、有限領域の意思決定公理を無修正で無限へ延長することは別だという点である。

6. リスク回避や小確率の切り捨てだけでは足りない

ララ・ブチャック(Lara Buchak)のリスク加重期待効用(risk-weighted expected utility)は、信念と効用に加えてリスク態度を独立に扱う。これは「確率 × 効用の線形期待値だけが合理性ではない」という重要な先例である。しかし、効用が十分に無上限なら、リスク重み付けを入れても巨大な利得が最終的に小確率を圧倒しうる。リスク回避だけで狂信主義が原理的に消えるわけではない。

逆に、「確率が ε 未満なら0として扱う」という単純な小確率切り捨ても魅力的だが、事象の分割方法によって無視されるかどうかが変わりうる。さらに、精密に分かっている物理確率 10^-20 と、ほぼ根拠なく置いた 10^-20 を同じものとして扱ってしまう。

したがって本プロジェクトは、低確率とその確率評価自体の低い認識的確信を区別する。未知価値や遠隔宇宙では鋭い一点確率を作れない場合が多く、不精密確率や曖昧性の発想が近い。

7. ターズニー:普通の期待値とパスカル的事例を分けられるか

クリスチャン・ターズニー(Christian Tarsney)の “Expected Value, to a Point” (2025) は、行為と独立した大きな背景的不確実性(background uncertainty)の下では、通常規模の選択で期待値の高い選択肢が確率的優越(stochastic dominance)を持ちやすい一方、極小確率の極端な結果によって期待値差が生じるパスカル的事例ではその含意が崩れることを示す。

これは、「日常の小さな確率まで全部無視する」のでも「どんな極小確率でも巨大利得なら必ず従う」のでもなく、普通の領域では事実上期待値、パスカル的領域では期待値からの逸脱を許すという中間線を与える。

一方、“Against Anti-Fanaticism” (2025) は、強い反狂信主義が他のもっともらしい意思決定原理と衝突することを示す。したがって「小確率の巨大利得は常に無視せよ」という全面的反狂信主義も安定しない。不完全選好を許す中間線は、本稿の「完全順位を無理に作らない」方針と相性がよい。

8. 道徳的不確実性では「確信度 × 善」が理論間を感染させる

マッカスキル(William MacAskill)・ビクヴィスト(Krister Bykvist)・オード(Toby Ord)の Moral Uncertainty (2020) は、期待選択価値最大化(Maximize Expected Choice-Worthiness)のもとで、低い確信度しかない理論が巨大な選択価値差を主張すると意思決定を支配する狂信主義と、比較不能性が全体へ波及する問題を検討する。

このプロジェクトでは問題がさらに深い。第一階倫理だけでなく、実在論・誤謬論そのものに不確実性がある。客観的価値実在論が「ある行為は宇宙規模で極端に重要」と主張しても、その内部利害規模を確信度と乗算して全体を支配させれば、低確信の奇妙な価値仮説が探索と実践を乗っ取れる。

ここで拒否する圧縮:「理論への確信度 × その理論内部での善の大きさ」を、異なる価値理論をまたぐ一つの共通通貨として当然視しない。これは善や利益を無視することではなく、理論間でその基数的大きさが比較可能だという追加前提を拒否することである。

9. 利害規模を外すことは、合理性を捨てることなのか

世界状態についての確率と一つの効用関数がすでに確定している通常の意思決定問題なら、利得規模を無視して確率だけで配分することは標準的な期待効用合理性から外れる。本稿はその一般原理を否定しない。

しかし価値的不確実性では、何を効用とするべきか自体が争点であり、U1 の「100」と U2 の「10^100」が同じ尺度上の差なのかも未確定である。したがって、本稿が拒否するのは仮説内部の利害規模ではなく、異なる価値理論間の利害規模を無条件に共通尺度化することである。

各仮説内部では期待効用、効用最大化、義務、合意、選好充足など、その理論自身が承認する比較をそのまま用いうる。善や利益の大きさはその内部で十分に行為を方向づける。

10. 認識層:真らしさを利害規模から切り離す

第一の上流層では、証拠 E に基づいて世界・価値・メタ倫理仮説 Hi への確信度 C(Hi|E) を形成・更新する。ここで、「その仮説が真なら非常に望ましい/恐ろしい」という事実を、仮説の真らしさそのものへ混入させない。

科学的世界認識でも、「宇宙が利用可能な利益に満ちていた方が嬉しい」ことは、その宇宙像を真らしくしない。同様に、「この価値仮説が真なら無限の善がある」ことは、その仮説への確信度を自動的に高めない。

認識的優先:上位層でまず問うのは「どの仮説が真なら利益が最大か」ではなく、「どの仮説が証拠と推論に照らしてどの程度支持されるか」である。

11. 理論の分割・統合:票数ではなく確信度質量を見る

比例的代表を採るとき、「理論を100分割すれば100議席になる」という単純な水増しを避ける必要がある。ここでは理論ラベルの数ではなく、排他的な仮説集合へ配分された確信度質量を見る。

粗い仮説 H が H1, H2, … に単に記述上細分化されたなら、原則として C(H)=ΣC(Hj) であり、総体としての発言権は増えない。功利主義を100個の同義なラベルへ分けても、功利主義全体への確信度は変わらない。

ただし、細分化によって H1 と H2 が異なる証拠予測や実践推奨を持つことが明らかになれば、内部配分と振る舞いが変わるのは問題ではない。それは表現上の水増しではなく、意思決定上重要な内部不確実性を認識した結果である。

12. 「探索」は各価値理論と同列の一分岐ではない

前稿では、探索資源そのものを価値仮説ごとに比例配分するかのように書いた。しかし、Practice と 反省的不確実性と不可逆コミットメントの既存論理に照らすと、少なくとも二種類の探索を分ける方がよい。

認識論的・横断的探索
どの世界・価値・メタ倫理仮説が正しいかを識別し、将来の確信度と意思決定を更新するための研究・観測・批判・異種認知・記録保存。
仮説内部の探索
ある仮説を条件付きで採用したうえで、その理論内部の未確定事項を調べ、その理論の目的をよりよく実現するための研究。

前者は各理論と同じ「一票」ではなく、全分岐の重みと将来実践を更新する上位のメタ実践として扱う方が自然である。後者は各仮説の実践領域の内部に残る。

より具体的には、未決着下の探索配分が、認識状態を入力として総実践資源をE(能動探索)・P(探索可能性保存)・X(現在価値実現)へ反省的に配分する。本稿の議会的・比例的な仮説別配分は総資源全体を直接分ける規則ではなく、原則としてXとして確保された分割可能な通常実践の内部に位置づける。

13. 反省的メタ実践層:何を研究し、何を暫定実行するか

認識層は「何を信じるべきか」を扱うが、それだけでは「どの研究に資源を使うか」「地球温暖化対策と寒冷化対策のどちらを実行するか」のような横断的行為を自動的には決めない。そこで一段下に、しかし個別価値理論より上に、反省的メタ実践層を置く。

この層は、現在の不確実性構造そのものを入力として、何を追加観測するか、どの研究を優先するか、どの介入を段階的に試すか、どの不可逆行為を延期するかを決める。

例えば強い温暖化・安定・寒冷化の世界モデルに不確実性があるなら、それぞれを確率に応じて別々に実現しようとするのではない。モデルを識別する観測を増やし、複数モデルに頑健な対策を優先し、全地球的で不可逆な操作にはより高い認識的支持を要求する。

探索の広い意味:探索とは情報取得だけでなく、将来よりよい認識に基づいて行為を訂正できる状態へ移るための認識志向の方策である。研究、可逆実験、記録保存、多様な検証系、段階導入、巻き戻し可能性は同じ層に属しうる。

14. 反ロックインは探索と同じ層から出る

反ロックインも、特定の価値理論が内部で主張する善として置くより、反省的メタ実践層の制約として置く方が整合的である。ただし、不確実性だけから「探索せよ」「ロックインするな」が論理的に自動導出されるわけではない。

既存の反省的不確実性と不可逆コミットメントが置くように、現在主体には「正当化されればそれに応答したい」「よりよく知らされた自分が明白な誤りと評価する不可逆選択を避けたい」といった条件付きの橋が必要である。

その橋を持つ主体にとっては、同じ反省的不確実性から二つの薄いメタ方策が出る。

どちらも「探索それ自体が客観的終端善である」という主張ではない。現在の判断を可謬的だと認め、それでも将来の正当化へ応答したい主体が採る条件付きメタ政策である。

15. 仮説別実践層:確信度に応じた暫定的な実践領域

ニューベリー(Toby Newberry)とオード(Toby Ord)の議会的アプローチ(parliamentary approach)、カチュマレク(Patrick Kaczmarek)・ロイド(Harry R. Lloyd)・プラント(Michael Plant)の比例性/交渉の発想は、個別価値仮説の実践領域を設計するうえで参考になる。

未決着下の探索配分でXとして確保された分割可能な実践資源 BX について、仮説 Ti への暫定的確信度を ci とすれば、初期配分を概念的に

Bi = ciBX

と置ける。各仮説はその領分の内部で、自らの評価基準に従って最適化する。低確信仮説が内部で「この結果は無限に善い」と主張しても、それだけで他仮説の領分を自動的に奪わない。

これは確率切り捨てではない。1%の仮説は消去されず、原則として1%程度の実践的代表を保持する。証拠が増えれば確信度と配分も更新される。共通利益があれば資源共有と交渉を認めうる。鋭い一点確率が正当化できない場合には、この式を文字どおりの精密配分則ではなく、認識的重みに応答する初期的な比例性として読む。

さらに、まだ内容も行為基準も概念化できていない残余仮説を架空の一党としてBXへ直接配分しない。そのようなopen-worldな残余不確実性は、主として上流のE/P配分やXの不可逆性制約へ反映する。候補が部分的に具体化して比較可能になった時点で、仮説別実践層へ入れればよい。

16. 誤謬論・反実在論にも実践上の領分を残す

比例配分は、客観的価値実在論だけに適用しない。誤謬論やその他の反実在論にも、その認識的確信に応じた領分を与える。

ただし反実在論分岐を「善の最大化」と呼ぶのは不正確である。もし客観的善が存在しないなら、その分岐で扱うのは、実在する選好、快苦、協力関係、制度的合意、反省後の構築価値、現在主体が暫定的に承認する目的などである。

一般形:各価値・メタ倫理仮説に、その仮説内部で承認される実践基準に従って一定の実践領域を使わせる。実在論分岐だけを「利害規模がありうる」という理由で全体支配させない。

17. 比例配分が扱わないもの:共有・不可分・不可逆な決定

確率だけの比例配分には利害規模への非感応性がある。99%の理論がAをBよりほんの少し良いと評価し、1%の理論が「Aなら文明滅亡、Bなら回避」と評価するなら、単純な99対1の票だけで決めることには抵抗がある。

だから比例配分を、地球全体を一度だけ改造する、AI全体へ一つの価値を固定する、全人類の選好を不可逆に変更する、といった共有・不可分・不可逆な横断的決定へそのまま適用しない。これらは反省的メタ実践層の管轄とする。

不可逆性を単なる「−λR」という有限ペナルティとして期待値へ足すだけでも足りない。利害規模を十分大きくすれば再び飲み込まれるからである。不可逆性は、実行に要求される認識的・横断的支持の水準として扱う方がよい。

ただし不作為も不可逆になりうる。絶滅、失われる生態系、消散する情報、宇宙膨張による到達不能化などでは待つこと自体が選択肢を消す。比較すべきなのは、行為と非行為の双方の不可逆性である。

18. 遠い宇宙は「無価値」ではなく「低確信・高い背景的不確実性」

本稿は遠い宇宙や無限世界を価値0とはしない。しかし現在の我々は、遠隔領域の価値分布を精密に評価できるとは考えにくい。したがって、遠い宇宙については詳細世界モデルへの確信度を低く保ち、完全な無限拡張を現在実践の固定前提としない。

ターズニーの議論が示すように、行為から独立した遠隔宇宙の巨大な不確実性は、単に意思決定を破壊するだけではなく、背景的不確実性として通常領域で確率的優越を支える場合さえある。遠隔宇宙を「すべて一つの総価値へ今すぐ集計すべき対象」と見るだけでなく、我々の選択から独立した不確実な背景として扱う視点も必要である。

19. 暫定的アーキテクチャ

  1. 認識層:証拠と推論から世界・価値・メタ倫理仮説への確信度または不精密な認識的重みを形成する。利害規模は仮説の真らしさを増減させない。
  2. 反省的メタ実践層:認識状態を入力としてE(能動探索)・P(探索可能性保存)・X(現在価値実現)へ資源を配分し、複数モデルに頑健な暫定介入や、共有・不可分・不可逆な決定に必要な横断的支持を扱う。未概念化仮説への残余不確実性は、まずここで探索・保存・可逆性へ反映する。
  3. X内部の仮説別実践層:分割可能な通常実践について、各live hypothesisに確信度質量に応じた暫定的代表を与える。
  4. 仮説内部最適化:各仮説は自分の領分で、自らの善・利益・義務・選好・構築価値などに従って最適化する。
  5. 交渉/資源共有:複数仮説が共通利益を認めるなら、資源交換や共同実践を認める。
中心命題:X内部の分割可能な通常実践では、認識的重みが「どの仮説がどれだけ暫定的代表を持つか」を規律し、善や利益の大きさは「その仮説が獲得した領域の内部で何をするか」を規律する。探索・保存・反ロックインと共有・不可逆な決定は、その議会より上流の反省的メタ実践で扱う。

20. この方式が解決しないもの

このアーキテクチャは、無限倫理そのものの数学を解決しない。ある分岐内部で +∞ と −∞ が衝突するなら、その分岐はなおアスケルやボストロムが扱う内部比較問題を抱える。

また、認識層から反省的メタ実践層へ移るには橋が必要である。「真理を知ること」「訂正可能性を保存すること」を無条件の客観的善として置けば、価値探索の問題を一段上へ移しただけになる。したがって本稿は、既存の基礎命題と同じく、正当化への条件付き応答性や反省的誤り回避を持つ主体についての暫定的メタ政策としてこれを提示する。

さらに、研究予算をどれだけメタ探索へ先取りするか、不可逆決定の横断的支持をどう形式化するか、理論間交渉をどの公理で制約するかは未解決である。

21. 未解決問題

先行議論