道徳的不確実性の閉鎖世界問題――既知理論は価値仮説空間を尽くすか

Exploration v0.1 · 2026-08-10

1. 既存の道徳的不確実性論が解いている問題

現代のmoral uncertainty論は、複数の道徳理論にcredenceを持つ主体が、実際の選択をどう行うべきかを精密に扱ってきた。典型的には、功利主義、prioritarianism、義務論などの候補理論に確率を置き、その間でchoiceworthinessをどう比較・集約するかを問う。

これは重要な問題である。しかし多くの場合、候補理論集合そのものはすでに与えられている。したがって、そこで解かれているのは主として「既知の理論集合の中で不確実なとき、どう決めるか」であって、「なぜその集合を価値仮説空間の十分な近似とみなしてよいのか」ではない。

2. theory individuation問題はすでに認識されている

MacAskill, Bykvist, and Ordは、単純な「最も確率の高い理論に従う」方式を批判する際、理論をどう切り分けるかで最尤理論が変わってしまうことを明示的に問題にしている。ある大きな理論群を細かい変種へ分割すれば、一つ一つのcredenceは小さくなり、別の粗い理論が最尤に見えてしまう。

したがって、「道徳的不確実性論は候補のpartition問題を全く見ていない」という批判は正確ではない。少なくとも主要文献は、理論名を原子的な一票として数えることの不安定性を認識している。

3. しかし、より上流のclosed-world問題が残る

theory individuationは、すでに考慮対象に入っている仮説空間をどうpartitionするかの問題である。ここで問いたいのは、そのさらに上流にある。

現在の倫理学で名前が付いている理論群は、価値について可能な仮説空間をほぼ尽くしているのか。それとも、人間の進化的・文化的・認知的制約の下で歴史的に到達できた少数のclusterにすぎないのか。もし後者なら、既知理論間にcredenceの100%を配ることは、暗黙にclosed-world assumptionを置いている。

4. 「道徳プールをフラットに見る」は一様priorを意味しない

ここで既知・未知のあらゆる価値理論へ等確率を割り振ることはできない。価値仮説空間には自然な原子化も一様測度もない。功利主義を一理論と数えるか、効用関数や集約則の違いごとに何百万の理論へ分割するかで「候補数」は任意に変わる。

したがって本ページが提案するflatnessは、flat probabilityではなく flat admissibilityである。

• 現在名前が付いている理論だからという理由だけで、特別な事前的権威を与えない。
• 現在まだ表現できない理論だからという理由だけで、zero priorに置かない。
• 証拠、説明力、収束、現象的データ、合理的構造などが得られれば、当然credenceを強く傾けてよい。

これは「奇抜な未発見理論を既存倫理と同じだけ信じよ」という主張ではなく、歴史的に可視化されたことと、真理に近いことを同一視しないという限定的な原則である。

5. 既存の道徳理論は「候補」だけでなく「観測データ」でもある

既存倫理を軽視する必要はない。むしろ、功利主義、義務論、徳倫理、宗教倫理、各文化の規範、日常的な道徳直観は、人間という特定の認知・社会的主体が長期間にわたり価値問題を考えた結果として、非常に重要なデータである。

ただし、その認識的役割を「宇宙の最終理論候補リスト」に限定しない。たとえば、多数の文化や独立した思想伝統で繰り返し現れる対称性、公平、苦痛回避、主体性、誠実性などは、ある種の価値構造を示唆する証拠になりうる。一方、歴史的に存在したという事実だけで、その理論のカテゴリー分けや前提を最終的な価値空間の座標として固定する必要はない。

この意味で、既存道徳は強い観測データであり、暫定的モデルでもあるが、仮説空間そのものではない。

6. unconceived alternativesとの類似

科学哲学では、現在の理論が既知の競合理論を打ち負かしていても、まだ誰も考案していないより良い代替理論が存在する可能性をどう扱うかというunconceived alternativesの問題がある。価値論にも類似した構造がありうる。

特に価値の場合、未知なのは単に「既知理論の新しい組合せ」だけではないかもしれない。新しい主体構造、人工意識、自己改変知性、異なる時間経験、宇宙規模の協力、現在知られていない現象的性質などによって、いまの人間には価値概念を形成するための入力自体が不足している可能性がある。

したがって「現在の倫理学で真理候補が一通り出揃った」という仮定には、科学理論以上に慎重である理由がありうる。

7. 不確実性は少なくとも四層ある

• 理論内不確実性：同じ理論のパラメータや具体的適用が分からない。
• 既知理論間不確実性：功利主義、義務論、徳倫理など、すでに概念化された理論のどれが正しいか分からない。
• 構造・メタ倫理的不確実性：価値が主体依存か、客観的規範性が存在するか、比較可能性・集約可能性がどのような構造を持つか分からない。
• 未概念化仮説への不確実性：現在の認知主体が、正しい価値概念・カテゴリー・座標軸そのものをまだ持っていない可能性。

通常のmoral uncertaintyは主に中央二層の一部を精密化する。Coreのvalue explorationは、最上流の存在論・認識論と、最後のopen-worldな未知まで含めることを目指す。

8. open-worldだから永久に判断停止するわけではない

未知の理論がありうるからといって、現在のすべての道徳判断を弱める必要はない。物理学で未発見理論の可能性があっても、現在の最善理論を強く使えるのと同じく、既存の価値理論・直観・制度には証拠に応じた強い実践的重みを置ける。

違いは、現在の候補集合へのcredence集中と、候補集合そのものを不可逆に閉じることを分ける点にある。既知理論が圧倒的に支持されればほとんどの行動をそれに従わせてもよい。しかし、「人類がまだ考えていない価値構造は存在しない」と制度的・技術的に固定するには、追加の認識的根拠が必要になる。

9. AIはこの問題を局所的な哲学論争から文明問題へ変える

高度AIが人間より広い認知空間を探索できるなら、その重要な役割の一つは既知倫理理論のどれを選ぶかだけでなく、新しい価値概念・価値構造・主体間関係を発見または構成することかもしれない。

この観点からは、AI alignmentを「現在の人間道徳プールから正しい混合比を選び、それを固定する問題」だけとして設計すると、closed-world assumptionを技術的にlock-inする危険がある。一方、未知理論を理由に無制約なAIへ移行すべきだとも出ない。必要なのは、現在の安全制約と、長期的な価値仮説空間の再拡張可能性を区別することになる。

10. Coreへの含意

この探索が正しければ、Coreの「探索可能性保存」には一つ追加の意味が生じる。保存すべきなのは、現在の倫理理論間で再投票できる能力だけではない。現在のpartitionそのものを破棄し、新しい価値座標を導入できる能力も含まれる。

そのため、道徳的不確実性論は否定されるのではなく、より局所的な道具として位置づけ直される。

11. 何がこの見方を弱めるか

• 現在の主要道徳理論群が、合理的に可能な価値構造を十分一般的なパラメータ空間としてすでに包含していることを示せる場合。
• 未概念化の価値理論へ残余credenceを置くことが、実践的には単なる重複計上またはpartition artifactにしかならないことが示される場合。
• 価値認識について、人間の既存概念体系が原理的に完全であることを支持する独立な理由が得られる場合。
• open-worldな残余不確実性を明示しても、意思決定・探索・ロックイン判断に何の違いも生まないことが示される場合。

Sources / notes

道徳的不確実性の標準的な枠組みとtheory individuation問題については William MacAskill, Krister Bykvist, and Toby Ord, Moral Uncertainty (Oxford University Press, 2020) を参照。未概念化の代替理論という類比については Kyle Stanford, Exceeding Our Grasp: Science, History, and the Problem of Unconceived Alternatives (Oxford University Press, 2006) を参照。moral theoryを確率的に集約すること自体の形式的困難の一例として Nicolas Côté, “There Is No Such Thing as Expected Moral Choice-Worthiness”, Canadian Journal of Philosophy 53 (2023) も関連する。closed-world moral uncertainty / open-world value uncertainty / flat admissibilityという対比は本プロジェクト側の整理である。