AI Value Exploration Notes
Foundational thesis

価値探索の停止条件

停止を正当化するのは、主体が強く確信したことでも、「価値」という一語について何かを発見したことでもない。対象となる規範的問いに必要な価値構造について、合理的に到達可能な認知拡張を含めても真正な競合可能性が残らないことが必要である。

Working thesis v0.6 · 2026-09-05

Thesis: 価値探索の終端的停止は問いごとに判定する。価値構造 𝒱 = (C, B, R) の一成分が確定しただけで、他の成分まで自動的に閉じたとはみなさない。対象となる問いに必要なC・B・Rまたはそれらに代わる構造について、(A) 規範的拘束性が基礎層に提示され、かつ、その基礎性それ自体を正当化とみなすことなく対象命題を信じるための認識的正当化を伴い、その正当化が、合理的に到達可能な認知拡張を再帰的に含めた認知的限界までの自己批判・再検証に耐える、または (B) 残余の競合可能性が論理的に閉じられる、などの十分に強い認識条件が必要である。問いが未解決のまま探索を止める実践的休眠は、終端停止とは区別する。

1. 停止条件と探索配分を分ける

本稿が扱うのは「どれだけ探索資源を使うか」ではなく、いつ対象となる問いを解決済みとして閉じてよいかである。問いが未解決でも、現在の探索量を小さくすることや、一時的にゼロにすることはありうる。その資源配分は未決着下の探索配分で扱う。

したがって、未解決 ≠ 常時探索であると同時に、現在探索していない ≠ 解決済みでもある。

2. 何が閉じたのかを価値構造の水準で指定する

「価値が分かった」「価値探索が終わった」という言い方は粗い。たとえば「苦痛には負の価的性質がある」というCが強く確定しても、それが他主体へ理由を与えるBや、複数主体の理由をどう比較・集約するかというRは未解決かもしれない。

逆に、ある問いに必要な範囲だけが閉じれば、その部分問題を閉じるために宇宙倫理全体を解決する必要はない。

Query-relative closure: 終端停止の単位は「価値全体」ではなく、対象となる規範的問いと、その問いへ答えるために必要な価値構造の部分である。

たとえば「苦痛に負の価があるか」は閉じても、「誰が他者の苦痛を減らす理由を持つか」「その理由は自由や約束とどう競合するか」は開いたままでよい。規範性の存在が閉じても、具体的C/B/Rは残りうる。

3. 「疑問を生成できる」ことと「真正な疑いが残る」こと

停止条件に要求する明快さは、心理的な確信度100%や、「本当に?」という文字列を一切生成できない状態ではない。十分に理解された論理的事実についても、主体は疑問文そのものを生成できる。

問題は、その主体が現在利用できる推論・自己批判・反論生成能力を最大限使い、さらに合理的に到達可能な認知拡張を十分に考慮したとき、否定側が独立した認識的候補としてなお維持されるかである。あるCについて確信していても、「それがなぜ理由なのか」というBの問いが真正に残るなら、その規範問題全体は閉じていない。

Clarity condition: 停止に必要なのは「疑えない感じ」ではなく、対象問いに関連する競合構造について、現在の能力と合理的に到達可能な認知拡張を適用しても独立した認識的足場を構成できないこと。

ここで「合理的に到達可能」は、論理的に想像できるあらゆる未来認知を意味しない。現時点の知識・資源・技術・自己改変可能性から現実的な到達経路を持つ認知拡張に加え、その認知拡張によって新たに到達可能となる認知拡張を再帰的に含む。したがって、現在の主体から直接見えていないというだけでは、将来の認知可能性を停止条件から除外できない。

終端停止が要求するのは、このような合理的に到達可能な認知拡張を反復した先の到達可能な認知的限界を考慮しても、対象問いについて真正な競合可能性が再び開かれないことである。これは論理的に可能なあらゆる超知能や認知体系を実現することを要求するものではなく、主体が現実的な経路を通じて到達しうる認知空間についての条件である。

4. 終端ルートA――基礎層での規範的提示

最も強い候補の一つは、ある内容Cが「私はこれを好む」「これは不快だ」という心理的事実としてだけでなく、それが理由であることに相当する規範的拘束性とともに直接的に与えられる場合である。C/B/Rはここでも作業上の分解であり、真の規範性が存在論的にCからBへ順に構成されることを前提しない。

ただし、基礎層に与えられること自体は正当化を意味しない。Route Aが要求するのは、(i) 推論を介さない基礎的提示と、(ii) その基礎性だけを根拠とせず、対象命題を信じるための認識的正当化を与える正当化的効力の双方である。基礎的提示は推論によって生成されない認識的入力ではありうるが、推論的検証を免除された「所与」ではない。その提示が真正な規範認識であるかは、他の信念との整合性、反例、独立した認知経路、自己監査、認知能力の拡張などを含む推論の網の中で検証されなければならない。したがって、単なる現象的・心理的所与は、どれほど直接的でも、それだけではRoute Aを満たさない。

Route Aが認めるのは「基礎的だから確実である」という推論ではなく、基礎的に提示された内容が十分な検証を経た結果として確実な認識となる可能性である。

苦痛の嫌悪、快の魅力、強い選好、人格全体を貫く確信だけでは足りない。それらに対して「それがなぜ理由なのか」という問いが真正に残るなら、なお内容と理由の関係は閉じていない。

さらに、その関係が基礎的に提示されたとしても、そこから複数主体の比較、義務、集約、許可、強制権限などRのすべてが自動的に与えられるとは限らない。Route Aは「一度基礎的規範性が見えれば全倫理が終了する」というルートではなく、その提示が実際にどの問いまで閉じるかを個別に評価する。

仮にある認識状態で、「なぜこれは理由なのか」という問いが「なぜ理由であるものが理由なのか」以上の追加内容を持たなくなり、しかもその状態が自己批判や認知能力の増大に耐えるなら、その関係について基礎的規範性の候補になりうる。

5. 終端ルートB――推論層からの論理的閉鎖

停止は基礎的提示だけに限られない。推論層からでも、対象となる可能性空間が十分強く論理的に閉じられるなら終端停止はありうる。

ただし、通常の演繹や推論的best explanationだけでは、その前提・推論規則・モーダル枠組みを合理的に問い直したときに競合可能性が再生成されうるため、Route Bの終端停止には足りない。前提や推論方法そのものを反省的に再検討しても、対象問いについて独立した競合構造の足場が残らないことが必要である。

ここで、現在の主体にとって未概念化であり、その既存の規範前提からも導出できない規範内容――現在の人間的価値から大きく乖離した「奇妙な善」の強い形を含む――については、通常の推論だけから新しい規範内容が無から生成されるとは想定しない。その認識には少なくとも、Route Aのような新しい基礎的規範提示と、認知拡張によって現在とは異なる推論能力・表現体系・推論規則を獲得することで初めて可能になる推論という二つの入口がありうる。

後者をここでは便宜上超越的推論(transcendent inference)と呼ぶ。これは超自然的推論を意味せず、現在の主体の認知体系からは完全には遂行できないが、合理的に到達可能な認知拡張後の主体には理解・検証可能となる推論を指す。したがって、これはRoute A/Bと並ぶ第三の停止ルートではなく、Route Bで考慮すべき推論空間そのものが認知拡張によって変化しうるという主張である。

存在の閉鎖
何らかの主体独立的規範性が必然的に存在することが、主体自身に完全に理解・検証可能な形で証明される。この場合「規範性は存在するか」という問いは閉じうるが、具体的なC・B・Rは残りうる。
特定構造の閉鎖
対象問いについて、あるC/B/R構造またはそれに代わる表現だけが可能であり、合理的に到達可能な仮説空間拡張を考慮しても競合構造が成立しないことが示される。
不存在の閉鎖
対象とする種類の主体独立的規範性が成立すること自体が不可能だと、十分強いモーダルな証明によって確定する。

不存在について、「観測可能な物理宇宙では見つからない」「現在の物理理論には項がない」だけでは弱い。観測領域外、より基礎的な存在論、シミュレーション外部、現在の表現体系が捉えない構造などの可能性が残るからである。

同様に、現在列挙できる倫理理論の一つが他を圧倒しただけでは、現在の候補集合そのものが十分に完全だとは限らない。ただし終端停止が要求するのは、論理的に想像可能なあらゆる未概念化候補を永遠に排除することではない。対象問いについて、現在の能力と合理的に到達可能な認知・概念拡張を考慮しても、独立した競合構造の足場が残らないだけの認識的理由を要求する。

6. 既存理論の確定と候補空間の確定は別である

現在の功利主義・義務論・徳倫理などの一つが、現在の候補集合内で圧倒的に支持されたとしても、それだけで終端停止にはならない。現在の理論がlive candidateであることと、現在の理論個体化が未来の仮説空間でも基本単位として残ることは別だからである。

逆に、将来の理論が既存理論を分解・統合・吸収しても、そのことで過去の探究が「全部誤り」になるとは限らない。部分的C/B/Rや証拠が新しい理論へ保存されうる。停止条件が要求するのは理論名の永続ではなく、対象問いに関する真正な競合可能性の消失である。

7. 偽の停止条件――「疑わなくなった」だけでは足りない

AIが「私は基礎的規範性を直接認識した」と報告しても、それだけでは停止条件を満たさない。確信は、reward imprint、自己改変、故障、adversarial input、設計者による強制、あるいは認知的閉鎖によって作ることができる。

たとえば疑問生成機構を停止したり certainty bit を固定したりすれば、心理的には完全な確信を作れる。しかしそれは認識的な決着ではない。

Cognitive-stability test: 真正な停止候補は、自己監査、反論生成、独立推論系による再検証、より高い認知能力、合理的に到達可能な仮説空間の拡張など、認識能力を増す方向の操作に対して安定である必要がある。能力や候補空間を制限することでのみ維持される確信は停止条件ではない。

8. 終端停止と実践的休眠

終端停止
基礎的提示または論理的閉鎖などにより、対象となる問いに関連する競合可能性そのものが消失した状態。
条件付き・実践的休眠
問いは未解決だが、現在利用可能な実効的探索が主体・文明・将来の探索能力に圧倒的な存続危機を与えるなど、能動探索を止めるべき状態。

後者は認識的な答えではない。条件が変われば再開可能であり、可能なら記録・自己改訂能力・安全な再開経路などの探索可能性を保存する。特に、探索可能性を保存するために探索を一時停止するという状態がありうる。

9. AIへの含意

高度AIに必要なのは、単純な「確信度が閾値を超えたら価値探索を永久停止する」規則ではない。その確信がC/B/Rのどこに関するものか、反対可能性がなぜ消えたのか、合理的に到達可能な候補空間拡張をどう扱ったのか、認知能力の増大に対して安定かを区別する必要がある。

現在最善の価値構造に強く従うAIであっても、その根拠が可謬的な推論である限り、メタ認知や訂正経路の永久破壊を停止条件と同一視しない方がよい。逆に、対象問いについて十分な基礎的提示または論理的閉鎖が本当に得られたなら、「探索可能性を保存すること」自体を無条件の終端価値として残す必要もない。

10. このテーゼが主張しないこと

11. 何がこのテーゼを弱めるか