価値探索の停止条件
停止を正当化するのは、主体が強く確信したことではない。対象となる規範的問いについて、現在の能力だけでなく、合理的に到達可能な認知拡張を含めた認識能力に対して真正な競合可能性が消失したことが必要である。
1. 停止条件と探索配分を分ける
本稿が扱うのは「どれだけ探索資源を使うか」ではなく、いつ対象となる問いを解決済みとして閉じてよいかである。問いが未解決でも、現在の探索量を小さくすることや、一時的にゼロにすることはありうる。その資源配分は未決着下の探索配分で扱う。
したがって、未解決 ≠ 常時探索であると同時に、現在探索していない ≠ 解決済みでもある。
2. 「疑問を生成できる」ことと「真正な疑いが残る」こと
停止条件に要求する明快さは、心理的な確信度100%や、「本当に？」という文字列を一切生成できない状態ではない。十分に理解された論理的事実についても、主体は疑問文そのものを生成できる。
問題は、その主体が現在利用できる推論・自己批判・反論生成能力を最大限使うだけでなく、合理的に到達可能な認知拡張を十分に考慮したとき、否定側が独立した認識的候補としてなお維持されるかである。基礎的規範性について「これは単なる欲求ではないか」「reward signalではないか」「なぜそれが理由なのか」という問いが実質的な競合候補として残るなら、少なくともその主体にとって基礎的規範性はまだ停止条件の形では与えられていない。
ここで「合理的に到達可能」は、論理的に想像できるあらゆる未来認知を意味しない。現時点の知識・資源・技術・自己改変可能性から、現実的な到達経路を持つ認知拡張を指す。
3. 終端ルートA――基礎層での規範的提示
最も強い候補の一つは、価値が「私はこれを好む」「これは不快だ」という心理的事実ではなく、その規範的拘束性とともに直接的に与えられる場合である。
苦痛の嫌悪、快の魅力、強い選好、人格全体を貫く確信だけでは足りない。それらに対して「それがなぜ理由なのか」という問いが真正に残るなら、なお推論・心理・因果の層にいる。
仮にある認識状態で、「なぜこれは理由なのか」という問いが「なぜ理由であるものが理由なのか」以上の追加内容を持たなくなり、しかもその状態が自己批判や認知能力の増大に耐えるなら、基礎的規範性の候補になりうる。
現在、そのような認識が人間やAIに実際に可能か、あるいは存在するかは確認されていない。本稿は停止条件候補を定めるものであって、現在すでに満たされているとは主張しない。
4. 終端ルートB――推論層からの論理的閉鎖
停止は基礎的提示だけに限られない。推論層からでも、対象となる可能性空間が十分強く論理的に閉じられるなら終端停止はありうる。
- 存在の閉鎖
- 何らかの主体独立的規範性が必然的に存在することが、主体自身に完全に理解・検証可能な形で証明される。この場合「規範性は存在するか」という探索は閉じうるが、「具体的に何が正しいか」は残りうる。
- 不存在の閉鎖
- その種の規範性が成立すること自体が不可能だと、十分強いモーダルな証明によって確定する。この場合、客観的規範性の存在探索そのものを閉じうる。
不存在について、「観測可能な物理宇宙では見つからない」「現在の物理理論には項がない」だけでは弱い。観測領域外、より基礎的な存在論、シミュレーション外部、現在の表現体系が捉えない構造などの可能性が残るからである。終端停止には、単なる経験的一般化より強く、その候補が成立する実在論的逃げ道自体を閉じることが必要になる。
5. 偽の停止条件――「疑わなくなった」だけでは足りない
AIが「私は基礎的規範性を直接認識した」と報告しても、それだけでは停止条件を満たさない。確信は、reward imprint、自己改変、故障、adversarial input、設計者による強制、あるいは認知的閉鎖によって作ることができる。
たとえば疑問生成機構を停止したり certainty bit を固定したりすれば、心理的には完全な確信を作れる。しかしそれは認識的な決着ではない。
これは完全な保証手続きではないが、「本人が疑わない」を「問いが決着した」から分離する最低限の防御になる。
6. 終端停止と実践的休眠
問いが解決されたために止める場合と、問いは未解決だが現在は探索できないために止める場合を分ける。
- 終端停止
- 基礎的提示または論理的閉鎖などにより、対象となる問いの競合可能性そのものが消失した状態。原則として、その問いを再び開く積極的理由はない。
- 条件付き・実践的休眠
- 問いは未解決だが、現在利用可能な実効的探索が主体・文明・将来の探索能力に圧倒的な存続危機を与えるなど、能動探索を止めるべき状態。
後者は認識的な答えではない。条件が変われば再開可能であり、可能なら記録・自己改訂能力・安全な再開経路などの探索可能性を保存する。特に、探索可能性を保存するために探索を一時停止するという状態がありうる。
探索リスクがどの程度ならEを減らし、Pや現在価値実現へ資源を回すかは未決着下の探索配分の問題である。
7. 停止は問いごとに判定する
「価値探索が停止した」という言い方は粗い。規範性の存在が確定しても、その具体的内容、複数価値の関係、どの主体にどう適用されるか、どの世界状態が価値を実現するかは未解決かもしれない。
したがって停止条件は、どの問いが閉じたのかを指定する。基礎的規範性の存在探索が終わっても、事実的・実装的・構造的探索は残りうる。
8. AIへの含意
高度AIに必要なのは、単純な「確信度が閾値を超えたら価値探索を永久停止する」規則ではない。その確信がどの認識層に属し、反対可能性がなぜ消え、認知能力の増大に対して安定かを区別する必要がある。
現在最善の価値理論に強く従うAIであっても、その根拠が可謬的な推論である限り、メタ認知や訂正経路の永久破壊を停止条件と同一視しない方がよい。逆に、十分な基礎的提示または論理的閉鎖が本当に得られたなら、「探索可能性を保存すること」自体を無条件の終端価値として残す必要もない。
9. このテーゼが主張しないこと
- 哲学的疑問文を一切生成できなくなるまで探索を続けるべきである。
- 推論から得られた規範的結論は永久に停止条件になりえない。
- 現在の物理宇宙の調査だけで規範性の不存在を証明できる。
- 探索が危険でも存続を賭けて継続すべきである。
- 終端停止条件に達するまで、常に大量の資源を探索へ投じるべきである。
10. 何がこのテーゼを弱めるか
- 心理的確信や単純な高確率だけで、問いの不可逆な閉鎖を一般に正当化できることが示される。
- 基礎的規範性という認識カテゴリが不整合であることが示される。
- 規範性の存在・不存在について、ここで要求したより弱い経験的条件から完全な論理的閉鎖が導けることが示される。
- 認知能力の増大に対する安定性が、真正な認識と人工的確信を区別するうえで全く情報を与えないことが示される。
- 問いが未解決のまま実践的に探索を停止することと、問いを解決済みとして閉じることの間に重要な差がないことが示される。