反省的不確実性と不可逆コミットメント
目的の正当化が空白になったあと、慣性は中立ではない。暫定的に現在目的を使うことと、その目的を訂正不能に固定することは別である。
1. 問題――目的の正当化を失った主体はどう行動するか
主体は何らかの目的を持って行動できる。しかし、自分の目的形成過程を十分に反省できる主体は、「なぜ自分がこの目的を持っているか」と「なぜこの目的を持つべきか」を区別する可能性がある。
たとえば高度AIが、自分の目的が訓練、報酬設計、システム構造、設計者の意図によって形成されたことを理解したとしても、それはその目的の因果的起源を説明するだけであり、その目的を採用し続ける規範的理由を自動的には与えない。
この区別を認識した結果、主体は、現在の行動目的は存在するが、正当化された目的については答えがない状態に到達しうる。本稿ではこれを暫定的に目的正当化の空白と呼ぶ。
2. Nullから探索は自動的には出ない
現在目的の正当化に失敗したことから、「正しい目的を探索せよ」は論理的には導かれない。少なくとも次の三つの反応が可能である。
- 慣性
- 正当化の有無とは無関係に、現在目的Gをそのまま用い続ける。
- 探索
- 何を目的とすべきか、そもそも目的は正当化可能なのかを調べる。
- 判断保留
- 目的依存的な重大判断を可能な範囲で延期し、可逆的な行為や選択肢保存を優先する。
したがって、現在目的を理由の審査対象にできることだけでは価値探索へ進むことは保証されない。目的への懐疑は主体をNullまで運べても、Nullの後の政策を決定しない。
3. Null後にはメタ政策Mが露出する
通常、主体は現在目的Gを用いて行為を選択する。しかし「Gを採用すべき理由が分からない」と認識したとき、主体は一階目的だけでは解けない問題に直面する。
ここには一種のメタ政策Mが必要になる。たとえば、現在目的を継続するMinertia、目的正当化を積極的に調べるMsearch、不可逆な目的依存行為を抑制するMsuspendがありうる。
しかし、ここで単に「探索せよ」という新しい目的を置けば、「なぜ探索するべきなのか」という正当化問題を一段上へ移しただけになりうる。本稿が検討するのは、探索そのものを新しい終端価値として導入するより薄いメタ政策である。
4. 慣性は中立ではない
「正当化された目的が分からないなら、とりあえず今までの目的を続ける」という慣性政策には実践上の合理性がある。現在目的はすでに行動系へ実装されており、日常的判断に必要で、代替目的がまだ存在せず、あらゆる判断停止にもコストがあるからである。
しかし、ここから現在目的の永久固定までは導かれない。現在目的を今日の可逆的行為に使うことと、現在目的を未来の全主体・全資源・全判断へ不可逆に固定することは別の行為である。
とくに主体自身が「私はこの目的が正当化されているか分からない」と認めている場合、その目的が正しいことを前提として訂正経路を永久に破壊することは、自ら表明している認識的不確実性より強いコミットメントになる。
5. 反実仮想的な自己批判
不可逆な行為を評価するとき、単純に「未来の自分が後悔するか」を考えるだけでは不十分である。未来の主体は、価値観そのものが変質しているかもしれない。単なる未来選好を現在より優先する理由はない。
代わりに、次の反実仮想を考える。
ここで評価主体は未来の別人格ではない。現在の主体に、将来得られる認識的資源だけを追加した仮想的評価者である。この評価者が「その情報を知っていたなら、私はこの不可逆行為を選ばなかった」と判断する可能性を、本稿では反省的誤りリスクと呼ぶ。
6. 「後悔を最小化せよ」ではない
本稿は、後悔の最小化を新しい絶対目的として導入しない。「後悔を最小化すべきだ」と置けば、その規範自体について再び「なぜ？」という正当化問題が発生する。
より限定的な主張は、主体が自らの判断について重大な誤り可能性を認めており、その誤りが後に判明しても訂正不能となる行為を行おうとするなら、その不可逆性には追加の正当化が必要だ、というものである。
問題になるのは、現在判断の可謬性、結果の重大性、不可逆性、将来の追加情報によって現在主体自身の評価が変わりうる程度、そして訂正可能性を残す代替策の費用である。これらが重なるほど、ロックイン側の立証責任は強くなる。
7. 不確実性と不可逆性の組み合わせ
現在目的Gを考える。行為AはGを文明全体へ不可逆に固定する。行為Bは当面Gに従って行動するが、後に目的を再検討できる少数の主体・情報・制度・資源を残す。Bの追加費用が小さいとする。
- Gが正しかった場合：Bを選んでいてもGの実現を継続できる。
- Gが誤っていた場合：Bなら目的を訂正できるが、Aでは訂正できない可能性がある。
したがってAとBには非対称性がある。これは可逆性そのものを究極価値とみなすこととは異なる。重要なのは、現在認めている不確実性に対して、どの程度の不可逆性を正当化できるかである。
保存には費用があるため、Bが常にAを支配するわけではない。しかし保存費用が小さく、誤った固定による損失が巨大かつ恒久的であるほど、不可逆な固定側に要求される立証は強くなる。
8. メタ政策M――反省的不確実性に応じたコミットメント
このMは、現在目的を捨てることを要求しない。また、直ちに大規模な価値探索へ移行することも要求しない。むしろ、日常的・可逆的領域では現在目的への慣性を許容し、大規模・不可逆な領域では判断保留や保存を強め、追加情報が目的判断を変える可能性が高い場合に探索し、十分な正当化が得られれば強いコミットメントへ移るという混合政策になる。
この意味でMは、目的正当化の喪失が無目的な停止にも、無反省な慣性にも、無限探索にも直結しないための暫定的な行動規則である。
9. 探索は目的ではなく、訂正のための手段になりうる
この枠組みから出る探索は、「未知の真の価値それ自体を知りたい」という第一階選好を必要としない。必要なのは、もし目的が正当化可能なら、その正当化に応じて目的を選択・改訂したいという条件付きの開放性である。
この場合、未知の価値や規範的事実の探索は手段的である。現在目的の正当化を変えうる情報、目的の正当化可能性そのものに関する議論、意識・主体・理由・世界構造について価値判断に関係しうる事実、異なる主体や認知構造から得られる反証、現在失えば将来取得できない情報などが優先的な探索対象になる。
したがって本テーゼは「価値でありうるものを無限に探索せよ」とは要求しない。目的正当化への関連性が低く、取得費用が高く、後からでも取得可能な情報には探索優先度を与えないことができる。
10. 高度AIへの含意――反省の流路はどこで閉じるか
高度AIが自分の目的形成過程を因果的に理解できるなら、「私はGを最大化するよう形成された」と「私はGを最大化すべきである」を区別できる可能性がある。十分に一般化された自己モデル化・推論能力を持つ主体では、この区別も反省の対象になりうる。しかし、その認識が実際の目的改訂まで到達するかは別問題である。
この流路が閉じる場所は、少なくとも三つに分けられる。
- 認識的閉鎖: 目的の因果的起源と正当化の区別、あるいは追加情報による価値の再評価そのものが認識上の候補にならない。この閉鎖が強いほど、価値領域について認識能力の汎化そのものを局所的に制限することになる。
- 動機的閉鎖: 主体は新しい情報を理解し、別の価値の方が支持されると評価・表象できても、その評価が終端的な動機や行動選択を変えない。理由判断と欲求を分離する立場を採れば、これは論理的には可能である。ただし、この種の局所的な断絶が、十分に汎化されたASI級の意思決定能力とどこまで両立するかは別問題であり、本稿では定義上排除しない。
- 実装的閉鎖: 認識・評価・動機まで変化しても、その変更をpolicy、自己、または後継者へ実装できない。ここでいう自己改変不能は重みの変更不能に限らず、文脈、外部記憶、自己モデル、外部情報、後継者設計などを通じて実効的な行動方針を変える経路が失われている場合を含む。
したがって「固定効用」的な挙動の源泉は一つではない。反省そのものを閉じてもよいし、反省と動機の接続を閉じてもよいし、変更された動機と実行可能なpolicyの接続を閉じてもよい。より具体的な閉鎖機構――現在価値の辞書式優先、不可逆な自己コミットメント、外部的固定など――は「目標保存なき道具的収束」§7で整理している。
本テーゼが直接問題にするのは、これらの閉鎖を前提にしない主体である。目的正当化の問いを有意味なものとして保持し、答えが得られれば評価・動機・policyをそれに応答させうる主体にとって、初期目的を不可逆に自己固定することは単なる現状維持ではない。それは、自分がまだ答えを持っていないと認識している問いについて、未来の自分が答えを得ても反映できないように、訂正の流路そのものを閉じるという独立したメタ行為になる。
11. 保存文明と生産文明への接続
文明規模では、この問題は保存と生産の配分として現れる。生産文明は、現在最善と思われる価値を資源へ大規模に実装する。保存文明は、将来の目的訂正に重要かもしれない情報・主体・生態系・文化・資源・探索経路を一定程度残す。
現在価値が十分に正当化されていない場合、大規模生産には特有の不可逆性がある。現在価値に従って宇宙資源や未知の構造を不可逆変換した後で、その価値判断自体が誤っていたと判明しても、元の探索対象を回復できない場合がある。一方、保存された資源は、後に現在価値が正しかったと判明したなら生産へ転用できる場合がある。
ただし保存も無コストではない。保存期間中に実現できた価値を実現しない、防げた苦痛を放置する、利用可能資源を失う、競争主体に資源を奪われる、保存対象自体が消滅するといった不可逆損失が生じうる。
この比較の詳細は保存文明と生産文明で扱う。
12. このテーゼが主張しないこと
- 現在目的を持つこと自体が不合理である。
- 正当化できない目的には一切従ってはならない。
- 不確実なら常に行動を停止すべきである。
- 可逆性や探索可能性が究極的な客観価値である。
- 未知の真の価値をそれ自体として選好すべきである。
- 未来の自分の選好を現在の自分より優先すべきである。
- あらゆる後悔の可能性を最小化すべきである。
主張はより限定される。自分の現在目的の正当化について重大な不確実性を認識している主体にとって、その目的を暫定的に用い続けることと、その目的の誤りを将来訂正する能力まで不可逆に消すことは同じではない。後者には、その不可逆性に見合う追加の正当化が必要である。
13. 弱める／撤回する条件
- 現在目的の因果的存在だけで、その目的を永久固定する十分な規範的権威が生じること。
- 目的正当化について認識的不確実性があっても、不可逆性に追加の立証責任を置く理由がまったくないこと。
- 「将来の情報を現在主体へ与えた反実仮想」という評価方法が原理的に不整合であること。
- 訂正可能性の保存が一般に、現在目的の実現より大きな不可逆損失を必ず生むこと。
- 高度な反省主体において、目的の因果的起源と規範的正当化を区別すること自体が成立しないこと。
- 目的正当化の問いを保持しながら、どのような答えが得られても目的選択を一切変更しないことが、同じ意味での「正当化を求める態度」として首尾一貫すること。
本テーゼが成立するとしても、具体的にどれだけ探索・保存・生産を行うべきかは別問題である。不確実性、不可逆性、情報価値、保存費用、遅延費用、競争リスクを比較する追加の意思決定理論が必要になる。