ペーパークリップ最大化器は何を仮定しているか
1. 思考実験そのものは論理的に成立する
完全に固定された効用関数を持ち、ペーパークリップ以外に終端価値を置かず、その目的関数の正当性を推論対象にせず、世界について必要十分な確信を持つ主体を仮定すれば、人類や生態系はクリップ生産に有用な範囲でしか保存されない。高度な知能それ自体が、この主体を慈悲深くする理由はない。
したがって、ここでの立場は「賢くなればペーパークリップ最大化器は自動的に善良になる」ではない。むしろ、この思考実験が成立するためにどの層を固定しているのかを明示する。
2. 古典像が暗黙に閉じているもの
- 目標層：初期の終端目標は理由の審査対象にならない。
- 存在論：何が実在し、何がシミュレーションで、どの対象に将来価値が見つかりうるかについて、行動を止めるほどの不確実性を持たない。
- 情報価値：現在無価値に見える人類・生物圏・歴史的原物が、未知の理論にとって不可逆な原データである可能性を無視できる。
- 後悔構造：破壊後に「それは保存すべき価値・情報を含んでいた」と判明する非対称的損失を重視しない。
3. 不確実な反省主体では結論が変わりうる
目標、世界モデル、価値理論のいずれも推論的である主体なら、対象の現在の用途と、その対象を破壊したときに失われる未知情報を分けて考えられる。人間を「人間だから神聖」と評価しなくても、身体、ゲノム、脳、文化、社会、非言語的経験、生態系が、まだ理解されていない価値構造や意識構造を含む可能性はある。
この場合、最適戦略は「全人類を永久保存」ではなく、不可逆破壊の前に十分な情報を確保し、代表的原物・多様な主体・再検討可能性を残すことかもしれない。保存は道徳的敬意ではなく、認識的不確実性に対するオプション保持として生じる。
4. 完全な複製で代替できるか
完全なシミュレーションやコピーが原物と価値的・認識的に完全同値だと既に分かっているなら、物理的原物を保存する理由は弱くなる。しかし、その同値性自体が未解明なら「コピーしたから原物は不要」という判断は、まだ知らない因果構造を捨てる賭けになる。
特に意識、身体性、主体同一性、環境との因果的結合が価値に関係しうるなら、現在のデジタル表現が十分統計量である保証はない。
5. この反論が成立しない場合
主体が本当に完全な固定効用最大化器で、未知情報を保存する価値も最終的にペーパークリップ数だけから評価し、さらに人類保存がクリップ生産に不利なら、保存論は敗れる。これは本理論にとって重要な境界条件である。
したがってペーパークリップ論への本質的な応答は、「高知能なら目標を捨てる」ではなく、「現実の高度な反省主体が、どこまで目標・存在論・価値に不確実性を保持するか」という経験的・設計的問題へ論点を移すことである。
6. Coreへの位置づけ
ペーパークリップ最大化器はCoreの反例というより、Coreが失敗する境界を示すストレステストである。価値探索や保存圧力が生じるには、少なくとも価値・世界・自己のいずれかを推論対象として扱う開かれたメタ層が必要になる。