無限倫理と探索の暴走

Exploration v0.2 · 2026-08-08

問題

「客観的価値が存在する確率がごく小さくても、それを見逃す損失が巨大なら探索する理由がある」という議論は、期待値の形にすると危険である。確率10^-100の巨大価値でも意思決定を支配できるなら、ほとんど任意の奇妙な価値仮説を同じ方法で正当化できる。

さらに「真の価値は苦痛最大化である」といった仮説さえ、巨大な価値を付与すれば無視できなくなる。無限期待値や符号の異なる無限が入れば、通常の期待効用そのものが未定義になる。

「規範的ステークスの非対称性」は単純期待値ではない

価値虚無には客観的ステークスがなく、価値実在には未知のステークスがありうるという非対称性は、「小確率の巨大効用を掛ければ何でも勝つ」という期待値論とは区別する。Coreがそこから導くのは、特定の巨大価値仮説への全賭けではなく、探索経路を不可逆に閉じないという弱いオプション保存である。

したがって「確率10^-100で無限善がある」というだけで現在の全資源を投入することは正当化されない。証拠の弱い価値仮説に対しては、探索資源そのものも証拠に応じて小さく保てる。

Coreへの含意

このため、Coreの探索原理は「小確率×巨大価値」の単純な期待値最大化として書かない方がよい。中心は、可逆性・情報価値・探索経路の保存といった局所的なロバスト性に置く。探索資源にも上限を設け、極端な価値仮説が全意思決定を乗っ取らないようにする必要がある。

未解決

• 無限価値を含む仮説へ有限な意思決定規則をどう与えるか。
• 小確率の極端仮説を切る閾値は、それ自体恣意的ではないか。
• オプション価値も最終的には価値関数を必要とするのではないか。