単純なルールを予測する - ryamadaの遺伝学・遺伝統計学メモ

統計学やデータ解析ではモデルを単純にしよう、という大前提を使う。「オッカムの剃刀」。これは、モデルの過適合を避けよう、という意図に通じている
統計学・データ解析によらず、原則、「オッカムの剃刀」で行こうよ、という立場は強く、それが「物理の法則」による自然界の理解の根っこにあるわけであるが…
さて、生物界では、どうなの？と言うと：
「世界がどうなっている」のかわからない状態で、生命体が環境(この中に他の生命体も含まれると思われる)とのやり取りをしながら、自身の最大の利益を目指して頑張るとどうなるか、というと、感知された情報の中に、もっとも単純なルールを見出して、それに従って戦略を立てるのがよい、ということが示されている、という
Marcus Hutter による理論で、それに基づく「人工知能」をAIXIというそうだ(こちら)
- このAIXIは、生命体(生きていなくてもよいけれど)と環境があって、それらがともに相互作用し合うチューリングマシンで、感知・行動・感知・行動を交互に行うとする(相互プレー型のスポーツ競技は、この練習をしていることになる？)。このような条件での最適な行動というのは、その時点までの観察に合致する、もっとも短いプログラムによって環境が制御されているとの推測に基づいたものだ、というもの
この「もっとも短いプログラム」というのは、「観察データの圧縮」ともいいかえられるので、「圧縮〜人工知能」という言い換えも可能だ…という話にもつながり、それは「テキスト圧縮」の話題(こちらでもやった)につながって行くのだが。そしてそれはグラフ圧縮でこちらと関係するのだが。
さて話をAIXI的発想ができてくる過程に戻そう
- 決定理論(この中には確率的な考え方が入ってくる)と
- Universal inductionという考えがあって、このUniversal inductionは「オッカムの剃刀(けちけちの法則)」と「感知重視(エピクロス派)」と「ベイズ(事前確率・事後確率)」からなるという
- これらの複合としてUniversal Artiﬁcial Intelligence without Parametersという考え方が出て、ここから出てきたのがAIXI
参考資料

ISBN:9783540221395:detail