強化学習の階層化

実際目に見えているobjectについて考えることよりもある程度抽象化された形で考えた方が楽だ。だから具体的なこと（e.g.チェスの盤上の配置）から抽象的なより上位のレベル（e.g.定石や戦略）への変換が必要になる。上位のレベルではtrivialなことは捨象されているので状態数は少なく、学習の収束はより速い。
ならばある程度状態表現を階層化して、上位のレベルの学習結果を下位のレベルに反映することができれば現実空間で爆発的に増加する状態数に対応できるかもしれない。
問題は抽象化の方法だ。人間が具体的なパターンを抽象化して概念に結びつけることができるのは神経ネットワークによる超並列計算によるものだ。このモデルをmachine learningにそのまま適用することは現実的なコンピュータの計算能力を超えるだろうか。あるいはもっと数学的に扱いやすい抽象化のモデルが存在するだろうか。
抽象化と呼んでいいのかちょっとアレだが、上位の階層では状態を粗く見て、下位レベルで実際の詳細な状態表現を使うといった研究も存在する。

もーんもーん