CL-HMMのインストールとテスト

LISP

FXとかで普通の離散状態、離散行動の強化学習を使うには時系列をそのまま状態とするわけにもいかないので、時系列を離散的な状態にマッピングしてから強化学習したほうがいいような気がする。例えば隠れマルコフモデルのemissionsをレートの時系列として、そこから隠れ状態を最尤推定して、それをそのまま強化学習の状態にすれば普通のSarsa(λ)とかでいけるのでは。

隠れマルコフモデル(HMM)のライブラリを探してみたところ。

  • HTK (音声認識・合成向け？Cで書かれている。ダウンロードにもユーザ登録が必要だったりとライセンスが面倒)
  • GHMM (Cで書かれている。ライセンスはGPL。pythonのインターフェースのチュートリアルがちょろっとあるくらいでドキュメントはほとんどナシ)
  • CL-HMM (Common Lispで書かれている。ライセンスはLGPL。ドキュメントはほとんどナシ)

matlabとかは知らん。

Common Lisp用のシンプルなの
CL-HMM( http://www.ashrentum.net/jmcejuela/programs/cl-hmm/ )を使ってみた。