インストールについては、以前の記事、

ライブドアのレコメンデーションエンジン「Cicindela」を試す - ueblog

を参考にしよう。

準備

まずは箱となる、テーブルを用意する。Cicindelaをインストールしたディレクトリ以下の「misc」ディレクトリにあるperlプログラムをたたく。

$ cd misc
$ perl create_init_sql.pl --db_name=sampledb | mysql  -u root

これで「sampledb」というインスタンスがmysql上に作成され、雛形となるテーブルが空の状態で作成される。

なお、異なる複数のデータをひとつのCicindelaで処理させることもできる。その場合は別インスタンスを作成し、後述するConfigの設定ファイルで「datasource」を変更することで可能だ。

仕組みおさらい

仕組みをかなり簡単におさらいすると、

1. WebAPIによりデータ（ユーザID、アイテムID）をためる。
2. バッチにより、上記データを集計してレコメンドデータを作成。（Filter,Recommender）
3. WebAPIによりレコメンドデータを取得する。

というわけだが、2番の集計の仕方がもちろん肝となる。仕組みについては以前のセミナー資料がわかりやすい。

Cicindela　PDF資料

8ページ目あたりが詳しい。

設定ファイル

まずやるべきことは、設定ファイルを理解するところからはじまる。

設定ファイルはインストールディレクトリの「lib/Cicindela/Config/_common.pm」にある。

この1ブロックが1集計セットとなる。

「filters」や「recommender」の部分を変更させることによって、同じ元データから違った集計のさせかたができる。

違う元データを扱いたいときは、準備で書いたように別インスタンスを作成して「datasource」を変更させたほうが対応しやすい。

設定については、Cicindelaのマニュアルを参照すること。（まだ未完成のようだが）

Examples - cicindela2 - 設定の例

FiltersとRecommenderの種類

あらかじめ何種類かのFiltersとRecommenderが用意されている。もちろん自作も可能。

Filters::

CommonTags
CopyPicks
CropPicks
InverseUserFrequency
ItemSimilarities
PicksExtractor
Ranking
RatingsConverter
RawSQL.pm
SlopeOneDiffs.pm
UserSimilarities

Recommender::

Cascaded
Hybrid
ItemSimilarities
Ranking
SlopeOneDiffs
UserSimilarities

サブクラスも含めると、かなりたくさん用意されている。

ソース中には説明があるものはあるが、マニュアルはまだないので完成に期待。

FilterChain - cicindela2

何を集計させるか

集計させる元データは、サイトの特性によって違うと思うが、主には、

• アイテムへのアクセスログ
• アイテムへのブックマークデータ、カートに入れたデータ
• アイテムの購入ログ

などが利用できそう。

アイテムとユーザが結びつくデータなら何でも使えそう。

アイテムのカテゴライズとタグ付けもできるので、絞込みも可能。

Cicindelaではカテゴリーとタグの違いは、カテゴリーはアイテムを分類するだけだが、タグはアイテムとユーザを分類する違いがあるようだ。

まとめ

結局は何のデータをどう集計させて、どうみせるかというところは、自分なりにシナリオを考えないといけないので、そこが一番難しいところであり、面白い部分でもある。

先に紹介してPDFで、実際にライブドアのサービスで利用されている部分の紹介は、かなり参考になるでしょう。

この分野だけでも、会社が存在するくらいなので奥が深い・・・

Cicindelaは何を提供するか

Cicindelaが提供するものは主に下記のものだ。

1. WebAPIとなるWebプログラム（Handlers）
2. データ解析プログラム（Recommender）
3. データを加工するフィルタ（Filters）
4. 制御、設定部分（Config）
5. その他データ作成用の補助スクリプト等

これらすべてが、perlのプログラムで作成されていて、Apache+mod_perl+mysqlな環境で動作する。

内部構造は柔軟な構造になっているらしく、自作のフィルタ（Filter）やレコメンダー（Recommender）を設定（Config）で自由に組み合わせて利用できるようだ。

機能的には、「データの蓄積」「データの操作」「データの取得」の3種類で、すべてWebAPI経由で操作可能だ。

WebAPI - cicindela2 - web API 経由でデータを入出力するには / how to input or output data via web API - Google Code

アイテムを選択した情報だけでなく、アイテムの評価情報や、タグ情報を付加したり、カテゴリによるフィルタリングも可能なようだ。

インストールとセッティング

さてさっそくインストールだが、基本的に

Install - cicindela2 - セットアップ方法 / How to setup - Google Code

こちらに従えばそれほど難しくないが、簡単にメモがてら記しておく。

# チェックアウト
cd /usr/local
svn checkout http://cicindela2.googlecode.com/svn/trunk/ cicindela
# perlモジュールインストール
perl -MCPAN -e "install DBI; install DBD::mysql; install Ima::DBI; install Time::Piece; install Log::Log4perl; install Module::Pluggable; install Class::Singleton;"

Apacheの設定ファイル「$CICINDELA_HOME/etc/httpd/modperl.conf」を参考にhttpd.confなどを設定。

mysqlの設定ファイルmy.cnfはDemoをやる際に、メモリが足りなくなる可能性があるので、「$CICINDELA_HOME/etc/mysql/my.cnf」を参考に設定しよう。

Apache＋mod_perl＋mysqlのインストールは割愛。

daemontoolsでデータの再集計などをやってくれるようだが、今回は割愛。

デモはこちらを参考

Demos - cicindela2 - デモ用データセットを用いたクイックスタート / quick start with demo datasets - Google Code

このデモは「データの蓄積」部分はデータのインポートを利用している。

# サンプル用のデータを取得(リポジトリのswitch)
cd /usr/local/cicindela
svn switch http://cicindela2.googlecode.com/svn/branches/demo_data/misc misc
# データベース作成
cd misc
perl create_init_sql.pl --db_name=cicindela_clip_db | mysql -uroot
# インポート用にperlのモジュールインストール
perl -MCPAN -e "install Text::CSV_XS;"
# データインポート
cd clip_data
gunzip -c ldclip_demo_dataset.csv.gz | perl importer.pl  --work_dir=`pwd` | mysql -uroot cicindela_clip_db

そして、設定ファイル「$CICINDELA_HOME/lib/Cicindela/Config/_common.pm」の

## sample settings for ldclip_dataset

以下の設定がコメントアウトになっているので、19行目から69行目あたりまでのコメントを外していく。

なおこのファイルで宣言されている、

'clip_simple' => {
datasource =>  [ 'dbi:mysql:cicindela_clip_db;host=localhost', 'root', '' ],
filters => [
[ 'PicksExtractor', { interval => '20 year' } ],
'InverseUserFrequency',
'ItemSimilarities',
],
recommender => 'ItemSimilarities',
calculation_track => 1,
refresh_interval => 1,
},

このようなかたまりが、設定の一つ一つになっている。

上記の場合、「clip_simple」というフィルタやレコメンダーなどの設定がされている。（APIで「set=clip_simple」として呼び出される）

datasouceはmysqlに接続する設定なので、各行書き換えておく。

あとは集計バッチを実行する。

bin/batch.pl --track=1
bin/batch.pl --track=1

初回は2回叩く。

これでApacheが動いているならば、Webブラウザで

http://hostname/cicindela/recommend?op=for_item&set=clip_simple&item_id=39102

このようにリクエストすると、改行区切りのデータが帰ってくるだろう。

49425
44936
42886
37580
37710
40699
39574
41925
40012
44423

感想

実際にデータを自分で入れていないので、精度などはまだわからないが、このような難しいロジックを擁するツールがオープンソースで公開されている意義はとても大きい。

また、MITライセンスというとても緩いライセンスなので、再利用等が可能だ。これから積極的に利用していきたいと思う。

個人的には、WebAPIにまで手を出さず、レコメンドエンジン＋ストレージくらいのシンプルなところで留めておいてもよかったのでは？と思ったりしますが、今後の動きに期待したい。

mod_perlは、レンタルサーバじゃほとんど利用できないと思うので、敷居が高いかと・・・

これがなかなかよい。

Google Readerのいいところ

• タイトルがGmail風で読みやすく、タイトルの一覧、Descriptionを一緒に表示させる、切り替えが簡単。
• Googleのアカウントは他のサービスも使うので、常にログインしている。（Livedoorは、Readerしか使ってません。。）
• ショートカットキーがvi風。（Livedoorからの乗り換えが簡単。）
• Feedのトレンド（既読率とか、更新率とか）が見れる。
• 設定がシンプル。（Livedoorはいろいろできるけど、ややこしいかな。）
• 一番の決め手は、サーバ側で記事をかなりの数を保存してくれる。Livedoorは1フィード200件まで。

でもLivedoorもいいところはあるんですよね。

• ショートカットキーが使いやすい。（慣れの問題か。）
• モバイル版は断然、Livedoorのほうが見やすいように思う。
• フィードに対して、レートをつけられるので、高いレートのフィードを優先的に読める。
• フィードのソートできる種類が多い。

とLivedoorも捨てがたいが、しばらくGoogle Reader使ってみようと思う。

こうなると、自分の良く使うサービスのほとんどがGoogleさんになってしまうなあ・・・