タグ別アーカイブ: Spark

カエルでもわかる！Spark / MLlib でやってみる協調フィルタリング（後編）

前編では MLlib で実装されている協調フィルタリングについて、アルゴリズムの面から解説してみました。いわば理論編です。後編は実践編として Java コードや性能評価実験の結果を見ていきます。

当ブログでは Apache Spark プロジェクトの機械学習ライブラリ MLlib について何度か取り上げました。

今回のエントリでは MLlib の協調フィルタリングについて書きます。アルゴリズムの簡単な解説と Java からの利用方法、性能評価実験などの話をします。 Spark 1.1.0 が9月にリリースされてからしばらくたってしまいましたが、1.1.0 から実装された機能も紹介します。

少し長くなるので前・後編に分かれます。

以前のエントリにて Spark / MLlib の K-means を取り上げましたが、今回は同じく MLlib にて提供されている機械学習アルゴリズムの一つ、単純ベイズ分類器 (Naive Bayes, ナイーブベイズ) を使ってみましょう＆K-分割交差検証をしてみましょう、というエントリです。

単純ベイズ分類器そのものについては読者の皆様はご存知、という前提でこの後の話を進めてしまいますので、「ちょっと良くわからないよ待ってくれ！」という方は

などのページを一読することをおすすめします。