タグ別アーカイブ: 機械学習

カエルでもわかる!Spark / MLlib でやってみる協調フィルタリング(前編)

はじめに

当ブログでは Apache Spark プロジェクトの機械学習ライブラリ MLlib について何度か取り上げました。

今回のエントリでは MLlib の協調フィルタリングについて書きます。 アルゴリズムの簡単な解説と Java からの利用方法、性能評価実験などの話をします。 Spark 1.1.0 が9月にリリースされてからしばらくたってしまいましたが、1.1.0 から実装された機能も紹介します。

少し長くなるので前・後編に分かれます。

続きを読む カエルでもわかる!Spark / MLlib でやってみる協調フィルタリング(前編)

Scala ではじめる Spark / MLlib の単純ベイズ分類器

はじめに

以前のエントリにて Spark / MLlib の K-means を取り上げましたが、今回は同じく MLlib にて提供されている機械学習アルゴリズムの一つ、 単純ベイズ分類器 (Naive Bayes, ナイーブベイズ) を使ってみましょう&K-分割交差検証をしてみましょう、 というエントリです。

単純ベイズ分類器そのものについては読者の皆様はご存知、という前提でこの後の話を進めてしまいますので、 「ちょっと良くわからないよ待ってくれ!」という方は

などのページを一読することをおすすめします。

続きを読む Scala ではじめる Spark / MLlib の単純ベイズ分類器

Java 8 & 機械学習の視点でみる Spark 1.0 リリース

はじめに

さる 5/30、今か今かと待ち望まれていた Spark 1.0 が 遂にリリース されましたね!

その前日 5/29 には都内で 実際のところ Spark ソースコードリーディング だった Hadoop ソースコードリーディング #16 が開催されるなど、 Spark についての注目度が俄然高まってきているように思えます。

そんなわけで、0.9.1 からの変更点や機能追加について、Java と機械学習に携わるエンジニアの視点で 今回の 1.0 リリース内容をまとめてみました!

続きを読む Java 8 & 機械学習の視点でみる Spark 1.0 リリース