タグ別アーカイブ: Spark

Java 8 & 機械学習の視点でみる Spark 1.0 リリース

はじめに

さる 5/30、今か今かと待ち望まれていた Spark 1.0 が 遂にリリース されましたね!

その前日 5/29 には都内で 実際のところ Spark ソースコードリーディング だった Hadoop ソースコードリーディング #16 が開催されるなど、 Spark についての注目度が俄然高まってきているように思えます。

そんなわけで、0.9.1 からの変更点や機能追加について、Java と機械学習に携わるエンジニアの視点で 今回の 1.0 リリース内容をまとめてみました!

続きを読む Java 8 & 機械学習の視点でみる Spark 1.0 リリース

Spark / MLlib の K-means を Java から利用してみる

はじめに

先日の Mahout Project からのアナウンス “Goodbye MapReduce” にもあるとおり、今後の大規模データ処理の基盤として Apache Spark がここ最近注目されています。

そんな今熱いプロダクトである Spark に関して、その上で動く機械学習ライブラリ MLlib の K-means 実装を わけあって Java から利用してみる機会があったので、その使い方や特性を簡単にまとめてみました。

続きを読む Spark / MLlib の K-means を Java から利用してみる