『初めてのSpark』を読み始めた

Scala Spark

とりあえず, ローカルの開発環境構築から.

環境

  • OS X El Capitan 10.11.3

作業内容

Mac だと, Homebrew でもインストールできた.

$ brew install apache-spark

spark-shell を動かしてみる.

$ spark-shell
...
scala> val lines = sc.textFile("/usr/local/Cellar/apache-spark/1.6.0/README.md")
lines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[...] ...

scala> lines.count()
res0: Long = 95

scala> lines.first()
res1: String = # Apache Spark

http://localhost:4040/jobs/ で, Spark UI にもアクセスできた.