『初めてのSpark』を読み始めた
とりあえず, ローカルの開発環境構築から.
環境
- OS X El Capitan 10.11.3
作業内容
Mac だと, Homebrew でもインストールできた.
$ brew install apache-spark
spark-shell を動かしてみる.
$ spark-shell ... scala> val lines = sc.textFile("/usr/local/Cellar/apache-spark/1.6.0/README.md") lines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[...] ... scala> lines.count() res0: Long = 95 scala> lines.first() res1: String = # Apache Spark
http://localhost:4040/jobs/ で, Spark UI にもアクセスできた.