Настройка газированной воды на чистой машине Ubuntu

Я пытался настроить Hadoop/Spark/Sparkling Water на чистой машине с Ubuntu 14.04 в частном облаке на Amazon. Все делаю под рутом. Я успешно получаю java-6, scala 2.10.5, затем wget и распаковываю hadoop 2.6, spark 1.2.1 и газированную воду 0.2.1-47.

Я экспортировал HADOOP_HOME и SPARK_HOME в правильные каталоги и запустил bin/sparkling-shell:

import org.apache.spark.h2o._
import org.apache.spark.examples.h2o._
val h2oContext = new H2OContext(sc).start()

Затем следует огромное количество выходных данных запуска задачи X / завершения задачи X, за которыми следует

java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors:
  numH2OWorkers = -1"
  executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false)
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112)
(...)

Может ли кто-нибудь указать, что я могу делать неправильно и/или пропустить? Если нужно/полезно, я могу опубликовать свой точный сценарий установки.


apache-spark hadoop h2o
person tresbot    schedule 16.05.2015    source источник
comment
Вы сталкивались с этой ошибкой? - stackoverflow.com /вопросы/31236639/   -  person PRP    schedule 06.07.2015

Ответы (1)


arrow_upward
0
arrow_downward

Я решил это, создав проект, а не загрузив zip. Настройка, которая в настоящее время работает для меня (я не утверждаю, что она единственная, которая работает): openjdk7, hadoop 2.6, spark 1.2.0. Примечание. HADOOP_HOME и SPARK_HOME должны быть экспортированными переменными оболочки, а частный IP-адрес машины должен быть добавлен в таблицу /etc/hosts, что можно сделать с помощью:

echo $(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | cut -d' ' -f1) $(hostname) localhost >> /etc/hosts

Затем git клонируйте проект газированной воды и ./gradlew build в каталоге проекта.

person tresbot    schedule 19.05.2015