ibm bluemix spark отправить

Я новичок в Блюмикс. Я создал службу Apache Spark и попытался отправить простую банку hello-world через spark submit. (Я использовал эту ссылку для перехода: https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

После отправки jar файл журнала говорит:

Результат задания отправки: { "action" : "CreateSubmissionResponse",
"message" : "Драйвер успешно отправлен как driver-20170602xxxxxxxxxxxx", "serverSparkVersion" : "2.0.2",
"submissionId" : "driver- 20170602xxxxxxxxxx", "успех": правда }

Идентификатор отправки: driver-20170602xxxxxxxxxx Задание отправлено: driver-driver-20170602xxxxxxxxxxxx Состояние задания опроса. Опрос №1. Получение статуса ==== Ошибка вывода статуса ======================================== ============ ОШИБКА: задание не выполнено. Файл журнала spark-submit: spark-submit_1496403637550663675.log Просмотр журнала stdout задания по адресу stdout_1496403637550663675 Просмотр журнала stderr задания по адресу stderr_1496403637550663675

В чем может быть проблема в этом случае?

Также я вижу, как люди говорят о ноутбуке и Юпитере для доступа/запуска искрового задания. Но я не вижу опцию ноутбука/Юпитера на своей панели инструментов.

Спасибо за ваш вклад

Скручивание на стандартном выходе, т.е. (https://spark.eu-gb.bluemix.net/tenant/data/workdir/driver-20170614074046xxxxxxxxx277e6a/stdout): «дополнительная конфигурация не определена»

Но я нашел следующее сообщение об ошибке на stderr:

log4j:ERROR Не удалось найти значение для ключа log4j.appender.FILE log4j:ERROR Не удалось создать экземпляр приложения с именем "ФАЙЛ". ОШИБКА deploy.ego.EGOClusterDriverWrapper: неперехваченное исключение: java.nio.file.NoSuchFileException: /gpfs/fs01/user/sd74-836f4292ca6442xxxxxxxx/data/e717e66fe44f5a1ea7eec81cbd/hellospark_2.11-1.0.jar at sun.nio.fs.UnixException. (UnixException.java:98) в sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:114) в sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:119) в sun.nio.fs.UnixCopyFile. копировать(UnixCopyFile.java:538) в sun.nio.fs.UnixFileSystemProvider.copy(UnixFileSystemProvider.java:265) в java.nio.file.Files.copy(Files.java:1285) в org.apache.spark.util .Utils$.org$apache$spark$util$Utils$$copyRecursive(Utils.scala:629) в org.apache.spark.util.Utils$.copyFile(Utils.scala:600) в org.apache.spark. util.Utils$.doFetchFile(Utils.scala:685) в org.apache.spark.util.Utils$.fetchFile(Utils.scala:484) в org.apache.spark.deploy.ego.EGOClusterDriverWra pper$$anonfun$startUserClass$2.apply(EGOClusterDriverWrapper.scala:411) в org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anonfun$startUserClass$2.apply(EGOClusterDriverWrapper.scala:404) в scala.collection.IndexedSeqOptimized$ class.foreach(IndexedSeqOptimized.scala:33) в scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186) в org.apache.spark.deploy.ego.EGOClusterDriverWrapper.startUserClass(EGOClusterDriverWrapper.scala:404) в org.apache.spark.deploy.ego.EGOClusterDriverWrapper.runDriver(EGOClusterDriverWrapper.scala:295) в org.apache.spark.deploy.ego.EGOClusterDriverWrapper.run(EGOClusterDriverWrapper.scala:218) в org.apache.spark.deploy .ego.EGOClusterDriverWrapper$$anonfun$receive$1$$anon$1.run(EGOClusterDriverWrapper.scala:144)


ibm-cloud apache-spark scala spark-submit
person user1271254    schedule 02.06.2017    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Похоже, вы вставили вывод из скрипта отправки искры, а не содержимое файлов журнала?

Вы можете получить доступ к файлам журнала с помощью:

curl \
   -X GET \
   -u <tenant_id>:<tenant_secret> \
   -H 'X-Spark-service-instance-id: <instance_id>' \
   https://169.54.219.20/tenant/data/workdir/<submission-id>/stdout

Я предлагаю открыть новый вопрос с сообщением об ошибке в файлах журнала, если вам нужна дополнительная помощь.

Что касается второй части вашего вопроса, блокноты для искры доступны через Data Science Experience. Вы можете подписаться на Data Science Experience здесь: https://datascience.ibm.com

person Chris Snow    schedule 02.06.2017
comment
Спасибо за ваш вклад. Я отредактировал вопрос, добавив sdterr of spark. Пожалуйста, посмотрите - person user1271254; 14.06.2017

arrow_upward
0
arrow_downward

Я тоже столкнулся с этой ошибкой, и проблема заключалась в том, что я не указал путь для банки в искровом сообщении. Поэтому, когда он загрузил банку, в журнале была такая ошибка:

Результат local2server: {"content_error":"Тело HTTP-запроса пусто."}

Добавление пути к jar в spark-submit помогло решить мою проблему, попробуйте что-то вроде этого:

./target/scala-2.10/hellospark_2.10-1.0.jar
person Supermar    schedule 01.02.2019