Spark Streaming не содержит KafkaUtils

Я создал проект, в котором хочу использовать поток кафки. По этой причине мне нужно использовать KafkaUtils из потоковой передачи искры. Но когда я пытаюсь использовать KafkaUtils, они не могут быть разрешены.

Я добавил spark-streaming_2.11-2.0.1.jar и попытался импортировать org.apache.spark.streaming.kafka.*;. Но и это не может быть решено.

Может кто-нибудь сказать мне, что мне не хватает?

С уважением


java apache-kafka apache-spark
person tietze111    schedule 12.10.2016    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Перед использованием KafkaUtils необходимо добавить spark-streaming-kafka_2.11-2.0.1.jar.

person Anupam Jain    schedule 12.10.2016

arrow_upward
1
arrow_downward

Вам нужно использовать import org.apache.spark.streaming.kafka._ вместо import org.apache.spark.streaming.kafka.* в Scala.

person Tanvi Garg    schedule 12.10.2016

arrow_upward
0
arrow_downward

Проблема заключалась в том, что я использовал

искра-поток_2.11-2.0.1.jar

но мне нужно было

искра-поток-kafka_2.10-1.6.2.jar

Неважно.

person tietze111    schedule 12.10.2016