Не удается создать кадры данных Spark Phoenix.

Я пытаюсь загрузить данные из Apache Phoenix в Spark DataFrame.

Мне удалось успешно создать RDD со следующим кодом:

val sc = new SparkContext("local", "phoenix-test")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val foo: RDD[Map[String, AnyRef]] = sc.phoenixTableAsRDD(
    table   = "FOO", 
    columns = Seq("ID", "MESSAGE_EPOCH", "MESSAGE_VALUE"), 
    zkUrl   = Some("<zk-ip-address>:2181:/hbase-unsecure"))

foo.collect().foreach(x => println(x))

Однако мне не повезло, пытаясь создать DataFrame. Моя текущая попытка:

val sc = new SparkContext("local", "phoenix-test")
val sqlContext = new SQLContext(sc)

val df = sqlContext.phoenixTableAsDataFrame(
    table   = "FOO", 
    columns = Seq("ID", "MESSAGE_EPOCH", "MESSAGE_VALUE"), 
    zkUrl   = Some("<zk-ip-address>:2181:/hbase-unsecure"))

df.select(df("ID")).show 

К сожалению, приведенный выше код приводит к исключению ClassCastException:

java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericMutableRow cannot be cast to org.apache.spark.sql.Row

Я все еще очень новичок в искрах. Если кто-то может помочь, это будет очень признательно!