Есть ли более приятный способ префикса или переименования всех или нескольких столбцов одновременно данного SparkSQL DataFrame , чем вызов несколько раз dataFrame.withColumnRenamed() ? Например, если я хочу обнаружить изменения (используя полное...

У меня есть два сценария, в которых я 23 GB разделил parquet данные и читаю несколько columns & caching их заранее, чтобы впоследствии запустить серию последующих запросов. Настройка : Кластер: 12 узлов ЭМИ Версия Spark: 1.6...

Я знаю, что в Spark 1.5 и выше есть функция current_timestamp, но мы все еще на 1.4. Как добавить столбец в DataFrame, для которого задана «текущая временная метка»? df.withColumn("date_inserted", ????)

Я программно пытаюсь преобразовать типы данных столбцов и столкнулся с некоторыми проблемами кодирования. Для этого я изменил используемый код здесь . Данные >> любые числа читаются как строки. Код >> import org.apache.spark.sql...