Я использую пользовательскую функцию в pyspark, чтобы проверить условие для каждой строки в кадре данных искры и добавить столбцы, если условие истинно. Код выглядит следующим образом: from pyspark.sql.types import * from pyspark.sql.functions...

У меня есть следующие разделенные паркетные данные на hdfs, написанные с помощью искры: year |---Month |----monthlydata.parquet |----Day |---dailydata.parquet Теперь, когда я читаю df from year path, искра читает...