Я использую пользовательскую функцию в pyspark, чтобы проверить условие для каждой строки в кадре данных искры и добавить столбцы, если условие истинно. Код выглядит следующим образом: from pyspark.sql.types import * from pyspark.sql.functions...