Я использую пользовательскую функцию в pyspark, чтобы проверить условие для каждой строки в кадре данных искры и добавить столбцы, если условие истинно.
Код выглядит следующим образом:
from pyspark.sql.types import *
from pyspark.sql.functions import *
from pyspark.sql import Row
def customFunction(row):
if (row.prod.isNull()):
prod_1 = "new prod"
return (row + Row(prod_1))
else:
prod_1 = row.prod
return (row + Row(prod_1))
sdf = sdf_temp.map(customFunction)
sdf.show()
Я получаю упоминание об ошибке ниже:
AttributeError: объект 'unicode' не имеет атрибута 'isNull'
Как я могу проверить нулевые значения для определенных столбцов в текущей строке в моей пользовательской функции?
show
свойDataframe
или хотя бы распечатать его схему? - person Alberto Bonsanto   schedule 19.08.2016