проверить, является ли значение строки нулевым в искровом кадре данных

Я использую пользовательскую функцию в pyspark, чтобы проверить условие для каждой строки в кадре данных искры и добавить столбцы, если условие истинно.

Код выглядит следующим образом:

from pyspark.sql.types import *
from pyspark.sql.functions import *
from pyspark.sql import Row

def customFunction(row):
    if (row.prod.isNull()):
        prod_1 = "new prod"
        return (row + Row(prod_1))
    else:
        prod_1 = row.prod
        return (row + Row(prod_1))

sdf = sdf_temp.map(customFunction)
sdf.show()

Я получаю упоминание об ошибке ниже:

AttributeError: объект 'unicode' не имеет атрибута 'isNull'

Как я могу проверить нулевые значения для определенных столбцов в текущей строке в моей пользовательской функции?


person sam    schedule 19.08.2016    source источник
comment
Не могли бы вы show свой Dataframe или хотя бы распечатать его схему?   -  person Alberto Bonsanto    schedule 19.08.2016
comment
Схема Dataframe: root |-- id: строка (nullable = true) |-- code: string (nullable = true) |-- prod_code: string (nullable = true) |-- prod: string (nullable = true)   -  person sam    schedule 06.09.2016


Ответы (1)


Учитывая, что sdf является DataFrame, вы можете использовать оператор select.

sdf.select("*", when(col("pro").isNull(), lit("new pro")).otherwise(col("pro")))
person Alberto Bonsanto    schedule 06.09.2016
comment
Но мне нужно выполнить несколько операций с разными столбцами фрейма данных, поэтому я хотел использовать пользовательскую функцию. Почему я могу проверять наличие нулей в пользовательской функции? - person sam; 07.09.2016
comment
Вам нужно изменить вопрос и добавить свои требования. - person Alberto Bonsanto; 07.09.2016