Spark sql (1.4): получить текущую метку времени

Я знаю, что в Spark 1.5 и выше есть функция current_timestamp, но мы все еще на 1.4. Как добавить столбец в DataFrame, для которого задана «текущая временная метка»?

df.withColumn("date_inserted", ????)

java apache-spark apache-spark-sql scala
person DilTeam    schedule 15.08.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Простой литерал временной метки должен помочь:

df.withColumn(
  "date_inserted",
  lit(java.sql.Timestamp.from(java.time.Instant.now)))
person zero323    schedule 15.08.2016
comment
Ух ты! Прохладно. Этот не дает часовой пояс, но это нормально. Теперь я могу играть с ним. Спасибо. - person DilTeam; 15.08.2016