Я использую службу шлюза NFS для загрузки некоторых данных в HDFS (CDH 5.4.5). Казалось, все в порядке, пока я не получил сообщение с предупреждением о том, что в каталоге журналов очень мало свободного места. Я быстро просмотрел большие файлы...

Когда искра записывала большой файл в HDFS с помощью saveAsTextFile, я получил ошибку: java.lang.IllegalArgumentException: Self-suppression not permitted at java.lang.Throwable.addSuppressed(Throwable.java:1043) Caused by: java.io.IOException: All...

Я использую следующий код Python для загрузки файла на удаленный HDFS из моей локальной системы с помощью pyhdfs from pyhdfs import HdfsClient client = HdfsClient(hosts='1.1.1.1',user_name='root') client.mkdirs('/jarvis')...

Каждый день я получаю zip-архив «2018-06-26.zip» размером ок. Сжатый 250 Мб, содержащий 165-170 000 небольших файлов XML (КБ). Я загружаю zip-архив в HDFS (избегая проблемы с небольшими файлами) и использую SPARK для их извлечения из zip (zip-архивы...