Я использую службу шлюза NFS для загрузки некоторых данных в HDFS (CDH 5.4.5).
Казалось, все в порядке, пока я не получил сообщение с предупреждением о том, что в каталоге журналов очень мало свободного места. Я быстро просмотрел большие файлы журналов:
sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
... и заметил файл размером 34 ГБ с именем /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out. Быстрый взгляд внутрь показал, что это почти полностью состоит из этого предупреждения:
2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]
Увидев это, я добавил пользователя some_user в группу hdfs, т.е. usermod -a -G hdfs some_user на узле, на котором запущен шлюз NFS, а затем перезапустил службу шлюза NFS. К сожалению, сообщение «Нет доступных групп для пользователя ...» по-прежнему регистрируется с огромной скоростью.
Вы видите, что я делаю не так? Нужно ли настраивать учетную запись some_user на каждом узле, а не только на шлюзе NFS? Нужно ли мне делать что-то большее, чем просто перезапускать службу, чтобы изменения вступили в силу?
