Я хочу запустить приложение graphx в кластере, который включает машины с разным объемом оперативной памяти. На данный момент я попытался использовать автономный кластер spark. Но, похоже, я не могу настроить свойство spark.executor.memory для каждой машины. Я прав?
Требуются ли для автономного кластера Spark однородные машины?
Ответы (1)
Для меня, если вы установите параметр spark.executor.memory вручную, ваши задачи будут запускаться на воркерах, у которых есть как минимум тот объем оперативной памяти, который вы указали вручную.
Поэтому, используя эту опцию, вам нужно иметь единый кластер.
По умолчанию каждый рабочий использует всю оперативную память, доступную на его машине (минус 1 ГБ для ОС), и вы можете ограничить только объем оперативной памяти, которую хотите использовать. Я не знаю, то ли это то, что вы ищете с термином "настроить".
http://spark.apache.org/docs/latest/spark-standalone.html (поиск в SPARK_WORKER_MEMORY)
person
ahars
schedule
17.11.2014
