Искра Apache в кэшировании памяти

Spark кэширует рабочий набор данных в памяти, а затем выполняет вычисления со скоростью памяти. Есть ли способ контролировать, как долго рабочий набор находится в оперативной памяти?

У меня есть огромное количество данных, доступ к которым осуществляется через работу. Для первоначальной загрузки задания в ОЗУ требуется время, а когда поступает следующее задание, ему приходится снова загружать все данные в ОЗУ, что занимает много времени. Есть ли способ кэшировать данные навсегда (или на определенное время) в ОЗУ с помощью Spark?


java caching apache-spark
person Atom    schedule 11.11.2014    source источник

Ответы (2)


arrow_upward
9
arrow_downward

Чтобы явно раскэшировать, вы можете использовать RDD.unpersist()< /а>

Если вы хотите совместно использовать кэшированные RDD для нескольких заданий, вы можете попробовать следующее:

  1. Кэшируйте RDD, используя тот же контекст, и повторно используйте этот контекст для других заданий. Таким образом, вы кэшируете только один раз и используете его много раз.
  2. Существуют «искровые серверы заданий», которые существуют для выполнения вышеупомянутых функций. Проверьте сервер заданий Spark с открытым исходным кодом Ooyala.
  3. Используйте внешнее решение для кэширования, например Tachyon.

Я экспериментировал с параметрами кэширования в Spark. Вы можете прочитать больше здесь: http://sujee.net/understanding-spark-caching/

person Sujee Maniyam    schedule 07.02.2015

arrow_upward
0
arrow_downward

Вы можете указать параметр кэширования для RDD. RDD.cache(MEMORY_ONLY)

Spark автоматически очищается, если этот RDD не требуется для других действий.

Нет возможности кэшировать RDD на указанное время.

Пожалуйста, проверьте ссылку ниже

http://spark.apache.org/docs/latest/programming-guide.html#what-storage-level-to-choose

person Vijay Innamuri    schedule 11.11.2014
comment
Можно ли это обработать через java, приостановив выполнение демона, который загружает RDD в кеш? - person Atom; 11.11.2014
comment
Я не уверен в ручной приостановке демонов. Вы хотите повторно использовать наборы данных между последовательными заданиями? - person Vijay Innamuri; 12.11.2014
comment
@samthebest, не могли бы вы помочь мне понять, есть ли возможный способ кэшировать RDD на определенное время в памяти вместо того, чтобы очищать его из кеша и загружать каждый раз при запуске нового задания? - person Atom; 12.11.2014