Стратегия секционирования облачного хранилища данных Google

Попытка использовать Google Cloud Datastore для хранения потоковых данных с устройств IoT. В настоящее время мы получаем данные с 10 000 устройств со скоростью 2 строки (объекта) в минуту на каждое устройство. Объекты данных никогда не будут обновляться, а очищаться через регулярные промежутки времени. Бэкенд-код написан на PHP.

  1. Нужно ли мне разделять мои данные, чтобы повысить производительность, как я это делаю в настоящее время в таблице MySQL. В настоящее время используются разделы таблицы на основе ключа.

  2. Если да, следует ли использовать пространства имен в качестве одного ПРОСТРАНСТВА ИМЕН для одного устройства ИЛИ мне следует создать один вид для одного устройства, например "device_data_1", "device_data_2"

Спасибо


google-cloud-datastore google-app-engine
person Amit    schedule 14.08.2017    source источник
comment
Это много данных, я предлагаю вам сначала провести моделирование затрат. Хранилище данных дорого для хранения множества мелких вещей (лучше упаковать их в более крупные объекты), поскольку плата взимается за запись и не зависит от размера объекта.   -  person marcadian    schedule 16.08.2017

Ответы (1)


arrow_upward
1
arrow_downward

Нет, секционирование не требуется, на производительность хранилища данных не влияет количество записываемых или читаемых объектов (если они не находятся в одной группе объектов, общая скорость записи которых составляет 1/с).

См. также эти как-то связанные ответы: У Google система с выделенной емкостью, такая как DynamoDB?

person Dan Cornilescu    schedule 14.08.2017