TLDR В этой статье рассматривается жизненный цикл продукта данных, описываются этапы от концепции до вывода из эксплуатации, а также подчеркивается важность учета таких факторов, как размер компании, отрасль и уровень зрелости. Он охватывает выбор метода обработки и роль технологических затрат, скорости и обслуживания, а также тематические исследования с участием Uber на разных этапах. Статья завершается обсуждением ограничений, требующих внимания в четвертом поколении жизненного цикла..

По сценарию Илвы Лундегард и Дхианы Девы В настоящее время во всем мире существуют сотни миллионов компаний, и ежедневно создаются тысячи новых компаний. Отследить и проанализировать их все чрезвычайно сложно, но у EQT есть секретное оружие — Motherbrain. Давайте взглянем на архитектуру данных платформы Motherbrain, которая использует большие данные и машинное обучение для поддержки различных приложений и сценариев использования в инвестиционной отрасли. Конвейер данных..

Введение Традиционный архитектурный подход к аналитической обработке основан на жестком подходе схемы при записи, который требует значительного предварительного планирования, прежде чем данные можно будет проанализировать. Отсутствие абстракции данных является узким местом для структур аналитической обработки, позволяющих сосредоточиться на том, что важно (аналитика), а не на том, как структурирована или сжата основная информация. Серьезной проблемой любой аналитической платформы..

Простой фреймворк с 13 критериями… 💥💥💥 Инжиниринг данных обширен и быстро развивается. Выбор инструментов из множества вариантов может сбить с толку. Инженерам данных не обязательно быть экспертами во всех доступных инструментах и ​​базах данных, они должны знать, как выбрать правильную технологию для конкретной задачи, и предвидеть потребности ученых и аналитиков данных. Поэтому эта статья предназначена для помощи в выборе правильного инструмента для хорошей архитектуры..

Как выбрать следующий инструмент с открытым исходным кодом. 5 вещей, которые следует учитывать. С появлением современного стека данных изображения, подобные этому (ниже), стали обычным явлением. Я бы порекомендовал просмотреть исходное изображение в высоком разрешении и статью (ссылка в подписи). Очевидно, что это перегруженное пространство. Проблема профессионала в этой области состоит в том, чтобы знать, на чем сосредоточить свое внимание. Когда каждый инструмент требует..

Вихревой проект с большим влиянием Два года назад я начал работать разработчиком в стартапах. Стало очевидно, что самый важный навык, которым должен обладать разработчик, - это способность быстро осваивать новые технологии. Мой подход к изучению новой технологии очень похож независимо от технологии. Я начинаю с прочтения страницы «Информация», пытаясь определить проблему, которую пытается решить технология. Затем я просматриваю варианты использования и просматриваю краткое руководство...