))
Полуночный трёп №12: Data Mesh - почему, что и как.
Manage episode 331572825 series 3361795
İçerik Денис, Ігор, Саша tarafından sağlanmıştır. Bölümler, grafikler ve podcast açıklamaları dahil tüm podcast içeriği doğrudan Денис, Ігор, Саша veya podcast platform ortağı tarafından yüklenir ve sağlanır. Birinin telif hakkıyla korunan çalışmanızı izniniz olmadan kullandığını düşünüyorsanız burada https://tr.player.fm/legal özetlenen süreci takip edebilirsiniz.
Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50
Тайминги
- 0:00:00-0:01:35 Intro. Почему именно эта тема
- 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство)
- 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
- 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
- 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
- 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
- 1:00:01 - 1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
- 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
- 1:13:26 - 1:32:50 Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
- 1:32:50 - 1:33:55 Outro
Ссылки
Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8
Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2
Инструменты не влазят в лимиты описание, поэтому они вот.
Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter
Музыка подкаста: Harris Heller - StreamBeats
43 bölüm
Paylaş
