Главная/Data Engineering

DATA
ENGINEERING

Инженерия данных — проектирование и построение систем для сбора, хранения и обработки данных в масштабе. От ETL-пайплайнов до распределенных систем.

СТЕК ТЕХНОЛОГИЙ DE

Ingestion

Сбор и потоковая обработка данных

KafkaFlinkAirbyteDebezium

Storage

Хранение структурированных и неструктурированных данных

S3SnowflakeBigQueryDelta Lake

Processing

Трансформация и обработка данных

SparkdbtPandasRay

Orchestration

Управление пайплайнами и зависимостями

AirflowPrefectDagsterLuigi

Monitoring

Наблюдаемость и качество данных

GrafanaPrometheusMetaplaneDatafold

ОСНОВЫ DATA ENGINEERING

Data Engineering Cookbook

Практическое руководство по DE

Fundamentals of Data Engineering

Книга от O'Reilly

Data Engineering Wiki

Сообщество инженеров данных

Data Engineering Roadmap

Карта развития инженера данных

ETL И ПАЙПЛАЙНЫ

Apache Airflow Docs

Оркестрация workflows

dbt Documentation

Трансформация данных

Prefect Guides

Modern workflow system

Dagster Docs

Data orchestrator

ХРАНЕНИЕ ДАННЫХ

Data Warehouse Guide

Snowflake & BigQuery

Apache Kafka Docs

Стриминг данных

Data Lake Patterns

AWS/GCP/Azure подходы

Delta Lake

Open-source storage layer

ИНФРАСТРУКТУРА

Terraform Best Practices

Infrastructure as Code

Kubernetes for Data

Оркестрация контейнеров

DataOps Toolkit

Инструменты для DataOps

Great Expectations

Data validation

Облачные платформы

AWS DataAzure DataGCP DataDatabricksSnowflakeConfluentMongoDB AtlasFirebase

Принципы DE

  • Idempotency (идемпотентность)
  • Fault tolerance (отказоустойчивость)
  • Scalability (масштабируемость)
  • Reproducibility (воспроизводимость)
  • Maintainability (поддерживаемость)
  • Data Quality (качество данных)
  • Security (безопасность)
  • Cost Efficiency (эффективность затрат)

Курсы