Schema-on-read и schema-on-write — это два различных подхода к управлению структурой данных (схемой) при работе с хранилищами данных. Они определяют, в какой момент и где применяется логическая схема (то есть описание структуры данных: поля, типы, ограничения и т.д.) — при записи или при чтении. Эти концепции критически важны в контексте построения хранилищ данных, систем аналитики, Big Data и Data Lake архитектуры.

Schema-on-write

Определение:
При использовании schema-on-write (схема при записи), данные проверяются, валидируются и структурируются согласно заранее определённой схеме до того, как они сохраняются в хранилище. Это классический подход, который используется в реляционных базах данных (SQL), хранилищах типа Data Warehouse (например, Amazon Redshift, Google BigQuery, Microsoft SQL Server и т.д.).

Особенности:

• Схема обязательна перед загрузкой данных

• Сильная типизация и жёсткие ограничения

• Валидация данных на этапе записи

• Отказ от записи, если данные не соответствуют схеме

Плюсы:

• Гарантированное качество и консистентность данных

• Высокая производительность при чтении — данные уже структурированы

• Подходит для BI, отчётности и транзакционных операций

Минусы:

• Требует предварительного моделирования данных

• Менее гибкий — любые изменения схемы требуют миграций

• Сложнее в условиях быстро изменяющихся источников данных

Примеры:

• Реляционные СУБД (PostgreSQL, MySQL, Oracle)

• Data Warehouses (Snowflake, Teradata)

• Таблицы с фиксированной структурой

Schema-on-read

Определение:
При использовании schema-on-read (схема при чтении), данные записываются в хранилище без предварительного преобразования или валидации по схеме. Схема применяется только во время чтения, то есть структура "накладывается" на данные в момент обработки или анализа.

Этот подход особенно популярен в системах Big Data, Data Lake и при работе с полуструктурированными или неструктурированными данными (логами, IoT-данными, JSON-файлами и т.д.).

Особенности:

• Данные сохраняются как есть (raw format)

• Схема задаётся динамически на этапе обработки

• Гибкость и возможность работы с разнотипными данными

• Поддержка форматов без жёсткой структуры (JSON, Parquet, Avro, CSV)

Плюсы:

• Позволяет быстро собирать и хранить любые данные, даже без понимания структуры

• Очень гибкий подход при работе с разнообразными источниками

• Идеален для Data Lake, exploratory analysis, machine learning

Минусы:

• Сложнее обеспечить качество данных

• Низкая производительность при чтении — каждый раз нужно интерпретировать структуру

• Возможны ошибки при интерпретации схемы, особенно если данные разнотипные

Примеры:

• Apache Hive с таблицами на основе файлов в HDFS

• Amazon S3 + AWS Athena (SQL-запросы по JSON/Parquet)

• Apache Drill, Presto, Google BigQuery при работе с внешними таблицами

• HBase, MongoDB (в гибридном виде)

Сравнение schema-on-write и schema-on-read

Характеристика	Schema-on-write	Schema-on-read
Применение схемы	При записи	При чтении
---	---	---
Гибкость	Низкая — требует чёткой схемы заранее	Высокая — можно читать произвольные данные
---	---	---
Скорость записи	Ниже — из-за проверки схемы	Очень высокая — данные пишутся как есть
---	---	---
Скорость чтения	Высокая — данные уже структурированы	Ниже — из-за необходимости интерпретации
---	---	---
Качество данных	Высокое (валидация при записи)	Может варьироваться (требуется доп. контроль)
---	---	---
Подходит для	BI, отчётов, транзакций, ERP	Data Lake, IoT, логов, аналитики
---	---	---
Типы хранилищ	Реляционные БД, DWH	Data Lake, NoSQL, Hadoop, Object Storage
---	---	---

Типичные сценарии использования

Schema-on-write

• Финансовые и банковские системы

• Корпоративные ERP и CRM

• Транзакционные базы данных

• Статистические и управленческие отчёты

• DWH (Data Warehouse) архитектура

Schema-on-read

• Data Lake (S3, ADLS, HDFS) с сырыми логами

• Аналитика IoT-устройств

• Машинное обучение (raw features)

• Сбор логов, clickstream, telemetry

• Этапы Data Exploration

Примеры в реальных технологиях

Hive / Presto:

Когда в Hive читается таблица на основе файла JSON или Parquet, схема может быть описана в момент запроса — это schema-on-read.

AWS Athena:

Позволяет выполнять SQL-запросы к файлам на S3 без загрузки их в БД. Таблицы описываются поверх сырых данных (schema-on-read).

Google BigQuery:

Может работать как в режиме schema-on-write (при загрузке данных в таблицы), так и в schema-on-read (через External Tables, где структура описывается отдельно от хранения).

Apache Spark:

Поддерживает оба режима. Для DataFrame можно задать схему или дать Spark самому определить её при чтении.

Подход к выбору

• **Если у вас строгие требования к целостности и качеству данных, бизнес-отчётность или транзакционная природа — лучше использовать schema-on-write.
  **
• **Если вам важна гибкость, быстрая загрузка данных или разнообразие источников — подойдет schema-on-read.
  **
• В гибридной архитектуре можно использовать оба подхода: schema-on-read на уровне сырого Data Lake и schema-on-write при загрузке данных в Data Warehouse.

Эти концепции не конкурируют между собой, а часто работают в тандеме в современных аналитических архитектурах (Data Lakehouse, Lambda и Kappa архитектуры).