Миграция базы данных: изменения схемы и деплой без простоев

Что такое миграция базы данных?

Миграция базы данных — это контролируемый процесс, используемый для изменения схемы базы данных (структуры таблиц, индексы, ограничения).

Изменения схемы: добавление новой таблицы, добавление/изменение/удаление столбца, добавление индекса, добавление foreign key, изменение типа данных.

Риски: потеря данных, простои, снижение производительности, обратная несовместимость.

Цель: безопасно, повторяемо и с возможностью отката применять изменения схемы.

Инструменты миграции

Flyway: SQL-основанный инструмент миграции. Версионированные файлы миграции (V1__create_users.sql). Поддержка Java, Node.js, CLI.

Liquibase: changelog в формате XML/YAML/JSON/SQL. Поддержка отката, генерация diff, сравнение баз данных.

Prisma Migrate: интегрирован с Prisma ORM. Автоматически генерирует миграцию из schema.prisma.

Knex.js: инструмент миграции Node.js. Файлы миграции на JavaScript. Функции up и down.

Django/ActiveRecord: встроенные в фреймворк инструменты миграции. Автоматически создаёт миграцию из изменений модели.

Стратегии миграции без простоев

Expand and Contract (Parallel Change): 1) добавить новый столбец/таблицу (expand), 2) обновить код (поддерживать и новый, и старый столбец), 3) удалить старый столбец (contract).

Обратно совместимые изменения: добавление нового столбца (nullable), добавление новой таблицы, добавление нового индекса. Эти изменения не требуют простоев.

Breaking changes: удаление столбца, изменение типа столбца, переименование. Эти изменения следует выполнять с помощью паттерна expand-contract.

Feature flags: поместите новую схему за feature flag. Снизьте риск с помощью постепенного rollout.

Blue-green deployment: тестируйте новую схему в параллельном окружении. Переключайте трафик. Возвращайтесь к старому окружению при проблеме.

Миграция данных

Backfill: сделайте существующие данные совместимыми с новой схемой. Обрабатывайте большие наборы данных с помощью batch processing.

Dual write: пишите и в старую, и в новую схему. Поддерживайте согласованность данных в период перехода.

Валидация данных: проверяйте целостность данных после миграции. Количество строк, checksum, сравнение образцов.

Производительность: миграция на больших таблицах создаёт нагрузку lock и I/O. Выполняйте в часы низкой нагрузки. Используйте chunked processing.

План отката

Down migration: пишите соответствующую down migration (rollback) для каждой up migration. Flyway, Liquibase поддерживают rollback.

Backup: делайте полный backup перед миграцией. Имейте возможность point-in-time recovery (PITR).

Тестирование: тестируйте миграцию в staging-окружении. Используйте тот же объём данных и схему, что и в production.

Мониторинг: отслеживайте производительность запросов и частоту ошибок после миграции. Откатывайтесь при аномальном отклонении.

Коммуникация: делитесь планом миграции с командой. Определяйте maintenance window.

Лучшие практики

Контроль версий: отслеживайте файлы миграции с помощью Git. Каждая миграция должна быть атомарной (одно изменение).

Идемпотентность: многократный запуск миграции должен давать одинаковый результат. Используйте IF NOT EXISTS, IF EXISTS.

Маленькие миграции: разбивайте большие изменения на маленькие миграции. Каждая миграция должна быть независимо развёртываемой.

Code review: прогоняйте файлы миграции через code review. Изменения схемы критичны и трудно откатываются.

Документация: документируйте цель и влияние каждой миграции. Чётко указывайте breaking changes.