Российская платформа для развития бизнеса на цифровых маркетплейсах типа Ozon.
500K+ бизнесов получают аналитику для цифровых маркетплейсов на этой платформе: следят за продажами, находят новые ниши, исследуют конкурентов. Бесперебойная работа с данными критична для выживания и успеха платформы.
Хранение и обработку данных платформы реализует DWH на базе Clickhouse и кластера PostgreSQL в публичном облаке. Популярность платформы растёт, вместе с ней растёт и нагрузка на DWH. К концу 2022 года это стало приводить к сбоям, возникли финансовые и репутационные риски.
Первые проблемы ещё не казались серьёзными. Для устранения отдельных сложностей с Clickhouse пригласили Fevlake. Однако дата-архитекторы Fevlake выявили глобальные проблемы работы с данными, которые в будущем могли парализовать рост бизнеса. Проблемы с Clickhouse были первым звонком. Требовалось срочно понять, как реорганизовать работу с данными, чтобы исключить сбои в растущей инфраструктуре.
Мы провели аудит конфигураций DWH, структур данных, типичных запросов и обнаружили ряд проблем:
→ Неоптимальная схема и логика хранения данных, избыточная логика работы с данными.
→ Некорректные запросы в СУБД.
→ Неоптимальное использование дискового пространства, приводящее к существенному повышению расходов.
→ Низкая скорость взаимодействия приложений с СУБД PostgreSQL.
→ Низкая скорость формирования аналитики для клиентов платформы в большинстве сценариев взаимодействия с DWH.
→ Повышенная аварийность решений для хранения данных: Clickhouse и PostgreSQL.
С фокусом на этих узких местах мы выработали более стабильную архитектуру хранения данных и конфигурации кластеров Clickhouse и PostgreSQL. Мы внедрили новые конфигурации и мигрировали данные в обновлённые кластера в плановом режиме, с минимальным влиянием на работу бизнеса.
Устранив непосредственные риски сбоев, мы дополнительно оптимизировали утилизацию ресурсов. Для снижения нагрузки на кластеры СУБД и расходов мы задействовали холодное хранилище на базе S3.
За период с января по ноябрь 2023 года мы:
123
123
