В последние годы мы наблюдаем резкий рост объема данных и числа пользователей, что ведет к замедлению обработки запросов. Платформа данных обладает хорошей масштабируемостью для хранения и обработки данных, однако рост вычислительных мощностей процессоров не настолько стремительный. Это приводит к высоким издержкам при масштабировании, что требует поиска альтернативных решений для повышения производительности без чрезмерных затрат.

Анализ пользовательских запросов показал, что лишь небольшая часть тяжелых запросов или их фрагментов — «узкие места», которые тормозят всю систему. Поэтому оптимизация именно этих критичных участков может дать наибольший эффект в снижении общей нагрузки.

Перспективные методы оптимизации — приближенные вычисления и повторное использование ранее выполненных вычислений. Эти подходы помогают ускорять обработку данных, минимизировать вычислительные затраты и эффективно распределять ресурсы.

Приближенные вычисления давно и широко применяются в вычислительных системах и компьютерных архитектурах. Этот метод ускоряет обработку данных, используя приближенные расчеты, которые обеспечивают высокую скорость работы без значимых потерь точности. Классический пример таких вычислений — использование целых типов данных и чисел с плавающей запятой вместо более точных, но вычислительно дорогих форматов.

Приближенные вычисления используются в системах машинного обучения, базах данных и потоковой обработке данных, например Google BigQuery, Amazon Redshift, ClickHouse. Они позволяют значительно ускорить обработку данных и снизить нагрузку на вычислительные ресурсы. Эти методы позволяют ускорять статистические расчеты, эффективно обрабатывать большие объемы логов, мониторить ИТ-системы и решать другие задачи, требующие быстрого анализа данных.

Один из наиболее распространенных методов приближенных вычислений — семплирование, которое давно используется в статистике и аналитике данных. Оно позволяет оценивать характеристики больших выборок без необходимости обрабатывать все доступные данные.

Примеры использования семплирования

Семплирование включает несколько методов, позволяющих сократить объем обрабатываемых данных без значительных потерь в точности результатов.

Повторное использование вычислений активно используется в современных распределенных базах данных, например Amazon Redshift, Google BigQuery, ClickHouse. Эти системы применяют разные механизмы кэширования и материализации данных для снижения нагрузки на вычислительные мощности и ускорения обработки аналитических запросов.

Применение в распределенных базах данных:

• Amazon Redshift. Поддерживает автоматическое создание и обновление материализованных представлений, которые позволяют ускорять часто выполняемые аналитические запросы. Кроме того, Redshift использует Result Cache, который повторно применяет результаты ранее выполненных запросов, снижая нагрузку на систему.
• Google BigQuery. Применяет BI Engine, механизм оптимизированного кэширования, который позволяет повторно использовать промежуточные результаты вычислений, что значительно сокращает время отклика запросов.
• ClickHouse. Использует Materialized Views и AggregatingMergeTree, которые предварительно агрегируют данные и хранят их в готовом виде для быстрого повторного использования.

Эффективный метод ускорения обработки данных — предварительное вычисление агрегатов, объединений и семплированных наборов данных. Благодаря ему значительно сокращается время выполнения запросов. Это возможно из-за использования заранее подготовленных результатов, которое исключает необходимость их повторного вычисления при каждом запросе. Такой подход снижает нагрузку на вычислительные мощности и повышает общую эффективность работы системы.

Для повышения эффективности работы с данными мы разрабатываем рекомендательную систему, которая помогает дата-инженерам определять, какие витрины данных и семплы следует создавать для оптимизации запросов.

В рекомендациях система опирается на историю запросов, выявляя наиболее ресурсоемкие, учитывает структуру и состав базы данных и балансирует между ускорением выполнения запросов и затратами на хранение.

Некоторые витрины и семплы автоматически создаются и обновляются, что снижает нагрузку на дата-инженеров. Неактуальные данные удаляются своевременно, что способствует более эффективному использованию ресурсов.

Важная часть ускорения работы платформы — помощь пользователям в оптимизации их запросов. Это решение позволяет пользователям одним кликом переписывать их SQL-запросы так, чтобы они использовали заранее подготовленные витрины и семплы данных.Пользователь получает переписанный вариант запроса, он может проверить, внести изменения и запустить его.

В перспективе мы планируем автоматизировать процесс для определенных типов запросов. Система будет автоматически переписывать запросы при гарантии требуемой точности результатов.

Наш подход позволит пользователям получать более быстрые ответы на запросы без дополнительных действий, при этом система будет автоматически учитывать актуальность данных и оптимальные ресурсы для выполнения.

Приведу два примера.

Специалист для маркетингового анализа отслеживает поведение пользователей по миллионам событий в системе. Такой запрос занимает десятки минут, нагружая сервер. Рекомендательная система предлагает создать семплированные данные, которые обеспечивают точность с допустимой погрешностью. Переписывание запроса с использованием таких данных снижает нагрузку и ускоряет выполнение в разы.

Аналитик запускает запрос для формирования отчета о продажах за последний квартал. Без оптимизации запрос выполняется несколько минут, замедляя анализ данных. Рекомендательная система определяет, что запрос создает высокую нагрузку, и предлагает создать витрину с заранее рассчитанными агрегатами. Пользователь нажимает кнопку переписывания запроса, и система преобразует его так, что выполнение занимает всего несколько секунд, позволяя аналитику оперативно получить нужные данные.

Применение описанных методов ускорения обработки запросов позволяет:

• существенно ускорить выполнение сложных запросов;
• снизить нагрузку на систему в целом;
• сократить время ожидания результатов;
• автоматизировать процесс оптимизации SQL-запросов;
• балансировать между точностью и производительностью.

Подходы повысят производительность платформы данных при минимальных дополнительных затратах, способствуя оперативному принятию решений и повышению качества аналитики.