Проверка загруженных данных

В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним числом». Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснять наличие такого расхождения и его период, а затем запускать перезагрузку данных. По этой причине в сервисе разработан функционал, который способен справиться с этой задачей без вашего постоянного участия.

Принцип работы

В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.

Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API.

Задание запускается каждую ночь после базовых загрузок и сверяет данные. Период сверки данных зависит от тарифного плана. Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. Для нашего примера это:

• клики;
• показы;
• расходы.

Результаты проверки загруженных данных вы можете найти в журнале событий (колонка "Действия" -> Журнал событий -> Сверка) в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:

На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае данные за день будут автоматически перезагружены:

и диаграмма изменит свой вид:

На диаграмме видно, что «всплески» отклонения за 2-е мая были устранены.

Диаграмма сверки доступна только для источника в состоянии "ON"