Проверка загруженных данных

В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним числом». Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснять наличие такого расхождения и его период, а затем запускать перезагрузку данных. По этой причине мы разработали новый функционал, который способен справиться с этой задачей без вашего постоянного участия.

Принцип работы

В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.

Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API.

Настройка

Для настройки проверки ваших данных необходимо в разделе «Планировщик заданий» создать новое задание с соответствующим типом:

В следующем окне вам нужно указать ряд параметров:

• Название обработчика;
• Интервал проверки - количество дней, за которые будет происходить сверка данных. На данный момент вы можете выбрать 7, 14 или 21 день;
• Допустимое отклонение. Это значение в интервале от 0 до 1 000 000, выше которого отклонение в данных будет считаться критичным;
• Тип источника;
• Аккаунт, данные которого будут проверяться.

Особое внимание необходимо обратить на опцию «Перезагружать данные», которая позволяет запустить перезагрузку базовой выгрузки в случае, если отклонение за день превышает допустимое:

После того, как вы нажмете на кнопку «Продолжить», в таблице раздела появится новое задание, которое будет запускаться каждую ночь после базовых загрузок и сверять данные.

Более детальные сведения по отклонениям можно посмотреть в настройках задания:

Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. В данной таблице вы увидите, какие показатели участвуют в анализе. Для нашего примера это:

• клики;
• показы;
• расходы.

Кроме числовых значений, существует также более наглядный вариант отображения в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:

На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае, если мы включим опцию перезагрузки данных в данном задании, то данные за этот день будут автоматически перезагружены:

и диаграмма изменит свой вид:

На диаграмме видно, что «всплески» отклонения за 2-е мая были устранены.

Стоит отметить, что использование данного функционала позволяет получать более точные сведения, но ведет к увеличению объема обрабатываемых данных, а это может сказаться на стоимости использования сервиса.