В последнее время некоторые сервисы стали все чаще использовать перерасчет данных у своих пользователей «задним числом». Кроме этого, они могут проводить мероприятия по коррекции данных из-за сбоев различного рода. Усложняется это все тем, что нет информации ни об интервалах, ни о самом алгоритме перерасчета. В связи с этим, вы могли наблюдать расхождения в значениях некоторых показателей, хранящихся в базе данных нашего сервиса и в значениях, отображаемых в интерфейсе источника. Чтобы решить эту проблему, необходимо было самостоятельно выяснять наличие такого расхождения и его период, а затем запускать перезагрузку данных. По этой причине мы разработали новый функционал, который способен справиться с этой задачей без вашего постоянного участия.
Принцип работы
В основе работы данного функционала лежит коэффициент отклонения, который отражает «качество» соответствия данных. Он вычисляется путем сравнения набора данных, который мы получаем из сервиса-источника без дополнительных обработок с набором, который ранее уже был загружен в базу данных. Сумма абсолютных значений данного коэффициента используется для определения необходимости запуска перезагрузки данных в хранилище.
Подобный подход удается использовать только для тех сервисов, которые имеют необходимые методы API. На данный момент у нас предусмотрена поддержка следующих сервисов:
Настройка
Для настройки проверки ваших данных необходимо в разделе «Планировщик заданий» создать новое задание с соответствующим типом:
В следующем окне вам нужно указать ряд параметров:
- Название обработчика;
- Интервал проверки - количество дней, за которые будет происходить сверка данных. На данный момент вы можете выбрать 7, 14 или 21 день;
- Допустимое отклонение. Это значение в интервале от 0 до 1 000 000, выше которого отклонение в данных будет считаться критичным;
- Тип источника;
- Аккаунт, данные которого будут проверяться.
Особое внимание необходимо обратить на опцию «Перезагружать данные», которая позволяет запустить перезагрузку базовой выгрузки в случае, если отклонение за день превышает допустимое:
После того, как вы нажмете на кнопку «Продолжить», в таблице раздела появится новое задание, которое будет запускаться каждую ночь после базовых загрузок и сверять данные.
Более детальные сведения по отклонениям можно посмотреть в настройках задания:
Для различных сервисов у нас используются разные наборы параметров и показателей для сравнения, что позволяет получать более детальные сведения по отклонениям. В данной таблице вы увидите, какие показатели участвуют в анализе. Для нашего примера это:
- клики;
- показы;
- расходы.
Кроме числовых значений, существует также более наглядный вариант отображения в виде диаграммы, на которой показаны общее отклонение за день и уровень допустимого отклонения:
На приведенной выше диаграмме видно, что есть один день, в котором уровень отклонения превышает допустимый. В этом случае, если мы включим опцию перезагрузки данных в данном задании, то данные за этот день будут автоматически перезагружены:
и диаграмма изменит свой вид:
На диаграмме видно, что «всплески» отклонения за 2-е мая были устранены.
Стоит отметить, что использование данного функционала позволяет получать более точные сведения, но ведет к увеличению объема обрабатываемых данных, а это может сказаться на стоимости использования сервиса.
Комментарии
0 комментариев
Войдите в службу, чтобы оставить комментарий.