amoCRM - функционал выгрузки

Базовая выгрузка Использование вебхука Сверка загруженных данных Удаление устаревших данных Шаблон Power BI

amoCRM - это простая и удобная CRM, представляющая собой базу данных клиентов, компаний и сделок, в которой собрана вся информация по каждому клиенту, активным переговорам, текущим контрактам и будущим продажам.

API amoCRM – позволяет получать сведения по сделкам, контактам, компаниям и другие данные. В этой инструкции рассматриваем подключение к amoCRM и доступный функционал нашего сервиса по выгрузке данных.

Для того чтобы добавить новый источник данных необходимо в левом боковом меню сервиса myBI Connect выбрать пункт "Источники данных" и нажать на кнопку "Добавить новый+", после чего перейти в раздел "CRM-СИСТЕМЫ" и выбрать источник amoCRM нажав на кнопку "подключить":

В появившейся форме необходимо ввести название нового источника:

Поле название источника может быть любым и необходимо для того, чтобы вы могли однозначно идентифицировать этот источник среди других. После нажатия на кнопку "Продолжить" вы будете перенаправлены на страницу amoCRM, на которой необходимо подтвердить предоставление доступа к необходимому аккаунту:

Для это из списка аккаунтов выбираем нужный и нажимаем кнопку "Разрешить". После этого вы будете перенаправлены обратно в наш сервис для завершения создания источника:

На этой странице вы можете ввести названия полей в которые у вас сохраняются значение Client ID (идентификатор посетителя сайта из Google Analytics) или идентификатора заявки, если они у вас используются, (если не используются - можно оставить их пустыми) а также настроить выгрузку примечаний и списков, если они вам необходимы. 

После ввода всех данных необходимо завершить настройку источника нажав на кнопку "Продолжить".

Базовая выгрузка

После завершения подключения в таблице "Источники" появиться новый источник, с указанным названием. Далее можно запустить историческую загрузку данных выбрав в колонке "Действия" в строке добавленного источника пункт меню "Загрузить" и указав период для получения данных:

Обратите внимание, что период доступной исторической загрузки зависит от выбранного вами тарифа, а для триального периода составляет 1 месяц.

По завершению загрузки в базе данных появятся сведения по пользователям и событиям в специально спроектированном нами виде, наиболее удобном для дальнейшего анализа:

Более детально ознакомиться со структурой выгрузки вы можете здесь.

Если в каких-то из этих данных, вы не нуждаетесь - вы можете воспользоваться функционалом по выбору необходимых таблиц и выбрать только те, в которые будут загружаться данные в процессе базовой выгрузки:

что позволит вам как ограничить набор данных так и в какой-то мере сэкономить количество расходуемых на выгрузку строк.

Кроме возможности выбора таблиц, также в базовой выгрузке существует функционал фильтрации, позволяющий ограничивать данные загружаемые в те или иные таблицы. Вот пример использования фильтра: 

Который позволяет хранить в БД только необходимые для работы типы примечаний.

Использование вебхука

amoCRM также предоставляет возможность передачи данных с помощью вебхуков. Это означает, что сервис, самостоятельно передает данные при помощи HTTP-запроса. Такие запросы myBI Connect умеет получать и записывать в базу данных для дальнейшего использования.

Настройка вебхуков в CRM происходит автоматически при создании нового источника в нашем сервисе, а их статус можно проконтролировать в настройках:

На данный момент myBI Connect поддерживает только вебхуки, которые вызываются при удалении в CRM ряда сущностей, а именно:

• сделки;
• контакта;
• компании;
• задачи.

Сверка загруженных данных

Задание "Проверка загруженных данных" позволяет выявить наличие расхождений между имеющимися сведениями в базе данных и сервисе-источнике (в данном случае amoCRM), а также актуализировать состоянии загруженных данных за прошлые периоды в случае выявления расхождений при активации опции "Перезагружать данные".

Во всех новых проектах это здание создается автоматически при создании проекта:

и по умолчанию оно настроено на сверку и перезагрузку всех поддерживаемых источников.

В случае если у вас этого задания нет, то вы можете создать его сами. Для этого необходимо перейти в раздел "Планировщик заданий" и нажать на кнопку "Добавить новое+", в появившемся выпадающем списке необходимо выбрать "Проверка загруженных данных", далее будет отображена форма с параметрами задания:

В форме необходимо указать название задания, интервал проверки (количество дней, за которые будет происходить сверка данных), доступное отклонение (значение в интервале от 0 до 1 000 000 - рекомендуем оставить без изменений), тип источника и аккаунт. Активация опции "Перезагружать данные", позволяет запустить перезагрузку базовой выгрузки в случае, если отклонение за день превышает допустимое.

Далее необходимо завершить настройку задания нажав на кнопку "Продолжить". После этого в таблице "Задания" появится новое задание, запуск которого будет осуществляться каждую ночь после базовой загрузки.

При выявлении отклонений используются следующий набор параметров и показателей для сравнения:

• идентификатор воронки;
• идентификатор статуса;
• идентификатор тега;
• количество сделок;
• сумма сделок.

Результаты проверки загруженных данных вы можете найти в настройках задания (Планировщик заданий -> колонка "Действия" -> Настройки задания):

Удаление устаревших данных

Учитывая, что у любых данных есть свойство накапливаться со временем, а объем хранилища в нашем сервисе ограничен в зависимости от используемого тарифного плана, в некоторых случаях можно воспользоваться дополнительным заданием "Удаление устаревших данных". Это задание позволяет удалять хранящиеся данные из хранилища, которые были получены более чем N дней назад, где N - это количество дней, указанное в настройках задания. К примеру:

 Такое задание будет удалять данные старше 90 дней.

Шаблон Power BI

Возможно кто-то уже заметил, что во многих наших материалах в качестве инструмента для работы с данными используется Power BI, поэтому мы хотели бы сразу пояснить, что это ни в коей мере не означает то что при помощи других инструментов нельзя работать с данными, которые выгружаются при помощи нашего сервиса. Просто получилось так, что мы уже не первый год используем Power BI и у нас даже есть блог по его применению, поэтому мы знакомы с ним гораздо лучше, чем с другими аналогичными инструментами.

Именно поэтому, мы можем предложить пользователям Power BI шаблон модели, размещенный в нашем сообществе, в качестве ознакомительного или учебного материала, который упростит для вас сборку модели данных на старте работ.

Будем признательны всем вашим комментариям и пожеланиям.