amoCRM - функционал выгрузки

Базовая выгрузка Использование вебхука Сверка загруженных данных Удаление устаревших данных Шаблон Power BI

amoCRM - простая и удобная CRM, представляющая собой базу данных клиентов, компаний и сделок, в которой собрана вся информация по каждому клиенту, активным переговорам, текущим контрактам и будущим продажам.

API amoCRM позволяет получать сведения по сделкам, контактам, компаниям и другие данные. В этой инструкции рассматривается подключение к amoCRM и доступный функционал нашего сервиса по выгрузке данных.

Для того чтобы добавить новый источник данных необходимо в левом боковом меню сервиса myBI Connect выбрать пункт "Источники данных", нажать на кнопку "Добавить новый+", после чего перейти в раздел "CRM-СИСТЕМЫ" и выбрать источник amoCRM, нажав на кнопку "подключить":

В открывшейся форме необходимо ввести название нового источника. Поле "Название источника" может быть любым и необходимо для того, чтобы вы могли однозначно идентифицировать этот источник среди других.

После нажатия на кнопку "Продолжить" вы будете перенаправлены на страницу amoCRM, на которой необходимо подтвердить предоставление доступа к необходимому аккаунту:

Из списка аккаунтов выбираем нужный и нажимаем кнопку "Разрешить". Выгрузка данных с помощью нашего сервиса доступна для аккаунтов AmoCRM с правами администратора. После этого вы будете перенаправлены обратно в наш сервис для завершения создания источника:

На этой странице вы можете ввести названия полей, в которые у вас сохраняются значение Client ID (идентификатор посетителя сайта из Google Analytics) или идентификатора заявки, если они у вас используются (если не используются - оставьте их пустыми).

После ввода всех данных необходимо завершить настройку источника, нажав на кнопку "Продолжить".

Базовая выгрузка

После завершения подключения в таблице "Источники" появится новый источник, с указанным ранее названием. Далее можно запустить историческую загрузку данных, выбрав в колонке "Действия" в строке добавленного источника пункт меню "Загрузить" и указав период для получения данных:

Обратите внимание, что период доступной исторической загрузки зависит от выбранного вами тарифа, а для триального периода составляет 1 месяц.

По завершению загрузки в базе данных появятся сведения по пользователям и событиям в специально спроектированном нами виде, наиболее удобном для дальнейшего анализа:

Более детально ознакомиться со структурой выгрузки вы можете здесь.

По умолчанию не выгружаются сведения по примечаниям, событиям, спискам и покупателям. Если вам эти данные необходимы, или наоборот, в каких-то данных вы не нуждаетесь, можно воспользоваться функционалом по выбору необходимых таблиц и отметить только нужные, в которые будут загружаться данные в процессе базовой выгрузки:

Это позволит вам как ограничить набор данных, так и в какой-то мере сэкономить количество расходуемых на выгрузку строк. Возможность выбора тех или иных таблиц также зависит от тарифного плана вашего аккаунта amoCRM (к примеру, "Покупатели" доступны только на "Профессиональном")

Кроме возможности выбора таблиц, в базовой выгрузке также существует функционал фильтрации, позволяющий ограничить данные, загружаемые в те или иные таблицы. Вот пример использования фильтра: 

Этот фильтр позволяет хранить в БД только необходимые для работы типы примечаний.

Использование вебхука

amoCRM также предоставляет возможность передачи данных с помощью вебхуков. Это означает, что сервис самостоятельно передает данные при помощи HTTP-запроса. Такие запросы myBI Connect умеет получать и записывать в базу данных для дальнейшего использования.

Настройка вебхуков в CRM происходит автоматически при создании нового источника в нашем сервисе, а их статус можно проконтролировать в настройках:

На данный момент myBI Connect поддерживает только вебхуки, которые вызываются при удалении в CRM ряда сущностей, а именно:

• неразобранное;
• сделки;
• контакта;
• компании;
• задачи.

Сверка загруженных данных

Задание "Проверка загруженных данных" позволяет выявить наличие расхождений между имеющимися сведениями в базе данных и сервисе-источнике (в данном случае amoCRM), а также актуализировать состояние загруженных данных за прошлые периоды в случае выявления расхождений при активации опции "Перезагружать данные".

Во всех новых проектах это задание создается автоматически при создании проекта:

и по умолчанию оно настроено на сверку и перезагрузку всех поддерживаемых источников.

В случае, если у вас этого задания нет, вы можете создать его сами. Для этого необходимо перейти в раздел "Планировщик заданий" и нажать на кнопку "Добавить новое+", выбрать из списка "Проверка загруженных данных", далее будет отображена форма с параметрами задания:

В форме необходимо указать название задания, интервал проверки (количество дней, за которые будет происходить сверка данных), доступное отклонение (значение в интервале от 0 до 1 000 000 - рекомендуем оставить без изменений), тип источника и аккаунт. Активация опции "Перезагружать данные", позволяет запустить перезагрузку базовой выгрузки в случае, если отклонение за день превышает допустимое.

Далее необходимо завершить настройку задания, нажав на кнопку "Продолжить". После этого в таблице "Задания" появится новое задание, запуск которого будет осуществляться каждую ночь после базовой загрузки.

При выявлении отклонений используются следующий набор параметров и показателей для сравнения:

• идентификатор воронки;
• идентификатор статуса;
• идентификатор тега;
• количество сделок;
• сумма сделок.

Результаты проверки загруженных данных вы можете найти в настройках задания (Планировщик заданий -> колонка "Действия" -> Настройки задания):

Удаление устаревших данных

Учитывая, что у любых данных есть свойство накапливаться со временем, а объем хранилища в нашем сервисе ограничен в зависимости от используемого тарифного плана, в некоторых случаях можно воспользоваться дополнительным заданием "Удаление устаревших данных". Это задание позволяет удалять хранящиеся данные из хранилища, которые были получены более чем N дней назад, где N - это количество дней, указанное в настройках задания. К примеру:

 Такое задание будет удалять данные старше 90 дней.

Шаблон Power BI

Возможно кто-то уже заметил, что во многих наших материалах в качестве инструмента для работы с данными используется Power BI, поэтому мы хотели бы сразу пояснить, что это ни в коей мере не означает то, что при помощи других инструментов нельзя работать с данными, которые выгружаются при помощи нашего сервиса. Просто получилось так, что мы уже не первый год используем Power BI и у нас даже есть блог по его применению, поэтому мы знакомы с ним гораздо лучше, чем с другими аналогичными инструментами.

Именно поэтому, мы можем предложить пользователям Power BI шаблон модели, размещенный в нашем сообществе, в качестве ознакомительного или учебного материала, который упростит для вас сборку модели данных на старте работ.

Будем признательны всем вашим комментариям и пожеланиям.