Удаление устаревших данных

В сервисе myBI Connect пользователям теперь доступно задание по удалению устаревших данных.

Это полезно тем, кто хотел бы контролировать количество данных в БД в автоматическом режиме. Объем баз данных, которые выделяются сервисом myBI Connect, ограничен, а увеличение объема хранимой информации может негативно сказаться на скорости ее обработки, поэтому удаление старых неиспользуемых данных будет очень полезно для поддержания быстродействия баз данных.

Принцип работы

Для каждого источника в сервисе разработана собственная структура данных, которая имеет форму «звезда». Это означает, что существует два типа таблиц:

• таблицы измерений
• таблицы фактов

В таблицах измерений хранятся описательные параметры, а в таблицах фактов статистические показатели.

Так, например, выглядит структура данных для источника CallKeeper.

В ней присутствует одна таблица фактов «callkeeper_calls_facts», содержащая события по звонкам, все остальные являются таблицами измерениями. Среди них есть собственная таблица измерений «callkeeper_calls» и несколько общих:

• general_clientids
• general_traffic
• general_sites
• general_locations
• general_dates

Собственные таблицы относятся и описывают только данный конкретный источник, а общие таблицы хранят информацию по всем источникам и могут использоваться для их связи в единую модель.

В первую очередь, при запуске данного задания удаляются сведения, находящиеся в таблицах фактов, так как именно в них сосредоточен основной объем информации.

Определение «устаревших» данных происходит по таблице дат «general_dates». Система будет находить даты указанного вами интервала и, благодаря связи с «callkeeper_calls_facts», удалять соответствующие записи из нее.

После этого в таблицах измерений могут остаться неиспользуемые записи, например, те же даты в «general_dates», которые попали под “устаревшие” и, которые тоже следовало бы удалить, но задача удаления данных из измерений достаточно ресурсоемкая, поэтому ее стоит рассматривать отдельно. Связано это с тем, что в СУБД существуют принципы ограничения целостности, из-за которых система может удалить только те записи, на которые нет никаких ссылок в других таблицах, и это условие необходимо проверять для каждой строки. Этот процесс проверки требует дополнительных усилий для выполнения, но в то же время обеспечивает сохранность ваших данных.

Давайте теперь рассмотрим, как вы можете использовать этот функционал.

Настройка

В разделе «Планировщик заданий» нажмите на «Добавить новое».

Затем выберите задание типа «Удаление устаревших данных». Вам откроется окно с настройкой:

Рассмотрим, что означает каждое поле.

Название задания

В этой ячейке необходимо написать любое определяющее название.

Старее чем

Здесь указывается количество дней, после которых данные должны будут удаляться.

Например, значение «90» означает, что информация, хранящаяся в базе старше, чем 90 дней назад, будет удалена.

Источники данных

В этом пункте задается источник, для которого будет действовать это задание.

Обрабатывать общие измерения

Как мы упомянули ранее, из выбранного источника будут удаляться данные, находящиеся в таблицах фактов. Однако включение данной опции позволит удалять данные еще из общих таблиц измерений.

Обратите внимание, что на данный момент удаление данных из собственных таблиц измерений не предусмотрено.