Настройка фильтров

Фильтры позволяют отбирать только нужные пакеты данных для обработки в процессоре. Благодаря фильтрам вы можете пропустить неподходящие записи, сэкономить время выполнения и расход токенов. В этом руководстве рассмотрим, как настраивать фильтры от простых условий до сложных комбинаций.

Где находятся настройки фильтров

1. Кликните на узел процессора в визуальном редакторе.
2. В открывшейся панели настроек перейдите на вкладку “Фильтры”.
3. В текстовом поле введите условие фильтрации.
4. Нажмите “Сохранить”.

Фильтры применяются к входным данным процессора, то есть к пакетам, поступающим от предыдущих процессоров в цепочке.

Простые условия

Сравнение с конкретным значением

status = 'active'

Пропустит только пакеты, где поле status равно active.

Числовое сравнение

revenue > 1000000

Пропустит пакеты, где значение поля revenue больше одного миллиона.

Поддерживаемые операторы сравнения:

Оператор	Описание	Пример
=	Равно	status = 'active'
!=	Не равно	status != 'closed'
>	Больше	revenue > 1000000
<	Меньше	age < 5
>=	Больше или равно	score >= 80
<=	Меньше или равно	count <= 100

Комбинирование условий

Оператор AND (и)

Обе условия должны выполняться одновременно:

status = 'active' AND revenue > 1000000

Пропустит только активные компании с выручкой больше миллиона.

Оператор OR (или)

Достаточно выполнения хотя бы одного условия:

region = 'Москва' OR region = 'Санкт-Петербург'

Пропустит компании из Москвы или Санкт-Петербурга.

Комбинация AND и OR

Используйте скобки для группировки:

(region = 'Москва' OR region = 'Санкт-Петербург') AND status = 'active'

Пропустит активные компании из Москвы или Санкт-Петербурга.

Проверка на наличие значения

IS NULL - поле пустое

email IS NULL

Пропустит только записи, где email не заполнен.

IS NOT NULL - поле заполнено

email IS NOT NULL

Пропустит записи, где email содержит какое-либо значение. Это полезно, чтобы исключить неполные данные.

Поиск по шаблону (LIKE)

Оператор LIKE позволяет искать по подстроке с использованием подстановочных символов:

• % - любое количество символов (включая ноль)
• _ - ровно один любой символ

Примеры

-- Название содержит "ООО"
name LIKE '%ООО%'

-- Название начинается с "ООО"
name LIKE 'ООО%'

-- ИНН начинается с "77" (Москва)
inn LIKE '77%'

-- Название заканчивается на "групп"
name LIKE '%групп'

Практические примеры

Фильтрация по ИНН юридических лиц

ИНН юридического лица состоит из 10 цифр, ИНН физического лица - из 12. Чтобы обрабатывать только юрлица:

LENGTH(inn) = 10

Обработка только записей с ошибками

Если предыдущий процессор создал поле error_message для проблемных записей:

error_message IS NOT NULL

Фильтрация по нескольким регионам

region IN ('Москва', 'Санкт-Петербург', 'Новосибирск', 'Екатеринбург')

Исключение определённых типов компаний

okved NOT LIKE '64%' AND okved NOT LIKE '65%'

Исключит компании с основным ОКВЭД в сфере финансов и страхования.

Комбинированный фильтр для качественных данных

inn IS NOT NULL AND name IS NOT NULL AND status = 'active' AND revenue > 0

Пропустит только записи с заполненным ИНН и названием, активным статусом и положительной выручкой.

Отладка фильтров

Если после применения фильтра процессор не получает данных:

1. Проверьте данные источника: откройте просмотр данных предыдущего процессора и убедитесь, что данные существуют.
2. Проверьте имена полей: имя поля в фильтре должно точно совпадать с именем в схеме данных.
3. Упростите условие: начните с одного простого условия и постепенно добавляйте.
4. Проверьте типы данных: числовые значения указывайте без кавычек (revenue > 1000), строковые - в одинарных кавычках (status = 'active').
5. Проверьте логи: в логах процессора будет информация о том, сколько пакетов прошло фильтр и сколько было отфильтровано.

Советы по работе с фильтрами

• Начинайте без фильтров: сначала убедитесь, что воронка работает корректно без фильтрации, затем добавляйте условия.
• Тестируйте на малых объёмах: установите maxPackets: 10 при отладке фильтров.
• Используйте IS NOT NULL: для обязательных полей, чтобы избежать ошибок при обработке пустых значений.
• Документируйте логику: если условие сложное, добавьте комментарий в описании процессора, объясняющий назначение фильтра.

Что дальше

• Настройка процессора - другие параметры конфигурации
• Использование переменных - подстановка данных между процессорами
• Решение проблем - диагностика проблем с фильтрацией