Как хранить и версионировать семантику большого проекта

Расскажу, что делаю сейчас, и спрошу, где ошибаюсь.

Вводные, чтобы не гадать.

Список масок на пять тысяч, глубина расширения три уровня. Мусора после первого прохода около сорока процентов. Источников три, объединяю их в одно ядро.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Может, есть путь проще, которого я не вижу.

Проверял на трёх проектах подряд, картина устойчивая.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

Это верно для одной площадки и неверно для другой.

Пустые ответы при живых адресах почти всегда означают, что площадка отдаёт заглушку. Проверяйте размер ответа.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

Есть возможность повторить прогон и сравнить?

Это началось после какого-то изменения?

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватные прокси IPv4 и SOCKS5, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Уберите лишние потоки, толку от них нет.

Уменьшите потоки вдвое и замерьте заново.