A-Parser: какие настройки потоков реально держат заявленную скорость

Гоняю сборы каждую неделю, и вот что заметил.

Прогон рассчитан на восемь часов, встаёт примерно на середине. Проверял на двух версиях программы, поведение одинаковое.

Подскажите, с чего начать разбор.

Так и работает, проверено не один раз.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

Забрал себе в заметки.

Проверял это на своей задаче, вывод такой же.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

На маленьких объёмах верно, на больших уже нет.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Разнесите нагрузку по времени.

Помню, как искал причину два дня подряд.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Не гоните с первого дня, дайте себе запас.

На одном проекте это стоило нам сорванного срока.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

У меня картина совпадает почти полностью.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Есть момент, который меняет всю картину.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Проверьте, что настройка вообще применилась.

Расскажу, как выкручивались мы.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Добавлю тему в закладки.

Сохраняйте сырое, пересчитать успеете.

Так и есть, проходил через это в прошлом году.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Уберите лишние потоки, толку от них нет.

Уберите лишние потоки, толку от них нет.

Осторожнее с этим выводом, он верен не всегда.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Пишите, если понадобится уточнить.