Ниже как устроено сейчас, и вопрос, как лучше.
Пара цифр для понимания.
История хранится за два года, объём растёт быстрее, чем ожидалось. Выгрузка выходит около двух миллионов строк, таблица её не держит.
Буду рад и короткому ответу.
Что в логах в этот момент?
А что показывают логи в момент падения?
Пробовали снизить темп вдвое?
А что показывают логи в момент падения?
Опишу свой случай, вдруг совпадёт.
Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.
Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.
Присоединяюсь, схема рабочая.
Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.
Какая версия программы и что с настройками по умолчанию?
Сколько адресов и какой темп при этом стоит?
Какие паузы между запросами?
Разбирались втроём, нашли случайно.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.