В общем, так будет проще и понятней, думаю
https://dpaste.org/G6MC
Могу посоветовать профилировать код, отвечающий за обработку или написать более простую версию того же самого кода (сказать легко, а сделать трудно). Я бы начал с замеров работы функций (можно обернуть декоратором для удобства) и всего кода в целом
debug_start_time = time.time()
<Обработка 4.5k на две минуты (используем декораторы для вывода времени работы)>
print(time.time() - debug_start_time)
Я особо не в теме, как и что у вас вызывается, исходные данные и конечные и т.д. и т.п., поэтому вряд ли чем еще смогу помочь
Разбирайся с этим, пиши, если что (мне почему-то кажется, что больше всего времени съедают функции, исходный код которых отсутствовал в файле)