Aragaer
поменяй местами
tfhx8
у всех тредов такие же регеспы
Aragaer
чтобы была очередь регекспов, но обработка строк
Aragaer
каждый тред обрабатывает все строки одним регекспом, потом берет следующий регексп из очереди. Но чтобы весь исходный файл был разбит на блоки так, чтобы в каждый момент времени только один тред мучал один блок
tfhx8
я не понимаю какая разница. В каждом треде сейчас своя строка
tfhx8
и как бы получается свои независимые re.replace
tfhx8
вернее re.sub
tfhx8
как они там между собой создаются тормаза я хз
Aragaer
ты больше тратишь на re.compile, чем на все остальное
tfhx8
у мееня его неет
Aragaer
именно!
Aragaer
поэтому каждый раз, когда ты делаешь re.sub, он там под капотом делается
tfhx8
так там слов 1000, которые заменить надо.
Aragaer
ну так и сделай тысячу раз re.compile
tfhx8
тоесть вне потоков?
Aragaer
лучше тысячу, чем по тысяче на каждую строчку
Aragaer
да, чтобы потокам достались уже скомпилированные регекспы
tfhx8
а потом ее передать в потоки?
tfhx8
ок, спс, попробую)
Aragaer
и еще - после обработки что ты делаешь со строками?
tfhx8
я думал что больше времени уходить именно на замену, странно что оно compile не кеширует
tfhx8
и еще - после обработки что ты делаешь со строками?
ничего пока, на экран просто выводились
tfhx8
а так потом в файл все буду писать
Aragaer
может кеширует, я просто высказал гипотезу
Aragaer
ок. В файл пиши сразу, а не через ''.join
tfhx8
я в файл буду писать в отделном потоке
tfhx8
может кеширует, я просто высказал гипотезу
тоесть в теории вынес компиль может и не помочь?)
tfhx8
только я не совсем понимаю, мне что надо будет 1000 + компилей в список сохранять?
Aragaer
я не знаю, как оно там устроено, просто предположил
Aragaer
ну у тебя же есть список "пар для замены", точно так же будет список скомпиленных регекспов
Aragaer
сейчас у тебя что-то вроде for w1, w2 in my_replace_list: re.sub(w1, w2, the_line)
Aragaer
а будет for compiled_w1, (_, w2) in zip(compiled_list, my_replace_list): compiled_w1.sub(w2, the_line)
Aragaer
ну даже проще
tfhx8
нашел по проще)
tfhx8
fruit_list = ['apple', 'banana', 'peach', 'plum', 'pineapple', 'kiwi'] fruit = re.compile('|'.join(fruit_list))
tfhx8
интересно ускорит или нет)
Aragaer
впрочем если бы надо было высокую скорость, то регекспы ваще не катят
Aragaer
ну или составить префиксное дерево, из него сконструячить регексп
Aragaer
вот тогда будет шустро
Aragaer
и тогда много потоков вообще не нужно, можно обрабатывать почти со скоростью чтения-записи
Aragaer
и там уже надо будет распараллеливать чтение и запись. Чтение еще ладно, запись непонятно как
Aragaer
https://en.wikipedia.org/wiki/Trie
tfhx8
да такое хрен сделаешь)
tfhx8
заумнока как то вс
Aragaer
ну это естессно не так, чтобы просто взять и набросать за 5 минут
tfhx8
не, такое не пройдет)
Aragaer
но из своих 1000 слов делаешь такое дерево, из него конструируется регексп, компиляется, получается скорость реактивного самолета
tfhx8
наверника компили эти кешируются
tfhx8
когда много раз одно и тоже
Aragaer
https://stackoverflow.com/questions/42742810/speed-up-millions-of-regex-replacements-in-python-3
Aragaer
там даж код есть
Aragaer
https://stackoverflow.com/questions/42742810/speed-up-millions-of-regex-replacements-in-python-3/42789508#42789508 - тута
Aragaer
It's really unreadable, but for a list of 100000 banned words, this Trie regex is 1000 times faster than a simple regex union!
tfhx8
https://stackoverflow.com/questions/42742810/speed-up-millions-of-regex-replacements-in-python-3
как он пишет компиле нихрена не помогла)
tfhx8
50 предложений в с.
Aragaer
а потом пишут, как это сделать правильно. А именно через trie
tfhx8
ага, вижу
tfhx8
вот это, то что надо, спс). Завтра попробую
Aragaer
короче подход "работает медленно, значит надо много потоков" еще раз показал свою нежизнеспособность
Aragaer
сначала надо понять, как распараллеливать задачу - а в данном случае она плохо параллелится
Aragaer
но впрочем если вот это trie+по строчкам, будет наверно неплохо
Egor
Доброе утро. Ставлю пакет pyeclib через pip. Ругается на Complete output (5 lines): /usr/lib64/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'bugtrack_url' warnings.warn(msg) running install running build error: None Что ему надо? весь гугл сломал, где и как ему указать этот bugtrack_url? На убунте все ставится, а на CentOS 7 не хочет. Питон 2.7 и 3.6 - на обеих не хочет вставать
Anonymous
Как проверить число на простоту? Без библиотек
πρόσταγμα
Egor
ОФФТОП: случайно нет ни у кого чата по openstack swift?
Egor
а то я чет не врубаюсь, как его вообще собрать -_-
Egor
@openstack_ru
спасибо
Romuald
@Tishka17 бать, обсасывали тему кармабота в чат ? Axenia_Bot