Tishka17
Роберт
Пусть они этот хмл в себя пошлют
Вова
подскажите пожалуйста источники для изучения работи с Api
Anonymous
Anonymous
Eve online esi
Anonymous
Отличное апи
Aragaer
отличное, да
Aragaer
я сам правда пользовался только старым апи, которое еще до crest даже было.
tfhx8
Есть скрипт который обрабатывает текст, ищет слова регуляркой и заменяет на другое слово. Делаю 20 потоков и все это работает по скорости почти также как в 1поточном режиме, из-за чего такое? Изза GIL?
👑OGURCHIK🖤
Угу
tfhx8
Угу
а если скрипт в контейнер засунуть или в виртуал бокс и запустить 10 копий, увеличитсся скорость или нет?
c
Aragaer
просто надо распараллелить эту задачу. Тупо в лоб она не параллелится
Andrey
Richard
Andrey
а обратно файл как пишется?
Richard
c
Richard
а с ноги
я изначально хотел предложить, написать спп модуль, и там юзать треды
Richard
Так что , что лучше
Richard
tfhx8
у меня просто треды создаются и берут строку из очереди и делают обработку регулярками, страно что так долго и проц практически не нагруржен
Andrey
может io проседает?
Andrey
много рандомного чтения это всегда тяжело
tfhx8
правда там обработка одной строки идет во множествах циклах, где запускается своя регулярка с заменой
tfhx8
может io проседает?
я хз, я считываю вначале в файл и ложу в очередь, далее потоки сами забирают. По сути все в памяти происходит, но что то медленно
c
tfhx8
а в чем отличие?
c
гила не будет
Aragaer
если "взять слово и поменять его" имеет разную длину строки, то точно надо все делать по-другому
Aragaer
если равную, можно что-то придумать
c
ааа
tfhx8
tfhx8
если не тысячи
c
там не только поиск
c
но еще и замена
tfhx8
все это в цикле и регулярка с заменой
Aragaer
ну вот если эта замена каждый раз сохраняет длину строки, то ок
c
делить файл на куски
Aragaer
да, каждый кусок должен обрабатываться независимо, а потом склеить
Aragaer
тогда можно получить ускорение
c
Aragaer
ну а тогда что ты распараллеливаешь?
Aragaer
если у тебя все треды работают с одним файлом
Aragaer
но файл у них общий
Aragaer
а они не могут его одновременно модифицировать
Aragaer
разрежь его на куски, чтобы каждый тред работал со своим куском (в каждый момент времени)
Aragaer
и уже можно что-то получить
tfhx8
зачем, я все данные из файла положил в очередь же
Aragaer
в какую очередь?
tfhx8
тоесть я считал весь файл, получился список, далее в цикле этого списка я сделал queue.put(line)
Aragaer
я про другой файл
Aragaer
в котором замена делается
c
tfhx8
я про другой файл
другого нет, он один. Я его считываю в список весь и потом ложу в очередь
tfhx8
тоесть все в памяти
Aragaer
у тебя есть список, по которому делать замены. И есть "текст", в котором делать замены
Aragaer
я говорю про второе
tfhx8
а этот текст и есть файл со строками
Aragaer
да и фиг с ним, пусть он весь в памяти
tfhx8
которые я гружу в очередь
Aragaer
и ты разбираешь его на треды, чтобы каждый тред одну строку сверил со всеми регекспами?
tfhx8
просто почему в тредах работа замедляется я хз
papyge
Кто может подкинуть неплохие видосы по написанию программ на питоне , так сказать наглядный пример проекта
papyge
На любую тематику
papyge
Чем сложнее , тем лучше
Aragaer
то есть каждый тред сверяет одну строчку со всеми регекспами
Aragaer
ну .. обрабатывает
Aragaer
_каждый_ тред _всеми_ регекспами
tfhx8
да