Tishka17
Соап
Ну тут соглашусь
Роберт
Пусть они этот хмл в себя пошлют
Вова
подскажите пожалуйста источники для изучения работи с Api
Anonymous
Eve online esi
Anonymous
Отличное апи
Aragaer
отличное, да
Aragaer
я сам правда пользовался только старым апи, которое еще до crest даже было.
tfhx8
Есть скрипт который обрабатывает текст, ищет слова регуляркой и заменяет на другое слово. Делаю 20 потоков и все это работает по скорости почти также как в 1поточном режиме, из-за чего такое? Изза GIL?
👑OGURCHIK🖤
Угу
tfhx8
Угу
а если скрипт в контейнер засунуть или в виртуал бокс и запустить 10 копий, увеличитсся скорость или нет?
Aragaer
просто надо распараллелить эту задачу. Тупо в лоб она не параллелится
tfhx8
а файл открывается один раз?
да, все строки добавляются в очередь queue и потоки от туда забирают строчки и делают замены
Andrey
а обратно файл как пишется?
tfhx8
У тя много ресов для форков?
хватит несколько контейнеров запустить
tfhx8
а обратно файл как пишется?
пока не пишется, тоолько на экран выводится обработанная строка
Richard
хватит несколько контейнеров запустить
Форки не выгодно, нужны горутины
Richard
а с ноги
я изначально хотел предложить, написать спп модуль, и там юзать треды
tfhx8
Форки не выгодно, нужны горутины
я не понял насчет форков. Ты имел ввиду запустить скрипт в контейнерах или виртуалках?
Richard
Так что , что лучше
tfhx8
у меня просто треды создаются и берут строку из очереди и делают обработку регулярками, страно что так долго и проц практически не нагруржен
Andrey
может io проседает?
Andrey
много рандомного чтения это всегда тяжело
tfhx8
правда там обработка одной строки идет во множествах циклах, где запускается своя регулярка с заменой
tfhx8
может io проседает?
я хз, я считываю вначале в файл и ложу в очередь, далее потоки сами забирают. По сути все в памяти происходит, но что то медленно
tfhx8
а в чем отличие?
c
гила не будет
Aragaer
если "взять слово и поменять его" имеет разную длину строки, то точно надо все делать по-другому
Aragaer
если равную, можно что-то придумать
c
ааа
tfhx8
если не тысячи
c
там не только поиск
c
но еще и замена
tfhx8
все это в цикле и регулярка с заменой
Aragaer
ну вот если эта замена каждый раз сохраняет длину строки, то ок
c
делить файл на куски
Andrey
там в строке ищется сотни слов
а что за задача, если не секрет?
Aragaer
да, каждый кусок должен обрабатываться независимо, а потом склеить
Aragaer
тогда можно получить ускорение
tfhx8
а что за задача, если не секрет?
да просто для себя практикуюсь с текстом
tfhx8
да, каждый кусок должен обрабатываться независимо, а потом склеить
оно как бы не зависимо, в цикле в регулярку подставляется новое слово
Aragaer
ну а тогда что ты распараллеливаешь?
Aragaer
если у тебя все треды работают с одним файлом
tfhx8
если у тебя все треды работают с одним файлом
так файл один раз читается и ложится все в очередь, тоесть в память. И треды берут строку себе, у каждого строка своя, не одинаковая
Aragaer
но файл у них общий
Aragaer
а они не могут его одновременно модифицировать
Aragaer
разрежь его на куски, чтобы каждый тред работал со своим куском (в каждый момент времени)
Aragaer
и уже можно что-то получить
tfhx8
зачем, я все данные из файла положил в очередь же
Aragaer
в какую очередь?
tfhx8
тоесть я считал весь файл, получился список, далее в цикле этого списка я сделал queue.put(line)
Aragaer
я про другой файл
Aragaer
в котором замена делается
tfhx8
я про другой файл
другого нет, он один. Я его считываю в список весь и потом ложу в очередь
tfhx8
тоесть все в памяти
Aragaer
у тебя есть список, по которому делать замены. И есть "текст", в котором делать замены
Aragaer
я говорю про второе
tfhx8
у тебя есть список, по которому делать замены. И есть "текст", в котором делать замены
список по которому делать замены весь в памяти, тоесть слова лежат в data = ['word', 'word1'] итп
tfhx8
а этот текст и есть файл со строками
Aragaer
да и фиг с ним, пусть он весь в памяти
tfhx8
которые я гружу в очередь
Aragaer
и ты разбираешь его на треды, чтобы каждый тред одну строку сверил со всеми регекспами?
tfhx8
просто почему в тредах работа замедляется я хз
papyge
Кто может подкинуть неплохие видосы по написанию программ на питоне , так сказать наглядный пример проекта
papyge
На любую тематику
papyge
Чем сложнее , тем лучше
tfhx8
и ты разбираешь его на треды, чтобы каждый тред одну строку сверил со всеми регекспами?
нет, каждый терд делает такую же обработку как и все, тоесть на выходе у него конечная обработанная строка
Aragaer
то есть каждый тред сверяет одну строчку со всеми регекспами
Aragaer
ну .. обрабатывает
Aragaer
_каждый_ тред _всеми_ регекспами
tfhx8
да