Tishka17
а зачем? Внутри файлов уникальные строки
Про алгоритмическую сложность слышал?
Владимир
с 10ти файлов
А может и словарь)
tfhx8
ок, сделаю, но не думаю что это в n раз увеличит скорость
Anonymous
В сете даже в таком случае быстрее ищет
ну и будет тратиться время на хеш сета
Vladimir
А если файлов будет 40?
Vladimir
А если файлы будут гигабайтными?)
tfhx8
оно дрочится так каждую с с разным стринг. В теории можно просто результаты поиска по 'string' кешировать на какое то время, есть что из коробки?
tfhx8
А если файлы будут гигабайтными?)
тоже не вариант, максимум 1мб и то маловероятно
Tishka17
ну и будет тратиться время на хеш сета
Один раз. У он сказал там много раз проверка
Tishka17
Чзх?
Tishka17
Для кого?
Dastan
Силок😂😂
Dogma
Больше похоже на кусок говна, а не штука которая может матчить все линки.
Владимир
ну и будет тратиться время на хеш сета
Тут явно что то о повторных поисках. Если один раз, то да - можно просто построчно читать и сравнивать даже не засоряя память
Tishka17
Не вижу .yandex среди топ левел доменов
Anonymous
Тут явно что то о повторных поисках. Если один раз, то да - можно просто построчно читать и сравнивать даже не засоряя память
ну в плане оптимизации я предположыу что мы не знаем структуры файлов - может там что-то из серии логов или еще каких структурированных дванных - тогда проще их в талицу загнать типа пандаса или скл-а - там явно быстрей будет поиск
Anonymous
да, оно каждый раз ищет в файлах повторно
что за файлы - что ты ищешь? какая структура файлов?
Vladimir
Тут явно что то о повторных поисках. Если один раз, то да - можно просто построчно читать и сравнивать даже не засоряя память
Можно организовать конвеер, можно делать проверки параллельно, можно предобработать и построить индекс 😂 и т. д
tfhx8
что за файлы - что ты ищешь? какая структура файлов?
текстовой файл, просто считываю каждую строк и все, длина каждой строки не превышает 50символов
tfhx8
скрипт отрабатывает через uwsgi
Tishka17
давно что то
Стоит узнать подробнее
om1ji
Для этой группы есть оффтоп группа?
Dogma
Чет вообще нифига не все ссылки. У тебя даже половину рфц по линкам это говно не берёт вот тебе как пример одной валидной линки http://[2001:db8:85a3::8a2e:370:7334]/foo/bar
Dogma
http://localhost:8080/
Вот это матчит
Dogma
Как и это http://www.example.com/file[/].html
Владимир
тоесть сильно ускорить может?
Ну ... рекомендую посмотреть hash table и просто для общего (но не в тему) red-black trees. В целом они для быстрого поиска/проверки наличия.
Dogma
Как и это http://www.example.com/file[/].html
А не, соврала. оно только до [ матчит линку, а ведь эта вся хрень является валидной линкой
Dogma
А мне это зачем отвечаешь?
Anonymous
helloworld
ну кароче не будет у тебя быстрее "ин" - довольно быстрая операция сама по себе - так что сильно ты не ускоришься если прям много чего искать во многих файлах - ну есть специализированные решения типа эластиксерча но вот не знаю насколько тебе это нужно ну там можно еще попробовать все в одну кодировку каку-нибудь вин-1251 перевести и там байт-поиск даст ускорениераза в три если не ошибаюсь, но опять-таки насколько это все стоит усилий
tfhx8
так прочитай их один раз и вот они у тебя уже прокешировались
они постоянно открываются, потому что файл может изменится, да и само чтение идет быстро. Медленно именно in, причему из 10ти файло 9 пустых и в 1 файле 1 строка и почему то так долго
tfhx8
по крайней мере в принте так показывает
tfhx8
это все очень странно ну опять-таки ни кода ни файлов мы не видим сказать что-то определенное сложно
я же сказал 10 тхт файлов, 9 пустые, в одном 1 строка и такие тормаза почему то
Tishka17
Чо
tfhx8
как именно замерить скорость на elf 'string' in myvar: я хз
Tishka17
1 строка?
Tishka17
Покажи код
Tishka17
И как замерял тормоза
Владимир
так выше рекомендовали исопльзовать set, или не поможет?
Я и говорю что полнстью согласен с тем что нужен сет)
Anonymous
1 строка?
вот видишь - тут вопросов сильно больше чем просто код увидеть а мы и этого не знаем )))
tfhx8
в общем попробую с сет, отпишусь)
tfhx8
спс
tfhx8
Измениться может?
может, но редко
Владимир
может, но редко
Что то какая то адовая эмуляция базы данных)
Anonymous
Измениться может?
там в одном файле одна строка и ин тормозит там явно темная материя не иначе
tfhx8
Что то какая то адовая эмуляция базы данных)
да, есть такое, зато просто переносить файлы и изменять данные в них. Без всяких там инсертов и селектов
tfhx8
как измерить скорость в строке else if 'string' in myver ? Именно каждую такую проверку
Владимир
как измерить скорость в строке else if 'string' in myver ? Именно каждую такую проверку
К слову тогда уж не полотно из элифов надо делать а список имен файлов...
Tishka17
Я по описанию проблемы ожидаю, что замерялось хз что и проблема вообще не там
Владимир
Да блин покажи код
Видимо этого не произойдет))))
tfhx8
принт время до и время после
на одной строке где elif?
Anonymous
на одной строке где elif?
так давай код и не еби всем мозги
tfhx8
я выше насчет кода сказал же, все просто
Tishka17
Если все просто - значит проблемы нет, код работает максимально быстро
Tishka17
Ускорять эти наносекунды невозможно
Владимир
не совсем понятно
for filename in file_list: with open(filename) as f:
tfhx8
да недолжно это так долго, 400ms поиск, вернее 0.3898
Владимир
))))))) господи)