Я просто не понял, к чему сообщение Антона

Ну ясно, что после 17 готовят 20-й

его один человек в силе будет охватить целиком?

Если кто-то охватывает 17-й, ему не станет проблемой охватить 20-й

Или 21-й

Или как получится

Я просто не понял, к чему сообщение Антона

оно к предыдущему сообщению Матвея

оно к предыдущему сообщению Матвея

Перечитал, дошло

его один человек в силе будет охватить целиком?

Вообще, время "охренеть каких сложных фич" в плюсах давно прошло. Сейчас многие нововведения относительно просты для понимания и вводятся для удобства разработчика. Жесть была, когда люди с нуля шаблоны изучали, например. Со всеми тонкостями, конечно

если не разбираться что там под капотом происходит то да, но почему тогда просто не взять джаву?

если не разбираться что там под капотом происходит то да, но почему тогда просто не взять джаву?

потому что в джаве тоже надо разбираться что происходит под капотом?

А готовит кто?

в том числе и сам Антон, автор той строки

Подскажите как можно ускорить работу регулярных выражений, читаю файл размером 1 мегабайт в строку, и по регулярке ищу урлы, ищет 40 секунд 300 совпадений, хотя на питоне делал подобное за 3 секунды 1000000 строк чекал, куда копать или может есть феншуй в плюсах какой нибудь?

Маловато входных данных

Код на плюсах и питоне, например, явно не был бы лишним

Да, код в студию.

Минимально воспроизводимый пример)

взять pcre, а лучше не юзать регулярки. для такой то задачи.

Ща секунду

вот метод

auto OpenFile(string file) { ifstream fileobj; fileobj.open(file); if (fileobj.is_open()) { cout << "Файл открыт!" << endl; regex pattern("((\\w+\\.)?\\w+\\.\\w{2,4})"); stringstream stringdata; stringdata << fileobj.rdbuf(); string strline = stringdata.str(); auto words_begin = sregex_iterator(strline.begin(), strline.end(), pattern); auto words_end = sregex_iterator(); for (sregex_iterator i = words_begin; i != words_end; ++i) { smatch match = *i; string match_str = match.str(); UrlVector.insert(UrlVector.end(),match_str); } sort(UrlVector.begin(), UrlVector.end()); UrlVector.resize(unique(UrlVector.begin(), UrlVector.end()) - UrlVector.begin()); cout << (int)UrlVector.size() << endl; } else { cout << "Файл не открыт!" << endl; } fileobj.close(); }

сиоуты для теста в работе их нет

Лучше на ideone.com минимальный и самодостаточный пример (который запускается и видно, что он матчит).

ок я только учусь не знаю как лучше

ща сделаю

И код на питоне тоже куда-нибудь на ideone.com в виде отдельной программы, которая что-то читает и матчит.

вот https://ideone.com/2lFbkc

только там для работы файл нужен test.txt

желательно строк 500 и что бы там ссылок было хотя бы 300

был вы очень рад понять как за несколько секунд обрабоать например миллион строк

А что за компилятор, с какими флагами компилируете?

я еще не сильгно соображаю, но это вижуал обычный 2017.3 с++17 жму кнопку отладить или собрать

А что за компилятор, с какими флагами компилируете?

судя по всему, неправильный вопрос.

стандартный компил собирает

я еще не сильгно соображаю, но это вижуал обычный 2017.3 с++17 жму кнопку отладить или собрать

Release или Debug?

вот правильный вопрос

и я рекомендую обратиться в @supapro

и релиз и дебаг тормозят почти одинакого

и релиз и дебаг тормозят почти одинакого

хм. а вот уже интереснее

выкинуть регексп — правильный ответ

а как ссылки пасрить тогда

ну или хотябы выкинуть std::regex. или его уже починили?

а как ссылки пасрить тогда

да хотябы вот конечным автоматом

ну или хотябы выкинуть std::regex. или его уже починили?

что значит починили?

ты про скорость работы?

это же он называется просто страшно, а на самом деле тяп ляп и получится уже гораздо быстрее

ты про скорость работы?

да, пару лет назад он был просто ужасен посравнению с libpcre

да хотябы вот конечным автоматом

а регэксп бесконечный?)

про кнечный автомат не понял но регексп не бесконечный)

просто он долгий

ну там в бусте есть какие-то модные компайл-тайм почти-регулярки

небось перформансные!

просто он долгий

это прекрасно

(это не руководство к действию, а совет посмотреть нестандартные реализации)

а с++ не компаил тайм? (не стащщили из буста?)

А ответы у питона и плюсов одинаковые?

Можете ещё код на питоне показать?

питон вообще все делает за три секунды с 1кк строк по жтой же регулярке, и причем я ему загоняю инфу построчно

если построчно это делать в ++ то вообще хана

может и пол часа выполнять

И код — ..?

def get_links(file): lists = [] data = open(file, 'r').read() pattern = '(?:[\w\.]+)\.(?:[a-z]{2,6}\.?)' result = re.findall(pattern, data) for url in list(set(result)): lists.append("https://" + url) lists.append("http://" + url) print(f'Всего {len(lists)} элементов') return lists

вот так питон делает на лету

а с++ подыхает на регулярке в чем прикол неопнятно

в том, что ты не понимаешь, что делаешь

я создают массив в питоне вектор в ++ читаю файл прогоняю через регулярку и добавляю в вектор а в питоне в массив

все одинакого

Предлагаю переместиться в #supapro

ладно, спс

Зачем писать «#supapro», если можно «@supapro.cxx»?

Не помню, как пишется полное название чата

Даже нет ведь, просто @supapro

Зачем писать «#supapro», если можно «@supapro.cxx»?

раньше при такой записи появлялся бот с красивой табличкой. Теперь не появляется)

std::regex выкинь, попробуй pcrepp какой-нибудь напрямую

кстати как вариант попробовать заюзать libc++ - мб у них под капотом что-то более шустрое

очевидно слишком сложный совет

очевидно слишком сложный совет

не могу не согласиться в данном случае

а с++ подыхает на регулярке в чем прикол неопнятно

А можно код посмотреть на с++ ?

А можно код посмотреть на с++ ?

Например: https://ideone.com/63tsbN

Реальный юзкейс: найти URL в файле (эта регулярка - префикс более сложной). Вероятно, regex_search в гцц и вижаке работает за квадрат в лучшем случае. В clang, как говорят в соседнем чате, ситуация сильно лучше.

Реальный юзкейс: найти URL в файле (эта регулярка - префикс более сложной). Вероятно, regex_search в гцц и вижаке работает за квадрат в лучшем случае. В clang, как говорят в соседнем чате, ситуация сильно лучше.

хм, совет с libc++ оказался не таким уж и глупым

Например: https://ideone.com/63tsbN

С -stdlib=libc++ не падает

Похоже на багу

Подвожу итог с холиваром по длительной работе регулярке, запустил тот же код на Маке в Силионе с компилом Сланг - результат в раз 30 лучше что меня полностью удовлетворяет

У GCC похоже вот на эту багу: https://gcc.gnu.org/bugzilla/show_bug.cgi?id=79539 Но я на всякий пожарный заведу отдельный тикет

Подвожу итог с холиваром по длительной работе регулярке, запустил тот же код на Маке в Силионе с компилом Сланг - результат в раз 30 лучше что меня полностью удовлетворяет

какая нибудь онигурума наверное еще шустрее сможет

Быстрее питона пока не встречал обработку регулярок но про руби тоже хорошо отзываются, но для виндового приложения clang вполне справляется и со стандартной либой regex

попробуйте re2, он быстрее pcre https://github.com/google/re2

Hyperscan быстрее всего

А c++ regexp - какаха

В libc++ и libstdc++, по крайней мере

Hyperscan быстрее всего

не пользовалась

у re2 ещё api удобное + там можно больше регэксп запихнуть, чем в pcre

В libc++ и libstdc++, по крайней мере

вроде ведь пришли к выводу, что в libc++ ничего

У GCC похоже вот на эту багу: https://gcc.gnu.org/bugzilla/show_bug.cgi?id=79539 Но я на всякий пожарный заведу отдельный тикет

Завёл: https://gcc.gnu.org/bugzilla/show_bug.cgi?id=83754

Попробовал Qt Creator, понравился, спасибо за совет

Там и MSVC Build Tools 2013-2017 в комплекте идут, btw