мне тоже. но я тогда плохо знал питон и это помогло: я учил питон через джангу (там довольно много возможностей языка используется), а джангу через питон.

Прям уроборос

мне просто понять для себя, что если я использую виртуальную среду, то я в нее должен отдельно устанавливать базу данных и т.п

погоди погоди. "базу данных" как файл или как сервер субд? это ты хуйню сказал. библиотеку/модуль для работы с базами данных? это уже норм.

Прям уроборос

в моем случае, это скорее "самоотсос"

В словаре лежат регулярки+символы, которые надо вывести

Циклом по словарю долго

а регулярки здесь причем, я так и не понял

погоди погоди. "базу данных" как файл или как сервер субд? это ты хуйню сказал. библиотеку/модуль для работы с базами данных? это уже норм.

ну смотри, я сейчас поставил фласк в обычную среду (так скажем), там у меня все запустилось и т.п

ну смотри, я сейчас поставил фласк в обычную среду (так скажем), там у меня все запустилось и т.п

ну и?) virtualenv позволяет изолировать окружение. окружение - это лишь сам python и всякие его сторонние библиотечки (типа того же flask'а, sqlalchemy..)

на самом деле их туториал реально в разы круче ссаной документации

только что пролистал, действительно норм

больше ничего не изолируется, из-под virtualenv доступны все файлы, что и для системного питона, все сетевые ресурсы, и прочее дерьмо

virtualenv - это просто отдельный независимый питончик со своими отдельными независимыми зависимостями (гыгыг)

и все, что ты будешь делать в этом окружении, никак не повлияет на другие virtualenvы или проекты все, что ты будешь делать в системном питончике, тоже не должно повлиять (но это в теории, конечно. по факту все что угодно сломать можно)

докер кто-то юзал для проектов?

профиты есть? или венва достаточно?

ну че за вопрос ( докер вообще для другого немножко

Ну да, докер для другого

профиты есть, венва может быть достаточно, все зависит от ситуации

Я юзал докер, мне девопс поднимал для проекта

а регулярки здесь причем, я так и не понял

К определенной регулярке относится ссылка, ид, текст, в общем контент Надо вернуть его Сейчас все это работает циклом по словарю и если re.search возвращает True, функция возвращает текст

И парсер логов тоже неплохо было бы узнать с:

что значит неплохо было бы узнать((( ну вон в первой же выдаче в гугле пример парсера логов апача http://statmodeling.com/regular-expression-for-apache-log-parsing.html можно переделать под nginx

что значит неплохо было бы узнать((( ну вон в первой же выдаче в гугле пример парсера логов апача http://statmodeling.com/regular-expression-for-apache-log-parsing.html можно переделать под nginx

Я буду кастомный лог парсить

ну парсь кастомный

Его же не геморно переделывать?

регулярки - это опыт и только опыт )

кого?

регулярку? регулярку охуенно геморно переделывать бывает, зачастую

они ж нечитаемые почти всегда, блеать

нет, он о лог-парсере

регулярки - это опыт и только опыт )

Я с ними все лето "развлекался"

нет, он о лог-парсере

И о нем тоже

блин, у меня дежавю, разговор о логах и регулярках уже был.

та какая разница, все равно весь парсинг сводится к тому, что надо написать регулярку, и надо написать что-нибудь, что будет брать исходные данные, скармливать регулярке и на выходе получать нужные данные

У меня проблема исключительно в кормежке

Кормлю я обычно список строк списку регулярок и выходит достаточно долго

строки в списке - они разного формата что ли?

зачем несколько регулярок на одной строке проверять?

строки в списке - они разного формата что ли?

Ну как, пол лога такое, пол лога другое, потом еще треть рандомная мета хрень

а не проще одной регуляркой?

ну или я правда не понял

в смысле - пол-лога одно, пол-лога другое? обычно у лога один и тот же формат в пределах одного файла

In [18]: import re In [19]: msg = '[11:27] <user> this is my message' In [20]: result = re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg) In [21]: result.groups() Out[21]: ('11:27', 'user', 'this is my message') вот те самый простой парсер ))

ну или я правда не понял

Конечно не понял, я сначало спросил по одной задаче, потом логи подвернулись В общем, с логами я понял, а сейчас мне надо кучу разных строк по разным регуляркам проверить

ну, не вижу ничего плохого в том, чтобы делать приблизительно так, как ты описал но я бы все равно сделал это одной регуляркой, мне кажется, ты хочешь странного есть пример разных записей в логе?

в смысле - пол-лога одно, пол-лога другое? обычно у лога один и тот же формат в пределах одного файла

Я парсю лог кастомного, игрового сервера)

как ты читаешь лог вообще? если ты берешь 100 мегабайтный файл и делаешь по всему его содержимому re.search/re.match или че там ты делаешь, то неудивительно, что все работает медленно

итерируйся по одной строчке, ну по нескольким, на худой конец

итерируйся по одной строчке, ну по нескольким, на худой конец

прекрасный совет о том как убить скорость в хуй

там 200кб максимум, просто приходится довольно часто лезть в лог

ну, не вижу ничего плохого в том, чтобы делать приблизительно так, как ты описал но я бы все равно сделал это одной регуляркой, мне кажется, ты хочешь странного есть пример разных записей в логе?

Пример лога на компе, а я до туда еще не скоро доберусь

прекрасный совет о том как убить скорость в хуй

да? о_О

если хочется парсить логи быстро, лучше читать блоками и регэкспить переводы строк самому, чем давать это делать либцу

но это не для новичков 8)

Ок, как регэкспить самому?

А ещё регекспы на больших строках работает быстрее, чем много раз на маленьких.

Так, для интереса, в лучшем случае вектор развития сменится(появится)

>>> timeit.timeit("re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)", "import re; msg='[11:27] <user> this is my message'") 2.223340862663062 >>> timeit.timeit("re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)", "import re; msg='[11:27] <user> this is my message'*5") 2.49057301739302 >>> timeit.timeit("re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)", "import re; msg='[11:27] <user> this is my message'*50") 3.8385056942973144 >>> timeit.timeit("re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)", "import re; msg='[11:27] <user> this is my message'*500") 17.536126503448884

А ещё регекспы на больших строках работает быстрее, чем много раз на маленьких.

Вот так сюрприз

А ещё регекспы на больших строках работает быстрее, чем много раз на маленьких.

пардон, я сильно не прав, получается

Обратие внимание на рост длины строки в моём сообщении (*500 в конце выражения) и рост времени обработки

И как объяснить?

э

D:\>py -mtimeit -s "import re; msg='[11:27] <user> this is my message'" "re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)" 1000000 loops, best of 3: 1.4 usec per loop D:\>py -mtimeit -s "import re; msg='[11:27] <user> this is my message'*500" "re.match(r'\[(\d{1,2}:\d{1,2})\] <(\w+)> (.+)', msg)" 10000 loops, best of 3: 47.4 usec per loop на строке длиннее в 500 раз скорость просела не в 500, а гдето в 30-40 раз

И как объяснить?

больше доля выполнения сишного чем питонового кода

Прикольно

ништяк, спасибо о_О

ERROR: S client not available

Господа, а скомпильте регэксп для начала. Пожалуйста :)

>>> from flask import Flask, url_for >>> app = Flask(__name__) >>> @app.route('/') ... def index(): pass ... >>> @app.route('/login') ... def login(): pass ... >>> @app.route('/user/<username>') ... def profile(username): pass ... >>> with app.test_request_context(): ... print url_for('index') IndentationError: expected an indented block >>> with app.test_request_context(): ... print url_for('index') File "<stdin>", line 2 print url_for('index') ^ IndentationError: expected an indented block >>> with app.test_request_context(): ... print(url_for('index') File "<stdin>", line 2 print(url_for('index') ^

Не могу понять почему валится

Если мы говорим о парсинге логов или, например, таблицы товаров интернет-магазина, то у нас там (допустим) 500 строк и 10 регулярок, которые компилятся до первого прохода. Интересно узнать разницу в скорости.

with app.test_request_context()

Не могу понять почему валится

Тебе же написали: «expected an indented block»

всего один пробел, разве не нужно как минимум два?

всего один пробел, разве не нужно как минимум два?

А лучше православные 4 :)

всего один пробел, разве не нужно как минимум два?

ааа

>>> with app.test_request_context(): ... print(url_for('index')) ... print(url_for('login')) ... print(url_for('login', next='/') ... print(url_for('profile', username = 'John Doe')) File "<stdin>", line 5 print(url_for('profile', username = 'John Doe'))

теперь тут затыкается

а трейсбек

хотя не нужен

print(url_for('login', next='/'))

не хватает скобки

у меня горит со своей невнимательности, я несколько раз пробежал глазами код

и не заметил

Доброго времени суток.

как на питоне сгенерить 128 битное рандомное число?

чтобы именно 128-битное

Имеется вопрос, что-то как-то не могу понять один момент. Пользователь вводит число. Нужно понять сколько цифр в числе и вывести по цифре, как к примеру здесь: nums = input("input some number: ") for i in nums: print(i) Но, соль в том, что надо работать именно с числом, а не со строкой. Думаю, надо разбить число на простые цифры, типо 123 = 1*10^2 + 2*10 +3. Но дальше как-то не придумал)) Натолкните на мысль, пожалуйста

Имеется вопрос, что-то как-то не могу понять один момент. Пользователь вводит число. Нужно понять сколько цифр в числе и вывести по цифре, как к примеру здесь: nums = input("input some number: ") for i in nums: print(i) Но, соль в том, что надо работать именно с числом, а не со строкой. Думаю, надо разбить число на простые цифры, типо 123 = 1*10^2 + 2*10 +3. Но дальше как-то не придумал)) Натолкните на мысль, пожалуйста

print([int(x) for x in nums])

чтобы именно 128-битное

»> import uuid »> uuid.uuid4().int 293276174114937334338145142636771874162 ?

»> import uuid »> uuid.uuid4().int 293276174114937334338145142636771874162 ?

спасибо, щас попробую

по крайней мере в документации написано, что UUID.int The UUID as a 128-bit integer.

Имеется вопрос, что-то как-то не могу понять один момент. Пользователь вводит число. Нужно понять сколько цифр в числе и вывести по цифре, как к примеру здесь: nums = input("input some number: ") for i in nums: print(i) Но, соль в том, что надо работать именно с числом, а не со строкой. Думаю, надо разбить число на простые цифры, типо 123 = 1*10^2 + 2*10 +3. Но дальше как-то не придумал)) Натолкните на мысль, пожалуйста

// и %

как на питоне сгенерить 128 битное рандомное число?

uuid.uuid4()?

// и %

divmod

вроде получилось) пасибочки еще раз)

divmod

чем лучше?

возвращает сразу пару, не надо две отдельные операции делать по одному и тому же числу

не?