а не как уебки, весь путь

да, имхо, ":=" - говно

да, имхо, ":=" - говно

да, теперь это в петухоне >^_^<

да, теперь это в петухоне >^_^<

еще вроде нет, в 3.8 будет, если реально вмержат

cyka noooo

да вмержат

его же можно не юзать, в чем проблема

его же можно не юзать, в чем проблема

В том, что все будут

значит свыкнется

Гвидо ж как раз из-за этой херни ушел

чем?

Не люблю танцы с бубном.

Не люблю танцы с бубном.

где там танцы с бубном? о_О

в питоне их больше гораздо же

там тупо путь от GOPATH, все

там тупо путь от GOPATH, все

есть, но не все умеют нормально готовить гошечку

Ramil Myasoutov: Ребят, есть вопрос по поводу пакета pandas. Есть файл, которому передали регулярку для парсинга файла. Представим, что часть строк не парсятся пандой, в этом случае панда либо выкинет эксепшн, либо, если ее попросить, вернёт номер проблемной строки в stderr. Третьего способа получения больной строки вроде бы нет. Поэтому, возникает вопрос, как ловить такие битые строки. Решение вижу в перехватывании stderr, получение битых строк, а потом, при повторном чтении файла сохранении их в отдельный файл. Вопрос в том, знает ли кто иные решения? И что думаете по поводу моего. Спасибо

Ramil Myasoutov: Ребят, есть вопрос по поводу пакета pandas. Есть файл, которому передали регулярку для парсинга файла. Представим, что часть строк не парсятся пандой, в этом случае панда либо выкинет эксепшн, либо, если ее попросить, вернёт номер проблемной строки в stderr. Третьего способа получения больной строки вроде бы нет. Поэтому, возникает вопрос, как ловить такие битые строки. Решение вижу в перехватывании stderr, получение битых строк, а потом, при повторном чтении файла сохранении их в отдельный файл. Вопрос в том, знает ли кто иные решения? И что думаете по поводу моего. Спасибо

пандас умеет в регулярки?

я когда это искал - не нашел, как простым способом регулярку к столбцу в нем применить

Да, можешь в sep передать регулярку, а engine указать python

Да, можешь в sep передать регулярку, а engine указать python

а, это ты про read_csv?

Ага, про него

ну, в случае engine=python у тебя строчки обрабатываться будут линейно все равно, насколько я помню

поэтому это аналогично тому, как если ты просто сделаешь генератор, в котором сам отфильтруешь, что надо, а потом передашь пандасу просто в Dataframe.from_records

Ramil Myasoutov: Ребят, есть вопрос по поводу пакета pandas. Есть файл, которому передали регулярку для парсинга файла. Представим, что часть строк не парсятся пандой, в этом случае панда либо выкинет эксепшн, либо, если ее попросить, вернёт номер проблемной строки в stderr. Третьего способа получения больной строки вроде бы нет. Поэтому, возникает вопрос, как ловить такие битые строки. Решение вижу в перехватывании stderr, получение битых строк, а потом, при повторном чтении файла сохранении их в отдельный файл. Вопрос в том, знает ли кто иные решения? И что думаете по поводу моего. Спасибо

по идее в исключении должна содержаться строка

по идее в исключении должна содержаться строка

Да, вот я ее и хочу забрать из stderr, но решение такое мне кажется громоздким, поэтому решил спросить о других, более лаконичных решениях

поэтому это аналогично тому, как если ты просто сделаешь генератор, в котором сам отфильтруешь, что надо, а потом передашь пандасу просто в Dataframe.from_records

Кхм, насчёт построчно не уверен, хотя в реализации питон парсера вроде он построчно и считывает

Кхм, насчёт построчно не уверен, хотя в реализации питон парсера вроде он построчно и считывает

да, там же используется просто встроенный модуль csv вместо модного сишного в пандасе

Гвидо ж как раз из-за этой херни ушел

Он её сам пропихнул

ну и всегда есть вариант тупо грепом фильтровать файл еще до питона :)

Он её сам пропихнул

ну, эта хрень противоречит дзену питона, поэтому неудивительно, что у пацанвы пригорело

да, там же используется просто встроенный модуль csv вместо модного сишного в пандасе

Кхм, тогда попробую сделать эдакий препроцессинг больных строк. Спасибо

Кхм, тогда попробую сделать эдакий препроцессинг больных строк. Спасибо

если файл очень большой - то это сильно замедлит его чтение

на всякий случай рассмотри возможность за пределами питона фильтровать

Файлы да, большие, по 7гб и выше

Файлы да, большие, по 7гб и выше

ну вот я бы при таком раскладе использовал grep + GNU parallel на препроцессинге

Но я все хотел это решать на уровне общения с пандой, а не лезть наружу, скажем так

ну вот я бы при таком раскладе использовал grep + GNU parallel на препроцессинге

Спс, почитаю

там тупо путь от GOPATH, все

Для каких задач юзаеш Го?

Но я все хотел это решать на уровне общения с пандой, а не лезть наружу, скажем так

если ты уже фоллбэчнулся на уровень питоновской читалки - то ты уже за пределами пандаса и подкладываешь свинью себе

по-пандасовски было бы прочитать все, как получится, а потом разбить столбец по регулярке уже отдельно в самом пандасе

но это может потребовать больше рамы

Для каких задач юзаеш Го?

для разных - микросервисы, ETL

если ты пишешь именно код на питоне - то тебе в абсолютном большинстве случаев потоки не нужны

кстати, вспомнил, абсолютно реальную проблему с потоками... попытка остановить приложние по ctrl+c :))))

кстати, вспомнил, абсолютно реальную проблему с потоками... попытка остановить приложние по ctrl+c :))))

это не то чтобы проблема, но это кейс, который разруливать руками не одной строкой кода надо

для разных - микросервисы, ETL

Как вы думаете, может ли Го потеснить пайтон? Спасибо.

Как вы думаете, может ли Го потеснить пайтон? Спасибо.

смотря в какой сфере

в асинхронных сервисах простых он уже потеснил

в датасаенсе - нет, и вряд ли когда-нибудь сможет

в асинхронных сервисах простых он уже потеснил

А почему Go там так хорош?

Потомучто гугл продвигает?

А почему Go там так хорош?

потому что компиляется со статической типизацией + бесшовно горизонтально масштабируется на ядра

Потому что горутины

у питона единственный шанс его на этом поприще догнать - это научиться в JIT со скейлом по ядрам

то есть этого шанса практически нет

по сути, надо всех разработчиков ноды заставить выкинуть это говно и придти чинить питон

У кого-то была такая трабла с Pipenv? Что с ним делать? NameError: name 'InvalidMarker' is not defined https://pastebin.com/D4762fAq

Потомучто гугл продвигает?

Логика топ

у питона единственный шанс его на этом поприще догнать - это научиться в JIT со скейлом по ядрам

Ну вон, в tokio научили шедулер futures по thread-pool размазывать.

Незнаю правда чем это питону поможет)

Ну вон, в tokio научили шедулер futures по thread-pool размазывать.

ну так то раст

раст, кстати, в многопоточности быстрее, чем го

но более многословный

раст, кстати, в многопоточности быстрее, чем го

Ну С++ ещё быстрее

Ну С++ ещё быстрее

вовсе необязательно

раст, кстати, в многопоточности быстрее, чем го

го вообще неспешный

ERROR: S client not available

как я заметил

го вообще неспешный

смотря как на нем писать, на самом деле

например, рефлекты юзать в реальном коде - ну такое

да что там рефлекты

ну у тебя плохая либа просто

Для работы в mysql из пайтона какая хорошая либа?

рефакторнул с коллбеками - всё, в два раза медленнее

Для работы в mysql из пайтона какая хорошая либа?

postgresql

postgresql

-_-

(никогда не устаревает)

postgresql

два коллейшна этому оратору

два коллейшна этому оратору

подскажешь?

подскажешь?

я mysql использовал в далёкой юности, так что не знаю

Для работы в mysql из пайтона какая хорошая либа?

алхимия

рефакторнул с коллбеками - всё, в два раза медленнее

я там разведал хак теперь

алхимия

мне не орм, мне либу для мускула))

когда в цикле структуры создаешь - используй sync.Pool

но если либа не может нормально в python dbapi - это плохая либа

мне не орм, мне либу для мускула))

pymysql

мне не орм, мне либу для мускула))

мусклклиент?

pymysql

не, не катит

pymysql

он вообще ничего не выкупает, сорян

Может ты его готовишь неправильно?

мусклклиент?

пайтон 3.6 есть под него MySQLdb?

он вообще ничего не выкупает, сорян

А что он должен выкупать? Тебя из рабства?

пайтон 3.6 есть под него MySQLdb?

https://github.com/PyMySQL/mysqlclient-python

https://github.com/PyMySQL/mysqlclient-python

ty

А что он должен выкупать? Тебя из рабства?

cur.execute("SELECT cur_id FROM currencies WHERE cur_name = %s" % (currency)) currency заходит в фанк как 'Coin' В итоге получаю - pymysql.err.InternalError: (1054, "Unknown column 'Coin' in 'where clause'")

ty

https://pypi.org/project/mysqlclient/#description 2 - 3.6

cur.execute("SELECT cur_id FROM currencies WHERE cur_name = %s" % (currency)) currency заходит в фанк как 'Coin' В итоге получаю - pymysql.err.InternalError: (1054, "Unknown column 'Coin' in 'where clause'")

Кто бы сомневался. Кавычки поставь

Кто бы сомневался. Кавычки поставь

?

или плейсхолдеры используй