нет

Оберни [a-zA-Z]+ в круглые скобки

Оберни [a-zA-Z]+ в круглые скобки

ого ого

ого ого

Выглядит как первый сексуальный опыт

круто!

а как к этому померджить имена в скобках?

имена вида Futrelle, Mrs. Jacques Heath (Lily May Peel)

есть вот такие мадамы

Менять регулярку так, чтобы она учитывала такие случаи :)

но она же тогда запишет два имени в колонку?

но она же тогда запишет два имени в колонку?

А в скобках имя?

А в скобках имя?

ну, идея в том чтобы заменить NaN на имя из скобок

ну, идея в том чтобы заменить NaN на имя из скобок

Сорян, я не понимаю где у тебя там NaN

а, ссорьк

Сорян, я не понимаю где у тебя там NaN

есть случаи где имя такое Futrelle, Mrs. (Lily May Peel)

Тебе надо матчить только имя в скобках?

ну, наверное стоит забирать его если нечего забирать после mrs

Николай Видов: Коллеги, мне кажется это глупый аопрос, но всё же. Есть aiohttp+gino В отдельном файле есть модели вида from gino import Gino db = Gino() class User(db.Model):         __tablename__ = 'gino_users'         id = db.Column(db.BigInteger(), primary_key=True)         nickname = db.Column('name', db.Unicode(), default='noname') А в основном файле есть from gino.ext.aiohttp import Gino db = Gino()     app = web.Application(middlewares=[db])     app['config'] = dict(gino=config)     db.init_app(app) Вопрос. Как мне корректно создать таблицы через модели, чтобы модели находились в отдельном файле

Николай Видов: Коллеги, мне кажется это глупый аопрос, но всё же. Есть aiohttp+gino В отдельном файле есть модели вида from gino import Gino db = Gino() class User(db.Model):         __tablename__ = 'gino_users'         id = db.Column(db.BigInteger(), primary_key=True)         nickname = db.Column('name', db.Unicode(), default='noname') А в основном файле есть from gino.ext.aiohttp import Gino db = Gino()     app = web.Application(middlewares=[db])     app['config'] = dict(gino=config)     db.init_app(app) Вопрос. Как мне корректно создать таблицы через модели, чтобы модели находились в отдельном файле

Так вынеси db в отдельный файл и импортируй его

Понял, попробую, спасибо за совет. После init_app он создаст все таблицы?

Нет

Создание надо явно вызывать

Оно же редко нужно

Поищи что-нибудь про миграции в нём

Ну, а как тогда проинициализировать создание таблиц? Оно вроде только через async функцию создаётся

Хм. Поищу про миграции, надеюсь поможет

Ну создавать надо один раз в жизни версии программы, так что он автоматом вряд ли будет

Вообще, наверно есть метод create_db

Если руками

Можно что то типо черекеоа скдалать - пристарте если база соответствует той которая тебе нужна - ок, если нет то пытаться создать

есть случаи где имя такое Futrelle, Mrs. (Lily May Peel)

pattern = re.compile( r"""(?xi) (?:miss|mrs) \.\s+ \(?( (?:[a-z\s]+)+ (?:[a-z]+) )\)? """ )

$5 с тебя :)

Пасиб)

Всем привет, дайте совет по задаче: необходимо паралельно парсить два сайта( первый сайт надо делать 300 запросов в секнду, второй 1 запрос в секунду), результат каждого парсинга ложить в отдельный датафрейм, каждый обрабатывать, затем паралельно сливать полученные результаты из них в третий, и на основании третьего датафрейма( результирующего) запускать ещё дочерние процессы, при помощи каких библиотек лучше делать паралельный парсинг, у кого был опыт подобного?

А в чем проблема параллельно распарить и положить куда-то?

А дальше уже делай с данными что хочешь

Всем привет, дайте совет по задаче: необходимо паралельно парсить два сайта( первый сайт надо делать 300 запросов в секнду, второй 1 запрос в секунду), результат каждого парсинга ложить в отдельный датафрейм, каждый обрабатывать, затем паралельно сливать полученные результаты из них в третий, и на основании третьего датафрейма( результирующего) запускать ещё дочерние процессы, при помощи каких библиотек лучше делать паралельный парсинг, у кого был опыт подобного?

А нужно реально параллельно для повышения производительности? Просто, как вариант, сделать это на сопрограммах и функциях-генераторах. Это будет, конечно, не параллельность, а конвейерная обработка.

Да в два процесса хотя бы

да и в один можно, думаю

В смысле не вижу проблем запустить просто две проги, которые будут парсить

Даже думать не надо

ну да, вообще нет проблем

Подскажите пожалуйста разницу между MainThread и DummyThread

у меня на бэке возникает dummy поток каждый раз когда на фронте подключается новый юзер

@gloomy_philosopher

многопоточность я только изучаю, начал юзять для сокетио. Приложение на Flask, запускается примерно вот таким образом gunicorn -k geventwebsocket.gunicorn.workers.GeventWebSocketWorker -w 1 app:app --bind 127.0.0.1:5000

подозреваю что dummy потоки плодит gevent но как их ограничить, пока что идей не пришло. Если только грохать активный поток во время дисконнекта socketio соединения

если попытаться убить дамми поток при помощи threading.current_thread().set()

то поток убивается, но вылезает исключение AttributeError: '_DummyThread' object has no attribute 'set'

о, разобрался - работает вот так del threading._active[threading.current_thread().ident]

Метод утёнка

если бы) я в целом не совсем понимаю как лучше с потоками обходиться

Ещё забыл озвучить нюанс, в первый датафрейм надо уметь ложить до 300 полученных http запросов в секунду

какая либо позволит сделать до 300х запросов в секунду паралельно - максимально эффективно?

какая либо позволит сделать до 300х запросов в секунду паралельно - максимально эффективно?

Asyncio + aiohttp

какая либо позволит сделать до 300х запросов в секунду паралельно - максимально эффективно?

на самом деле любая.

А зачем к сайту 300 запросов в секунду?

А зачем к сайту 300 запросов в секунду?

чтоб получить данные 300 страниц

чтоб получить данные 300 страниц

А сайт не обидется?

А сайт не обидется?

не, данный сайт выдерживает думаю миллионы запросов в секунду

300 это придел, в основном не более 50

как обединит эти две строки? clear = lambda: os.system('cls') print('cleared')

как обединит эти две строки? clear = lambda: os.system('cls') print('cleared')

WTF?

при вызове функции печатался и сообщение

Можно где нибудь найти какая операция из стандартных занимает сколько времени? Например изменить элемент массива, добавить в массив и другие

как обединит эти две строки? clear = lambda: os.system('cls') print('cleared')

Тут неверная операция, лямбда без аргумента, непонятно зачем

при вызове функции печатался и сообщение

ну сделай ты функцию def clear(…):

Asyncio + aiohttp

? спасибо, изучу

лямбда то тебе зачем?

при вызове функции печатался и сообщение

При последовательном выполнении они вызовутся друг за другом, что в твоём понимании может значить как "одновременно"

лямбда то тебе зачем?

я с примера взял

ламбду пока не понимаю

)

Лямбда это маленькая функция в одну строку

понял

У вас было такое что когда сделал проект, настроил, показал как работает, ну крч закончил его и ты говоришь сколько это стоит, заказчик говорит что проект не такой как я хотела и такие деньги за него платить не буду?

интересно как клиент понимает что проект не так как хотел?

интересно как клиент понимает что проект не так как хотел?

Ну показали как работает

Постоянно наблюдал за изменениями

Все понраилось

Когда цену говорим

Переклинило

Есть такие люди в разных сферах

Та прибить хочется

как обединит эти две строки? clear = lambda: os.system('cls') print('cleared')

Можно сделать с помощью небольшого хака: clear = lambda: print('cleared' if os.system('cls') or True else '')

У вас было такое что когда сделал проект, настроил, показал как работает, ну крч закончил его и ты говоришь сколько это стоит, заказчик говорит что проект не такой как я хотела и такие деньги за него платить не буду?

Потому что если ты уж взялся за fixed price, то оформлять проект нужно соответственно, иметь формальное т.з., приемку и решать конфликты в юридической плоскости. А вообще несколько удивительно, что вы называете стоимость услуг уже после их выполнения.

как обединит эти две строки? clear = lambda: os.system('cls') print('cleared')

def clear(): os.system('cls') print("cleared")

Потому что если ты уж взялся за fixed price, то оформлять проект нужно соответственно, иметь формальное т.з., приемку и решать конфликты в юридической плоскости. А вообще несколько удивительно, что вы называете стоимость услуг уже после их выполнения.

Просто изначально ТЗ было одно, потом он постоянно водил новые пооюправки, мы говорили что мол так и так это новое, говорил Ок, потом сказали сколько, да согласен может мы протупили, но все таки

def clear(): os.system('cls') print("cleared")

print() сдвинуть вправо (и поднять)

в оригинале было не так 8)