Ну вот тут уже хз. Я в эту сферу настолько не углублялся

Думаю, в чатике есть чуваки из Ростелекома или магистралов. Если прочтут, отпишутся, нужна ли аккредитация

да точно в js)))

Dryscrape вроде как был

Помер

https://github.com/niklasb/dryscrape

Там какой-то spynner предлагают

Чот мутная тема, селениум ван лав

Чот мутная тема, селениум ван лав

Да он жирный блин, целый браузер с его приблудами

Чот мутная тема, селениум ван лав

А там обрезок неполноценный был

Да он жирный блин, целый браузер с его приблудами

Так это, безголовый режим и вперед, сильно много вродь не жрет

Так это, безголовый режим и вперед, сильно много вродь не жрет

Замеры делал ? Я бы посмотрел на расход ресурсов

Вообще если там что-то оч динамичное, шо трындец, я напрямую из сокета читаю, если можно

Замеры делал ? Я бы посмотрел на расход ресурсов

Нуу на vps с 1024 оперативки, 6 инстансов спокойно смотрели твич и фармили кейсы в кс

Хз реальных цифр под рукой нет

Нуу на vps с 1024 оперативки, 6 инстансов спокойно смотрели твич и фармили кейсы в кс

Кейсы в кс?)) я думал их только покупать можно было. Ну раз на такой впс держалось, то ладно

Ну там, твич с привязанным аком смотришь и тебе коллекционные дают, которые без ключей открываются

когда мажор какой-нить идет

Ребят, почему в селениуме для движка Хрома не ставится прокси?

Прокси ставится. Не ставится прокси с аутентификацией. Привяжи прокси к своему ip и будет тебе счастье.

Не надо меня никуда привязывать (

Люди, нужна помощь в придумывании архитектуры. Надо забирать потоковые данные из другого процесса.

что за процесс?

забирай

где тут архитектура?

совсем другой или форк твоего?

обычно когда я делал многопроцессный код в питоне, я приходил к тому, что не надо делать многопроцессный код в питоне

хз что вы делаете

у меня пока не было проблем

ни с каким кодом кроме криво написанного

когда я последний раз делал многопроцессный код в питоне, у меня получилось две маленькие либы, которые я выложил на pypi

правда у меня нет винды, поэтому я не запилил там одну мелкую хрень, которая для винды нужна. Поэтому мои либы на винде не работают

а запилить никто не хочет

Когда я последний раз делал многлпроцессный код, у меня получились микросервисы

Когда я последний раз делал многлпроцессный код, у меня получились микросервисы

+

единственный кейс, это странная программа, исходников которой не было, и которая умела общаться только через stdin

ну у меня связь была через стдин или юникс сокеты

у меня логгируется запрос в базу данных в несколько строк, а мне надо в одну для компактности

как сделать?

Pdns умел отдавать данные через пайп.

.replace()?

.replace()?

где само сообщение хранится?

где само сообщение хранится?

а где оно хранится?

у меня логгируется запрос в базу данных в несколько строк, а мне надо в одну для компактности

"""

"""

?

?

ну """ cnhjrf строка строка """

я не понял проблему

у меня новый видос по пайтону вышел - задачи с собеседований + декораторы Можно сюда ссылку дать?

сейчас так, а я хочу чтобы в одну строку записало

у меня новый видос по пайтону вышел - задачи с собеседований + декораторы Можно сюда ссылку дать?

кидай чо

кидай чо

кул

https://www.youtube.com/watch?v=3q1V2QcanXQ

сейчас так, а я хочу чтобы в одну строку записало

а... sqlalchemy

сейчас так, а я хочу чтобы в одну строку записало

message.replace('/n', ' ')

message.replace('/n', ' ')

ты такой умный

сейчас так, а я хочу чтобы в одну строку записало

а зачем, если не секрет?

эта строка все равно на экран не влезет

а зачем, если не секрет?

не знаю, просто мне так больше нравится

а, ну если просто - рекомендую забить

ты такой умный

ну ты можешь определить свой фильтр \ handler и там делать replace

но да не страдай херней, тишка дело говорит

ты все равно скоро выключишь логирование запросов

а, ну если просто - рекомендую забить

ладно, так и сделаю

ты такой умный

ну, нагуглить как достать запрос из алхимии несложно)

ну, нагуглить как достать запрос из алхимии несложно)

эм... что ты несешь? логирует запросы непосредственно логгер алхимии

хм? оке, не обращал внимания.

Кстати ищу хорошую книгу/справочник по дизайну баз данных, никто не сталкивался с таким?

Кстати ищу хорошую книгу/справочник по дизайну баз данных, никто не сталкивался с таким?

MongoDB Applied Design Patterns Автор: Risc Copeland Год издания: 2013

Ребята, мне по запросу клиента надо логировать во всех сроках лога его ID (фиксированную строку для данного запроса). Лог при том может вызываться в куче классов. Как это лучше сделать?

Ребята, мне по запросу клиента надо логировать во всех сроках лога его ID (фиксированную строку для данного запроса). Лог при том может вызываться в куче классов. Как это лучше сделать?

Если я тебя правиль но понял, то ты хочешь отследить действия криента от request до response?

угу

django?

ну вообще, обработка сообщений от SQS

запилить thread local переменные что ли

и в форматтере заюзать

в общем суть в том что надо написать мидлваре где в request будет закладываться некий flow_id которы ты можешь на любом этапе вытащить и положить в лог

нет никакого request

в один класс передается одна перемеенна, в другой - другая

можно конечно через все протащить common_log_data какой-то но выглядит чет стремно

ну грубо def parse(json_data): logging.debug("parse %s", json_data) def do(text): logging.debug("do") db.execute(...) def handler(): msg = queue.pop() data = parse(msg) do(data["text"]) вот я хочу чтобы parse и do логировали с неким id запроса

и таких методов много в разных кейсах

звучит как область применения contextvars

пойду почитаю куда их