Можно type/json парсить но не var

привет, сорян за оффтоп, есть чатик по C#?

https://t.me/DotNetRuChat

спс

спс

Используй реплай, а не форвард

Используй реплай, а не форвард

?

#работа Господа, мне нужен питонист? В МТС Big Data на проекты • Real Time Data Processing- написание фреймворка для загрузки данных в Hadoop. • WFM- загрузка моделей Data Science, поддержка и доработка сервиса. Если вы прогаете на Python 3, используете Django, Flask и занимались обработкой информации и ее источников, хотите в Big Data- давайте познакомимся. Работа в офисе на м. Технопарк, open space. Белая з/п ( рассматриваем от 100 000 до 250 000). ДМС и 31 день отпуска. А ещё крутая команда и тусовки?

Можно с помощью bs4 спарсить из js значение переменной

Можно регуляркой

Всем привет! есть list из строк, хочется в функциональном стиле сделать список из (строка, кол-во вхождений ее в этот список), как можно такое сделать?

Counter

не надо функционального 8)

collections.Counter

не надо функционального 8)

=( ок, спасибо! )

питон для функционального не очень приспособлен, да

list(map(lambda x: x, yourlst.count(x), yourlst))

но теоретически это бы решилось reduce’м, верно?

А. Не то

Забейте

Каунтер

не уверен. Надо пустой словарь, в котором дефолтное значение это 0. Потом редьюсом туда инкрементить, потом взять items

но если словарь с инкрементами и нулем, то это уже каунтер

>>> l = ['a', 'b', 'a', 'c'] >>> functools.reduce(lambda d, w: {**d, w: d.get(w, 0) + 1}, l, {}) {'a': 2, 'b': 1, 'c': 1}

если туда инкрементить, это уже не функционально

вот у Дениса труЪ

и потом еще items и потом еще в list

>>> l = ['a', 'b', 'a', 'c'] >>> functools.reduce(lambda d, w: {**d, w: d.get(w, 0) + 1}, l, {}) {'a': 2, 'b': 1, 'c': 1}

интересно, петон может соптимизировать это до O(N)

Для этого нужен персистентный словарь

Нуууууу не знаю. У тебя в момент вычисления dict comprehension последняя ссылка на d удаляется. Теоретически можно словарь переюзать.

а кто-то пробовал парсить википедию? нужно наполнить БД данными и вики - самый хороший ресурс видится либо гуглопоиском и анализом статей или вручную

вопрос в том, как не быть забаненным или как извлечь данные?

Там можно дамп выкачать

ребята пытаюсь взять товар в интернет магазине и с помощью bs4 + requests беру необходимые данные (размер, id) и т.д потом делю post запрос на js который добавляет в корзину (add.js) подгружаю header + data, (знаю что именно этот js потому что делаю в браузере replay xhr и всё работает.) затем захожу в корзину и делаю r.text(вытаскиваю содержимое страницы) и пытаюсь там найти свой товар (ctr+f) который взял и его там нет почему так? Python, 3.6+ Pycharm session = requests.session() r = session.post('https://www.deadstock.ca/cart/add.js', headers=headers, data=checkout) r = session.get('https://www.deadstock.ca/cart') print(r.text)

python3.6 использую import threading from queue import Queue ставлю ограничение потоков = от 8 -100 через некоторое время вылазиет ошибка в консоли (возможно сразу же. возможно в течении 1-3 сек): Ошибка сегментирования КТо что посоветовать может?

А что ты в этих потоках делаешь?

считывает инфомрацию с айпишника. обрабатывает

ребята пытаюсь взять товар в интернет магазине и с помощью bs4 + requests беру необходимые данные (размер, id) и т.д потом делю post запрос на js который добавляет в корзину (add.js) подгружаю header + data, (знаю что именно этот js потому что делаю в браузере replay xhr и всё работает.) затем захожу в корзину и делаю r.text(вытаскиваю содержимое страницы) и пытаюсь там найти свой товар (ctr+f) который взял и его там нет почему так? Python, 3.6+ Pycharm session = requests.session() r = session.post('https://www.deadstock.ca/cart/add.js', headers=headers, data=checkout) r = session.get('https://www.deadstock.ca/cart') print(r.text)

может не надо делать post запросы на js файлы? а отправлять нужные данные в нужную API (если корзина вообще существует на сервер, а не в браузере)

выводит и..тд 100+ строк

может не надо делать post запросы на js файлы? а отправлять нужные данные в нужную API (если корзина вообще существует на сервер, а не в браузере)

API нет у сайта

API нет у сайта

отлично, а как вам помогут post запросы на js файлы?

отлично, а как вам помогут post запросы на js файлы?

Сайт сам так делает

я делаю это место сайта просто там чтобы добавить в корзину юзается add.js

Сайт сам так делает

крайне сомнительно

Всем привет. Вопрос по AIOHTTP (последняя версия). В aiohttp в WebSocketResponse есть параметр heartbeat для отправки клиенту ping с указанным интервалом в секундах async def websocket_handler(request): ws = web.WebSocketResponse(heartbeat=2.0) await ws.prepare(request) async for msg in ws: if msg.tp == aiohttp.MsgType.text: if msg.data == 'close': await ws.close() else: ws.send_str(msg.data + '/answer') elif msg.tp == aiohttp.MsgType.error: print('ws connection closed with exception %s' % ws.exception()) print('websocket connection closed') return ws К этому сокету подключаюсь из браузера через js:new WebSocket('ws://127.0.0.1:8080/ws');. Так вот в браузер не отправляются ping сообщения при таком раскладе. Что не так?

считывает инфомрацию с айпишника. обрабатывает

а в один поток не вылетает ошибка?

вопрос в том, как не быть забаненным или как извлечь данные?

у вики вроде есть апи, но данных нужно много получить

крайне сомнительно

Щас скину фото

у вики вроде есть апи, но данных нужно много получить

выше ответили - качай дамп торрентом

API нет у сайта

это ж шопифай, апиха есть, только ключи нужны

Всем привет. Вопрос по AIOHTTP (последняя версия). В aiohttp в WebSocketResponse есть параметр heartbeat для отправки клиенту ping с указанным интервалом в секундах async def websocket_handler(request): ws = web.WebSocketResponse(heartbeat=2.0) await ws.prepare(request) async for msg in ws: if msg.tp == aiohttp.MsgType.text: if msg.data == 'close': await ws.close() else: ws.send_str(msg.data + '/answer') elif msg.tp == aiohttp.MsgType.error: print('ws connection closed with exception %s' % ws.exception()) print('websocket connection closed') return ws К этому сокету подключаюсь из браузера через js:new WebSocket('ws://127.0.0.1:8080/ws');. Так вот в браузер не отправляются ping сообщения при таком раскладе. Что не так?

Как ты определяешь, что не отправляются?

это ж шопифай, апиха есть, только ключи нужны

бля у них апи есть развк и с помощью апи можно разве делать такие вещи?

в браузере в devtools

Может антивирус?

ERROR: S client not available

а в один поток не вылетает ошибка?

нет и в 2 нет и 3 нет а в 4 иногда но реже

в браузере в devtools

а конкретнее? что должно быть и что де факто

Это што, нода через cgi???

нет и в 2 нет и 3 нет а в 4 иногда но реже

может, ты какие-то не thread safe библиотеки юзаешь?

Это што, нода через cgi???

это пост запрос на Js

может, ты какие-то не thread safe библиотеки юзаешь?

я даже не представлю о чем ты говоришь. https://python-scripts.com/threading по примерам

я даже не представлю о чем ты говоришь. https://python-scripts.com/threading по примерам

ну то есть всё на стандартных питонячьих пакетах?

ну то есть всё на стандартных питонячьих пакетах?

да. не чего лишнего не ставил.

это ж шопифай, апиха есть, только ключи нужны

API не особо поможет

да. не чего лишнего не ставил.

какая ось?

вообще походу надо код смотреть

ubuntu 16

а конкретнее? что должно быть и что де факто

как я себе представляю c сервера должно отправиться сообщение с текстом ping, на стороне клиента на это сообщение нужно ответить текстом pong. И так с определенным интервалом в секундах heartbeat

server LTS

какая ось?

ось жалуеться что программа вылазеет за пределы памяти

ось жалуеться что программа вылазеет за пределы памяти

а, ну тогда чекни свои пределы памяти, что можно сказать

что-то тяжёлое делаешь, значит

что за пределы памяти?

как я себе представляю c сервера должно отправиться сообщение с текстом ping, на стороне клиента на это сообщение нужно ответить текстом pong. И так с определенным интервалом в секундах heartbeat

так. и ты поставил обработчик событий ping и он не срабатывает?

что за пределы памяти?

давай ты загуглишь?

что за пределы памяти?

ну, сколько памяти у тебя на машине доступно

разширил память до 4. пик 1 гигобайт занят из 4

максимум 30% загрузки.

если это какое-нибудь облако, могут и киллять

давай ты загуглишь?

гуглил. в осноном пишут для С++. Для питона не каких комментов. Да и Питон утверждает кто его программы не выходят за пределы стека.