даже если в d ключами являются не строки?

а когда dict(**d), то ты передаешь это в функцию dict (или это конструктор), а значит ключи становятся кейвордами. А кейворды должны быть строками

а в первом случае почему тогда ему и числа катят?

>>> d = {(1,2):3} >>> d2 = {**d} >>> d3 = dict(**d) Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: keyword arguments must be strings

и работает нормально d[1]

потому что ключами словаря могут быть любые hashable

ну вот. Собственно, в чём смысл

а кейвордами у коллаблов только строки

и все. Просто встроенные ограничения синтаксиса

ааа, вроде что-то понял

нельзя написать some_func(1=15, (2,3)=4)

потому что синтаксис не дает

да, такие параметры и словарь - разные вещи

спасибо

просто хотел сложить 2 словаря по типу d = dict(**d1, **d2), а выйдет лишь что-то вроде d = {}; d.update(d1)... ну или через цикл, если их много

делай через {**d1, **d2}

а если там ключём не строка будет?

вроде это начиная с 3.5 работает, в 3.4 нет

так - можно

аа, без dict вообще?

именно

А занимался кто-нибудь собирательством данных с сайтов? В частности вызывает трудности взаимодействие с динамическими и тормозными сайтами, использую селениум. Как на самом деле нужно такое делать?

круть. Ещё раз спасибо

{**d1, **d2} точно не будет работать в 3.4. Нарвался на это на этой неделе

Правильно использовать апи или не пиздить данные вообще

вот

Правильно использовать апи или не пиздить данные вообще

Эка ты простой, во первых было бы апи, я бы селениумом не наслаждался, во вторых данные не пиздятся т.к. это открытые данные, просто собирать руками это както дурацки

парни почему scrollbar не робит, хотя бы по вертикали https://pastebin.com/DwukErKP

Всем привет

Есть пакет чтоб xls в csv переводило?

neprivet.ru

А то ручками писать дико влом

Пару недель назад начал учить питон, поэтому заранее извиняюсь за возможно глупый вопрос. Написал парсер для биржи binance используя 3 разных ссылки из api-документации. Вытягиваю из них нужные данные, функция calculate() вызывает 3 функции с этими запросами, далее производит необходимые мне расчёты и отсылает полученные результаты тг-боту. Сама функция заключена в бесконечный цикл с перехватчиком ошибок: while True: try: calculate() time.sleep(0.4) except Exception as e: print('WTF?!: ', e) time.sleep(10) Переодически в логах видел нижеприведённую ошибку: HTTPSConnectionPool(host='www.binance.com', port=443): Max retries exceeded with url: /api/v1/ticker/allBookTickers Бот проработал 3 дня и заглох. В логах проспамлена эта же ошибка... В документации написано, что 8 запросов в секунду является нормой. Исходя из моих расчётов - этот лимит я не превышаю.. Вопрос: если я куплю обновляемую базу прокси и пущу данный скрипт через неё, это решит данную проблему?

Есть пакет чтоб xls в csv переводило?

pandas должен уметь

Спасибо)

Пару недель назад начал учить питон, поэтому заранее извиняюсь за возможно глупый вопрос. Написал парсер для биржи binance используя 3 разных ссылки из api-документации. Вытягиваю из них нужные данные, функция calculate() вызывает 3 функции с этими запросами, далее производит необходимые мне расчёты и отсылает полученные результаты тг-боту. Сама функция заключена в бесконечный цикл с перехватчиком ошибок: while True: try: calculate() time.sleep(0.4) except Exception as e: print('WTF?!: ', e) time.sleep(10) Переодически в логах видел нижеприведённую ошибку: HTTPSConnectionPool(host='www.binance.com', port=443): Max retries exceeded with url: /api/v1/ticker/allBookTickers Бот проработал 3 дня и заглох. В логах проспамлена эта же ошибка... В документации написано, что 8 запросов в секунду является нормой. Исходя из моих расчётов - этот лимит я не превышаю.. Вопрос: если я куплю обновляемую базу прокси и пущу данный скрипт через неё, это решит данную проблему?

Нет

Если к апи по токену, то нет смысла

Если апи публичный полностью, то да

публичный

Лс

Ща подскажу

Давайте вброшу простую задачку. Как бы вы написали функцию minmax(i: Iterable), возвращающую тупл (min(i), max(i))?

Так бы и написали, или я не знаю чего-то

Давайте вброшу простую задачку. Как бы вы написали функцию minmax(i: Iterable), возвращающую тупл (min(i), max(i))?

А, ну лучше в цикле оба искать

Но жизнь слишком коротка, чтоб писать цикл

поэтому можно скопировать мой

поэтому можно скопировать мой

return min(l), max(l) быстрее, я померил

Никак не могу найти, pipenv поддерживает pypy?

простой и быстрый вопрос - как проще всего на птоне сделать валидацию ямла/словаря на предмет того, что там есть нужные поля

if set(d) >= {'a', 'b', 'c'}

попробовал взять pykwalify, но не осилил. То есть схему сделал, но выдирать из его эксепшнов, что именно ему не понравилось, мне чот не хочется уже

ну то есть надо так - в корне должен быть components, если его нет, то ругнуться, что в корне нет components.

внутри components должны быть записи, в каждой должен быть command. Если нет, то ругнуться, указать запись, у которой ее не нашлось

и так далее

понятно, что можно руками все пробежать, но мож есть чот готовое

Есть всякие json schema, в простом случае можно и ручками

подскажите, есть ли какой-нибудь сервис для тестовых хттп-запросов? Причём хотелось бы посылать пост запросы, с последующим отображением содержимого. То есть, к примеру, простой чатик-флудилка, на котором можно пофлудить сообщениями через скрипт.

httpbin.org подойдёт для этого?

Какую библиотеку используете для EBNF парсинга? Видел grako, но удобен и быстр ли он?

Работал только с PLY, там простой BNF. Но правила несложно переделать из EBNF в BNF.

Cannot be used on its instances more

Короче, попрощайся с getitem ?

народ, кто знает как можно спарсить текст с веб страниц подобных вот этой? view-source:https://help.salesforce.com/articleView?id=000003652&type=1 засада в том что собстно отображаемый текст в сорсе страницы отсутствует, судя по всему как-то динамически рендерится откуда-то

народ, кто знает как можно спарсить текст с веб страниц подобных вот этой? view-source:https://help.salesforce.com/articleView?id=000003652&type=1 засада в том что собстно отображаемый текст в сорсе страницы отсутствует, судя по всему как-то динамически рендерится откуда-то

Открываешь консоль в браузере, обновляешь страницу, ctrl+f, набираешь фрагмент нужного текста, открываешь найденный запрос и разбираешься, что для него нужно

ERROR: S client not available

так нету текста по ctrl-f, в том-то и дело

там вставки .JS через секцию и всякое такое

Какой текст нужен?

а, погодь, вот нашел. а почему его нет в view source тогда

Потому что это ajax, внезапно

ну допустим, я не спец. Я пытался urllib грабнуть собственно эту страницу

естественно хрен там что нашлось

в общем как в питоне аналог такого поиска через консоль элементов хрома сделать?

Найти что надо в хроме и понять, как строить запрос в общем случае

Либо использовать всякие костыли вроде selenium

так а какой конкретно текст нужен?

<td colspan="1" rowspan="1">13.108.238.128 - 13.108.238.143</td>

ну вот например

вообще гореть им в аду за такое в отдельном котле, такую инфу все уважающие себя давно публикуют если не в json то хотя бы в xml или cleartext

Там json

где?

json это вот, у нормальных людей

https://ip-ranges.amazonaws.com/ip-ranges.json

https://pastebin.com/37UcFQNv держи курл

Если они не хотят давать всем подряд информацию в обход сайта, это их право

круто. спасибо, а как такое самому построить?)))

Открываешь консоль в браузере, обновляешь страницу, ctrl+f, набираешь фрагмент нужного текста, открываешь найденный запрос и разбираешься, что для него нужно

Вот так

дошло наконец. спасибо. разобрался и даже чуток подсократил :) единственное что пугает - "release":"214.18.0"

как бы оно не перестало парситься когда версия страницы обновится

А ты найди, откуда оно берется, и бери из того же места

тройной inception?

Все как в жизни

Но это можно делать один раз в начале и куда-нибудь сохранять

дык...того и добиваюсь