всмысле должно быть ключики ключиками, а по ключикам данные. А у тебя в ключиках данные?

контейнс в ключах?

Так ? 'a' in x

Да

Но в одном месте отдаются только данные без ключей.

Но в одном месте отдаются только данные без ключей.

у тебя все сложено либо в dict, либо в list. вшсе без ключа не может существовать

if type(t) == dict: проверяем на тип, если есть, то как со словарем, если нет, то как со списком

кстати, у мебя что, во входящем json нет строгой структуры?

Это API. Не мое

if type(t) == dict: проверяем на тип, если есть, то как со словарем, если нет, то как со списком

Там строка возвращается

Там строка возвращается

t = {"any key": "any data"}

Ну так я же говорил

в одних случаях возвращяется: t = {"any key": "any data"}

И в двух случаях t = {"any data"}

в одних случаях возвращяется: t = {"any key": "any data"}

С этими я разобрался

И в двух случаях t = {"any data"}

А с этим не могу

в одних случаях возвращяется: t = {"any key": "any data"}

а в других должно возвращаться t=["any data"], или выкинь нафик свой парсер json и юзай тот, который встроен в питон

хотя после парсинга, если в json имеется только одно значение, то будет так: ["any data"]

стоп, сам запутался

наоборот. https://docs.python.org/3/library/json.html

['029', '100yen Locker', '108-Gou'],

это то что без ключей приходит

мне приходит:

{'title': 'Light Novel Illustrators', 'ajax_content': 'illustrator', 'alphabet': 'all', 'limit': '3', 'persons_list': ['029', '100yen Locker', '108-Gou'], 'total_persons': '1463'}

это то что без ключей приходит

смотри в доку, там примеры есть правильные

Потом я делаю

json_data = json.loads(str(res.text)).get('persons_list', [])

и после того как циклом прохожусь получаю строку

А в других я получаю: [{'label_title': '2D Dream Bunko'}, {'label_title': '2D Dream Novels'}]

если у тебя по одному ключу всегда прилетает словарь, по другому список, а по третьему строка, то не городи огородов, и проверяй только наличие ключа, и если он есть, парсь данные, если нет, проверяй следующий ключ

Так я проверку в цикле делаю

И в тех случаях где список, будет строка (в цикле)

И в тех случаях где список, будет строка (в цикле)

полагаю, что в этом случае у тебя ломается весь парсинг нафик

Частично:D

Но с условиями нормальн овсе работает

или ты что-то там такое накрутил, что у тебя прям проблемы вылетают

Могу пример jsona кинуть

Для двух случаев

https://pastebin.com/HTEi7aUj

https://pastebin.com/HTEi7aUj

что-то ты там ппц понакрутил

Строго не судите, я питон н енастолько хорошо знаю)

тебе проверять на тип надо то, что у тебя get возвращает

Ну а я про что говорил

Я писал что в одном случае ключи есть, а в двух их просто нет)

Я писал что в одном случае ключи есть, а в двух их просто нет)

так зачем ты эти два случая вообще в цикл загоняешь?

Для записи в бд

Для записи в бд

сначала нормализируй данные, собери их в один словарь, а потом пройди по этому словарю и запиши в бд

не смешивай котиков и печеньки, иначе долго шерстью плеваться будешь потом))

не смешивай котиков и печеньки, иначе долго шерстью плеваться будешь потом))

?

Для записи в бд

смотри, в моем коде, все данные сводятся в один список, который является очередью для второго потока, пишущего в базу. А сама функция записи унифицирована и очень маленькая. всего один запрос.

смотри, в моем коде, все данные сводятся в один список, который является очередью для второго потока, пишущего в базу. А сама функция записи унифицирована и очень маленькая. всего один запрос.

Хм. А список с какими значениями? Пример, хочу понять. Потому что я немного не понимаю cтрочку 'insert into base ({}) values ({})'.format(self.col, self.val)

Согласно документации GIL пробуждает\усыпляет потоки в тот момент времени, когда потоки не трогают какие-то общие данные. И тут же написано, что он делает это каждые 5мс. Вопрос как это все вяжется?

Вроде логично

За 5мс поток может не успеть данные обработать

За 5мс поток может не успеть данные обработать

тогда поток улетает в спячку по шедулеру. другой поток просыпается

Ага. В потом просыпается и кто то уже попортил данные к которым он обращаться начал

да, такое бывает, память общая

для этого нужны всякие боркировщики типа мьютексов, семафоров

За 5мс поток может не успеть данные обработать

Планировщику все равно обработает поток данных за 5 сек или нет, в случае системного планировщика он вообще работает в слепую подгружая в TSS состояние регистров из ядра и восстанавливая контекст выполняет N тактов(если еще прерывания не произошло). Так что случай "В потом просыпается и кто то уже попортил данные" это уже руки разработчика. Если 2 дескриптора создано в 2 процессах на одну и ту же файловую ноду, то это вопрос синхронизации данных процессов

А GIL по сути тот же самый шедулер который просто должен распределять время выполнения со встроенной синхронизацией. типо control flow над несколькими контекстами

За 5мс поток может не успеть данные обработать

https://www.dabeaz.com/python/UnderstandingGIL.pdf

Друзья, а кто-нибудь уже юзал APIStar на проде? Что скажите про него?

подскажите, как взять первый разряд двоичного числа для сравнения

Здравствуйте

Привет

Как дела программисты

?

подскажите, как взять первый разряд двоичного числа для сравнения

ну подели на 10 может.... и округли

Ребят, подскажите пожалуйста по потокам. Есть входные данные (20000 ссылок). Хочу запустить 4 и более потоков, в каждом выполнять парсинг с интервалом запрос в 4 секунды. Может кто пример написать? С потоками еще ни разу не работал..

Ребят, подскажите пожалуйста по потокам. Есть входные данные (20000 ссылок). Хочу запустить 4 и более потоков, в каждом выполнять парсинг с интервалом запрос в 4 секунды. Может кто пример написать? С потоками еще ни разу не работал..

https://www.saltycrane.com/blog/2008/09/simplistic-python-thread-example/

у меня возникает зацикленная рекурссия можете по коду подсказать, что я делаю не так?

у меня возникает зацикленная рекурссия можете по коду подсказать, что я делаю не так?

Показывайте

def recurssion(str): if len(str)>1: b=str[0] for i in str[1?: if i in "{}[]()": if i in "([{": recurssion(str[str.index(i)?) elif i==")" and b=="(": break elif i=="]" and b=="[": break elif i=="}" and b=="{": break else: return False else: return False def checkio(expression): for i in expression: if i in "({[": recurssion(expression[expression.index(i)?) return True

https://www.saltycrane.com/blog/2008/09/simplistic-python-thread-example/

Вопрос. А можно ли как то объединить с https://github.com/tqdm/tqdm ?

def recurssion(str): if len(str)>1: b=str[0] for i in str[1?: if i in "{}[]()": if i in "([{": recurssion(str[str.index(i)?) elif i==")" and b=="(": break elif i=="]" and b=="[": break elif i=="}" and b=="{": break else: return False else: return False def checkio(expression): for i in expression: if i in "({[": recurssion(expression[expression.index(i)?) return True

друг, такую задачу можно не сложнее решать без рекурсии. через стек

if i in "({[": .. if i in "([{": recurssion(str[str.index(i)?) Думаю здесь пахнет жареным

def recurssion(str): if len(str)>1: b=str[0] for i in str[1?: if i in "{}[]()": if i in "([{": recurssion(str[str.index(i)?) elif i==")" and b=="(": break elif i=="]" and b=="[": break elif i=="}" and b=="{": break else: return False else: return False def checkio(expression): for i in expression: if i in "({[": recurssion(expression[expression.index(i)?) return True

меня бы за такое долго били ногами

блин, юзайте режим вставки кода, смайлики бесят

как?

Вижу слеш

кнопка возле единички, там апостроф `