юзаю монго с библиотекой mongoengine

Shelve

Блин, я ща забью и дальше буду юзать pickle

Что за данные нужно хранить?

Что за данные нужно хранить?

Кучу цифарок

Так тебе же для тестов нах тебе тогда база?

sqlite используй, чо мозги ебать

А букавки?

ИД юзера, ИД чата, кол-во монет, ...

А букавки?

Букафки только в виде юзернеймов

Связка ИД юзера — юзернейм

Скулайта за глаза хватит

Хорошо, спасибо

Пойду маны читать

Кстати, тот чел, который ушел ставить генту, так и не вернулся :(

До сих пор ставит

Компилит телегу, небось

Мир собирает

sqlite проще будет в разы, канеш

slowpoke.jpg

Мир собирает

+

Кстати, тот чел, который ушел ставить генту, так и не вернулся :(

Надо будет собрать как-нибудь ради интереса.

скрипт в n процессов получает html .map(get_html, url_list) потом каждый html отдается своей функции, которая извлекает из него данные. но в нескольких функциях внутри есть снова get_html(some_scraped_url) и как только скрипт доходит до такой функции, все остальные процессы замолкают и все дальше работает в один процесс. если эти функции закомментить, то все ок. Почему и как это пофиксить)?

выкинуть мультипроцессинг?

Есть такая структура: [{'a': 1}, {'b': 2}, {'c': 3}] как быстрее всего узнать, существует ли словарь в ней с с ключем, если да, пропустить, если нет, то добавить.

for... if 'key' in dict?

Неть

Как добавить в словарь только значение? В моем коде и ключ и значение добавляются, а мне надо только значение abilities = {strength: 0, health: 0, wisdom: 0, agility: 0} strength = int(input('Сила: ')) health = int(input('Здоровье: ')) wisdom = int(input('Мудрость: ')) agility = int(input('Ловкость: ')) abilities[strength] = strength abilities[health] = health abilities[wisdom] = wisdom abilities[agility] = agility abilities.items() print(abilities)

Есть такая структура: [{'a': 1}, {'b': 2}, {'c': 3}] как быстрее всего узнать, существует ли словарь в ней с с ключем, если да, пропустить, если нет, то добавить.

с каким ключом?

Как добавить в словарь только значение? В моем коде и ключ и значение добавляются, а мне надо только значение abilities = {strength: 0, health: 0, wisdom: 0, agility: 0} strength = int(input('Сила: ')) health = int(input('Здоровье: ')) wisdom = int(input('Мудрость: ')) agility = int(input('Ловкость: ')) abilities[strength] = strength abilities[health] = health abilities[wisdom] = wisdom abilities[agility] = agility abilities.items() print(abilities)

не кури это больше

Как добавить в словарь только значение? В моем коде и ключ и значение добавляются, а мне надо только значение abilities = {strength: 0, health: 0, wisdom: 0, agility: 0} strength = int(input('Сила: ')) health = int(input('Здоровье: ')) wisdom = int(input('Мудрость: ')) agility = int(input('Ловкость: ')) abilities[strength] = strength abilities[health] = health abilities[wisdom] = wisdom abilities[agility] = agility abilities.items() print(abilities)

Не использовать словарь)

Использовать список

не кури это больше

??

И не курить это больше, да

с каким ключом?

Существует ли словарь с таким-то ключем. В данном случае, a, 'b', 'c'.

Я сделал с флагом, но мне такой варик страшно не нравится

Существует ли словарь с таким-то ключем. В данном случае, a, 'b', 'c'.

keys = set(key for item in dictlist for key in item) if key in keys: ...

>>> x = [{'a': 1}, {'b': 2}, {'c': 3}] >>> 'a' in dict(map(lambda q:list(q.items())[0], x)) True >>> 'z' in dict(map(lambda q:list(q.items())[0], x)) False >>>

>>> x = [{'a': 1}, {'b': 2}, {'c': 3}] >>> 'a' in dict(map(lambda q:list(q.items())[0], x)) True >>> 'z' in dict(map(lambda q:list(q.items())[0], x)) False >>>

шоэта

но ведь работает.

>>> x = [{'a': 1}, {'b': 2}, {'c': 3}] >>> 'a' in dict(map(lambda q:list(q.items())[0], x)) True >>> 'z' in dict(map(lambda q:list(q.items())[0], x)) False >>>

ебать мой хуй!

попытка привести его список словарей к обычному словарю.

янихуянепонял.жипег

как научиться писать на перле на питоне

это ты дергаешь первые пары каждого дикта...

и превращаешь в словарь

херня какая-то

:DDDD

Просто ирл эти словари пиздец здоровые, а их количество ебанутое. Оперативу под 8Г засирают за минутку. У меня сегодня кровь из глаз шла пока с ними мучался

это ты дергаешь первые пары каждого дикта...

ну у него дикты из одного значения

Просто ирл эти словари пиздец здоровые, а их количество ебанутое. Оперативу под 8Г засирают за минутку. У меня сегодня кровь из глаз шла пока с ними мучался

а мож это, генераторы?

А мож на си переписать?

наркоманы. наркоманы вокруг.

:( ну лан, извините

Просто ирл эти словари пиздец здоровые, а их количество ебанутое. Оперативу под 8Г засирают за минутку. У меня сегодня кровь из глаз шла пока с ними мучался

откуда словари приходят?

откуда словари приходят?

Из другого сервера. Это выгребание реалтайм статистики.

ну как приходят? в виде файллогов? в виде http запросов?

По сокету.

а че ты с ними делаешь потом?

парсишь и кидаешь куда-нибудь?

По сокету.

json штоле?

Как-то так.

json штоле?

Рав сокеты

А словари в каком виде?

понятие raw для сокетов имеет довольно специфическое значение

ну, чтобы объекту превратиться в питоний словарь, ему надо сначала в каком-то формате прийти по сокетам вот и спрашиваем, как json, pickle там

ERROR: S client not available

А словари в каком виде?

Ну выше же показал. Но это уже мной сформированная структура. Пробовал днем другой вариант вида вложенных словарей.

Формируй другую структуру

Например, список строк

Или базу sqlite

Или базу sqlite

Это в памяти только. Никакой базы. Так нужно.

Базу и в памяи можно

Да, но смысл юзать какой-нибудь MEMORY скуля.

Могу предположить, что он быстрее вложенных словарей

Схерали он будет быстрее?

Потому что там не надо делать вот такие извращения

>>> x = [{'a': 1}, {'b': 2}, {'c': 3}] >>> 'a' in dict(map(lambda q:list(q.items())[0], x)) True >>> 'z' in dict(map(lambda q:list(q.items())[0], x)) False >>>

выкинуть мультипроцессинг?

но с ним в неск раз быстрее

а чем моё извращение не устроило-то?

но с ним в неск раз быстрее

не совсем

>>> x = [{'a': 1}, {'b': 2}, {'c': 3}] >>> 'a' in dict(map(lambda q:list(q.items())[0], x)) True >>> 'z' in dict(map(lambda q:list(q.items())[0], x)) False >>>

Это я попробую в любом случае. Но с базой тему ты задвинул стремную.

а чем моё извращение не устроило-то?

Оно тоже линейное

на первой загрузке да

потом остается лишь поддерживать сет ключей

после чего переборов больше не будет

Тогда можно просто взять и поддерживать более простую структуру

сет

Или просто {'a':1, 'b':2, 'c':3}

не совсем

в смысле? если убрать функции, где повторно get вызывается, то в неск. раз быстрее

Быстрее мультитрединга?

нет, быстрее чем в 1 прцоесс

А чем потоки не нравятся?

он не умеет ни в то ни в то

))

тип того

Или просто {'a':1, 'b':2, 'c':3}

Нельзя. Там вложенные словари, там много данных. Их по логике нужно апдейтить или аппендить.

ну я с ними пытался сделать, получилось, чтобы работало в два потока

{'a': {'a':1}, 'b':{'b':2}}