Почему?

кажется два раза один ключ

def new_last_id(id_, message): data = {message.chat.id: id_} database= {} with open('data.json','rt') as file_: database = json.load(file_) database.update(data) with open('data.json','wt') as file_: json.dump(database, file_) def get_last_id(message): with open('data.json','rt') as file_: database = json.load(file_) print(database) last_id = database.get(str(message.chat.id)) return last_id

кажется два раза один ключ

Это как?

кинь файлом

только не копипасть плиз!

прям как есть

да не

json

в новом процессе аргумент в чем передается?

ну тип я создаю процесс и в него пихаю таблицу размером например в 1гб

ты щас кому?

куда он его закинет

ты щас кому?

допустим тебе

как пихаешь?

как пихаешь?

pool.apply_async(func, (table, ))

ну явно не на стек таблица кладется

хм. винда или линукс?

в линуксе вроде форкнется

и ничего не будет копироваться

а дальше линуксовый CoW

эээм... вы про multiprocessing.Pool?

вроде, но я не уверен

эээм... вы про multiprocessing.Pool?

или он будет всегда пиклить?

или он будет всегда пиклить?

будет пиклить и пихать в очередь.

хм. винда или линукс?

линукс конечно

эээм... вы про multiprocessing.Pool?

да

будет пиклить и пихать в очередь.

в какую очередь?

ну, где она находится я имею ввиду

в какую очередь?

multiprocessing.Queue

будет пиклить и пихать в очередь.

хм. То есть надежнее "глобальная" переменная?

хм. То есть надежнее "глобальная" переменная?

так у процессов не может быть глобальных переменных

что это?

у них же разделяемая память

у них же разделяемая память

эээм шта?

ну я не про общую

видимо с некоторыми средствами обмена типа очереди

ну с глобальной переменной это конечно будет работать

что это?

подозреваю, что реклама

но лучше бы сделать shared memory с дочерним процессом явно

но лучше бы сделать shared memory с дочерним процессом явно

это реально?

имхо, если данные не планируется менять, лучше просто форкнуться и переиспользовать

имхо, если данные не планируется менять, лучше просто форкнуться и переиспользовать

да, согласен

проблема лишь в том что в мультипроцессинг до 3.8 shared memory не завезли из коробки.

а как сделать то так?

в смысле он ее использует под капотом но API нет.

имхо, если данные не планируется менять, лучше просто форкнуться и переиспользовать

+

проблема лишь в том что в мультипроцессинг до 3.8 shared memory не завезли из коробки.

а как же Manager?

а

лучше бы завезли треды нормальные

треды нормальные

треды нормальные

только не дают прироста из-за гил?

только не дают прироста из-за гил?

дают в определенных условиях.

и отлично решают свою задачу

имхо, если данные не планируется менять, лучше просто форкнуться и переиспользовать

ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?

нет

ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?

это вроде супернеоптимально

ERROR: S client not available

set(lst) & set(other)

Подскажите, вылетело из головы, можно лямдой - найти свовпадение в поле объекта в списке объектов.. if a_name in (x.name for x in x_arr) - что то похожее на это

ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?

ну был пример с глобальной переменной - но это грубо. Можно просто запускать метод объекта вместо функции, буде твроде то же самое

Подскажите, вылетело из головы, можно лямдой - найти свовпадение в поле объекта в списке объектов.. if a_name in (x.name for x in x_arr) - что то похожее на это

а что надо?

ну был пример с глобальной переменной - но это грубо. Можно просто запускать метод объекта вместо функции, буде твроде то же самое

не понимаю что ты имеешь ввиду

Подскажите, вылетело из головы, можно лямдой - найти свовпадение в поле объекта в списке объектов.. if a_name in (x.name for x in x_arr) - что то похожее на это

Норм же вариант

не понимаю что ты имеешь ввиду

x=[...] def func(): global x ... multiprocssing(func, something)

x=[...] def func(): global x ... multiprocssing(func, something)

утверждается что не будет пикла?

не понимаю что ты имеешь ввиду

правда адо уточнить что конкретно ты делаешь

x=[...] def func(): global x ... multiprocssing(func, something)

но имхо это слегка костыль

но имхо это слегка костыль

да

утверждается что не будет пикла?

не будет

это PoC

вопрос что у него там

map или ещё что

правда адо уточнить что конкретно ты делаешь

ну если конкретно, то я загружаю кучу таблиц из памяти и попарно рассчитываю некоторую другую функцию, определенную как f(table1, table2)

если мап, он не пикли твесь список, он посылает по элементу

если конечно каждый элеент гигабайт, имеет смысл посылать только номера

если мелкие, то выигрыша не будет

в теории можно как-то через https://docs.python.org/3.7/library/multiprocessing.html#module-multiprocessing.sharedctypes попробовать

если конечно каждый элеент гигабайт, имеет смысл посылать только номера

а таблицы оставить глобальными?

если мелкие, то выигрыша не будет

куча таблиц по 30-40 мб

но имхо это слегка костыль

class Runner: def run(self, data): self.data = data pool.map(self.apply, range(len(data)) def apply(self): ... r = Runner() r.run()

куча таблиц по 30-40 мб

откуда они у тебя вообще разом в памяти?

откуда они у тебя вообще разом в памяти?

подгрузил, оперативка позволяет

ну ты можешь чтобы каждый просто грузил только то что ему надо

ну ты можешь чтобы каждый просто грузил только то что ему надо

проблема в том, что предполагается частое переиспользование

ну вон ещё костыль