denis ⛅️
а как сделать то так?
Alex
в смысле он ее использует под капотом но API нет.
Tishka17
Tishka17
а
denis ⛅️
лучше бы завезли треды нормальные
Alex
треды нормальные
Alex
и отлично решают свою задачу
denis ⛅️
имхо, если данные не планируется менять, лучше просто форкнуться и переиспользовать
ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?
Tishka17
нет
denis ⛅️
ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?
это вроде супернеоптимально
Anonymous
set(lst) & set(other)
Anonymous
Подскажите, вылетело из головы, можно лямдой - найти свовпадение в поле объекта в списке объектов..
if a_name in (x.name for x in x_arr) - что то похожее на это
Tishka17
ты предлагаешь заново для каждого процесса загружать таблицу с диска или как?
ну был пример с глобальной переменной - но это грубо. Можно просто запускать метод объекта вместо функции, буде твроде то же самое
Tishka17
denis ⛅️
🍁 Jaŭhien
Tishka17
не понимаю что ты имеешь ввиду
x=[...]
def func():
global x
...
multiprocssing(func, something)
denis ⛅️
x=[...]
def func():
global x
...
multiprocssing(func, something)
утверждается что не будет пикла?
Tishka17
это PoC
Tishka17
вопрос что у него там
Tishka17
map или ещё что
denis ⛅️
правда адо уточнить что конкретно ты делаешь
ну если конкретно, то я загружаю кучу таблиц из памяти и попарно рассчитываю некоторую другую функцию, определенную как f(table1, table2)
Tishka17
если мап, он не пикли твесь список, он посылает по элементу
Tishka17
если конечно каждый элеент гигабайт, имеет смысл посылать только номера
Tishka17
если мелкие, то выигрыша не будет
Alex
в теории можно как-то через https://docs.python.org/3.7/library/multiprocessing.html#module-multiprocessing.sharedctypes
попробовать
denis ⛅️
если конечно каждый элеент гигабайт, имеет смысл посылать только номера
а таблицы оставить глобальными?
Tishka17
но имхо это слегка костыль
class Runner:
def run(self, data):
self.data = data
pool.map(self.apply, range(len(data))
def apply(self): ...
r = Runner()
r.run()
Tishka17
ну ты можешь чтобы каждый просто грузил только то что ему надо
denis ⛅️
ну ты можешь чтобы каждый просто грузил только то что ему надо
проблема в том, что предполагается частое переиспользование
Tishka17
ну вон ещё костыль
denis ⛅️
типа на всех возможных парах таблиц
Alex
ну ты можешь чтобы каждый просто грузил только то что ему надо
тут можно еще вспомнить про IO кеш
Евгений
ща попробу
Можно поробовать на OpenCL переписать твой код. Я думаю там быстрее посчитает чем через процессы.
Alex
дата и значение на этой дате
если там нет особо извращений в виде типов и дату можно представить в виде числа, ты можешь таки заюзать ctypes типы данных для этого.
Anonymous
Всем привет. Кто нибудь использовал Python для извлечения комментариев с веб страниц?
Unat
Unat
В мыслях не было
Anonymous
Всем привет! Парни кто-нибудь рекомпайлил binary файлы модулей линукса под разные CPU под aarch64 конкретно интересует ?
Туночка️
>>> id = 750000000
>>> p = 1
>>> fch = '{"inline_keyboard": [[{"text": "On pixiv", "url": "https://www.pixiv.net/member_illust.php?mode=medium&illust_id={}"}, {"text": "More", "url": "http://t.me/dpixivbot?start={}"}, {"text": "Share", "switch_inline_query": "{}_{}"}]]}'
>>> fch.format(id,id,id,p)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
KeyError: '"inline_keyboard"'
>>>
Туночка️
в чем трабл???
Туночка️
fch строка
Туночка️
а можно \?
Туночка️
>>> for_channel = json.dumps({'inline_keyboard':
... [
... [{'text':'On pixiv', 'url':'https://www.pixiv.net/member_illust.php?mode=medium&illust_id={{}}'},
... {'text': 'More','url':'http://t.me/dpixivbot?start={{}}'},
... {'text':'Share', 'switch_inline_query':'{{}}_{{}}'}]]
... })
>>> for_channel.format(id,id,id,p)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
KeyError: '"inline_keyboard"'
Туночка️
>>> for_channel = json.dumps({{'inline_keyboard':
... [
... [{{'text':'On pixiv', 'url':'https://www.pixiv.net/member_illust.php?mode=medium&illust_id={}'}},
... {{'text': 'More','url':'http://t.me/dpixivbot?start={}'}},
... {{'text':'Share', 'switch_inline_query':'{}_{}'}}]]
... }})
Traceback (most recent call last):
File "<stdin>", line 3, in <module>
TypeError: unhashable type: 'dict'
>>>
Damir
Нет, бред несу
Туночка️
ничо не понял
го по новой
Туночка️
Чего ты хочешь от этого кода?
ну хочу сделать жсон строку
а потом форматом засунть нужные числа