Alex
Капец чее
м? тебя куда-то не туда понесло. начал ты с GIL, закончил процессами
Alex
Anonymous
Tishka17
Эти объекты итак в памяти находятся зачем их маршалить в байты
Ну давай shared_ptr<vector<shared_ptr<string>> передай в другой процесс
Anonymous
Форки не имеют доступа к род. памяти?
Alex
1. fork далеко не единственный способ запуска дочерних процессов и не поддерживается на всех платформах.
Anonymous
Капец ну и кринж
Tishka17
Казалось бы, при чем тут вообще питон
Tishka17
shared memory
Все тот же вопрос про шаред поинтер
Anonymous
Щас бы объекты в байт сиквенс перегонять чтобы воркер заработал
Alex
shared memory
и? это отменякет необходимость сериализовать данные в ту же shared memory?
Anonymous
Genius
Anonymous
реализуй иначе
На питоне наверно не смогу
Tishka17
Я предложил для какого типа надо реализовать
Tishka17
Слушаю
Anonymous
А на плюсах?
Там можно что угодно мутить над тредпулом
Anonymous
Без IPC
Tishka17
Там можно что угодно мутить над тредпулом
При чем тут треды, если речь о процессах?
Anonymous
При чем тут треды, если речь о процессах?
Речь не о процессах а о распараллеливании задач Процессы тут потому что по другому видимо на питоне нельзя
Alex
Там можно что угодно мутить над тредпулом
запусти мне поток, который гарантированно можно прибить, в случае если он например не завершился вовремя?
Tishka17
Речь не о процессах а о распараллеливании задач Процессы тут потому что по другому видимо на питоне нельзя
Да пошел ты нахуй. Сам перескочил с тредпула на процесс пул, а обвиняешь питон
Alex
речь изначально была про IO.
Anonymous
Это вы перескочили, я о них не писал
Tishka17
Это вы перескочили, я о них не писал
https://t.me/ru_python/1373471 Даааааа?
Tishka17
В обсуждение тредпула ворвался процесс пул и пикл с твоего сообщения, мы тебе начали объяснять
Alex
и? это отменякет необходимость сериализовать данные в ту же shared memory?
Разве нет? Sharing data directly via memory can provide significant performance benefits compared to sharing data via disk or socket or other communications requiring the serialization/deserialization and copying of data.
Alex
кто-то еще и не умеет читать
Anonymous
Сорян)))
Alex
Разве нет? Sharing data directly via memory can provide significant performance benefits compared to sharing data via disk or socket or other communications requiring the serialization/deserialization and copying of data.
есть некоторые граничные случаи типов данных, которые умеют работать с сырыми областями памяти.
Alex
Вопрос про шаред поинтер в силе
или относительно питона: засунь мне в шаред мемори список датаклассов
Alex
забавно, часть моих сообщений висит недоставленной
Evgeniy
Микросервис галочек сбоит
Alex
Микросервис галочек сбоит
не, я ребутнул клиент, сообщения пропали
Anonymous
Значит прикол TPE в том что гил отпускается на сетевом IO, и эти задачи можно параллелить на тредах?
Evgeniy
Хуя
Tishka17
from concurrent.futures import ThreadPoolExecutor from time import time def w(n): return 1 with ThreadPoolExecutor() as e: t=time() for r in e.map(w, range(60000)): print(time()-t) exit()
@cutwater может ты подскажешь почему тело цикла срабатывает не скоро? Даже если размер пула указать явно
djigit0s
кто работал с pymysql, подскажите после соединения с БД и после 1 запроса сбрасывается соединение. В чем может быть проблема? pymysql.err.OperationalError: (2006, "MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer'))")
Tishka17
потому что map ждет завершения всех задач?
Неа, слип в задаче уменьшает время
Anonymous
И на cpu heavy задачах все равно придется приседать через процессы
Alex
Неа, слип в задаче уменьшает время
ан нет, спутал с другим пулом.
Tishka17
И на cpu heavy задачах все равно придется приседать через процессы
Если не юзаются нативные реализации, да. Но тут скорее вопрос вообще в целесообразности это на питоне делать
djigit0s
В чем угодно, например, конфликт айпи адресов. Или ты некорректно юзаешь соединения
def __init__(self, db_settings): self.connection = pymysql.connect(**db_settings) def iblock_elements(self): query = f"SELECT * FROM b_iblock_element WHERE NAME LIKE '%PARSE';" with self.connection.cursor() as cursor: cursor.execute(query) rows = cursor.fetchall() return rows
djigit0s
Ты не юзаешь это из нескольких тредов одновременно?
нет, все одном потоке, запущен кроном
Tishka17
нет, все одном потоке, запущен кроном
Мускул на другом сервере? Или локалхост?
Anonymous
17 с
Ну тогда у челика ржомба вышла
Tishka17
нет, на этом же
Локалхост адрес?
Anonymous
Ну тогда у челика ржомба вышла
Вызов функции сам по себе не свитчит гил, и этот код выполняется не параллельно + оверхед гила
Tishka17
нет, на этом же
Проверь логи мускула, может он падает
Alex
17 с
Потому что map делает submit сначала всем 60к элементам и только потом начинает возвращать результаты
Alex
https://github.com/python/cpython/blob/3.9/Lib/concurrent/futures/_base.py#L589
Alex
CC: @Tishka17 ^
Ivan
всем привет, кто нибудь сталкивался с библиотекой websockets? как можно сделать эвенты при открытии коннекта и закрытии со стороны клиента? То есть, при удачном коннекте отправлять сообщение на сервер о соединении и так же при закрытии
Ivan
я пытаюсь переопределить методы объекта WebSocketCommonProtocol: close() и connection_open()
Tishka17
https://github.com/python/cpython/blob/3.9/Lib/concurrent/futures/_base.py#L589
А почему слип в таске помогает? Все таки Гил?
Alex
А почему слип в таске помогает? Все таки Гил?
а разве помогает? мне не удалось воспроизвести
слава
Привет. Как скачать библеотке для определенной версии питона. У меня их несколько, а надо установить для 3.7
ㅤ
а разве помогает? мне не удалось воспроизвести
Да, слип в 3с даёт результат через 4с вместо 17 * Android, termux