Евгений
Физическое ядро
denis ⛅️
По идее каждое ядро по отдельности.
тогда не понятно почему параллелится плохо моя задача
Евгений
тогда не понятно почему параллелится плохо моя задача
Уверен, что плохо? Нагрузка на CPU какая?
denis ⛅️
Уверен, что плохо? Нагрузка на CPU какая?
не успел посмотреть к сожалению htop, убежал на зачеты
denis ⛅️
а что порекомендуешь сделать?
Unat
+ не менее важно, чтобы софт был скопилин с поддержкой инструкций
numpy-то? Думаю, он по умолчанию с поддержкой собран.
Евгений
а что порекомендуешь сделать?
для начала посмотреть, что с CPU проиходит. Дальше смотреть либу которая используется и что она делает.
Евгений
numpy-то? Думаю, он по умолчанию с поддержкой собран.
Я правда его не трогал около лет 6 :)
Евгений
Даже не смотрел в его сторону
Евгений
а что порекомендуешь сделать?
И еще вопрос какой размер картинки которую обрабатываешь?
Unat
Ох там ад с описанием этих AVX. Вроде как на каждое ядро свой блок, но живут они своей жизнью, и если запускать несколько процессов, то будут постоянные промахи кешей.
Unat
Вот попробовать-бы параллелить надвое, да с прибивкой гвоздями к ядрам, и оценить есть выигрышь или нету.
Askhat
Ребят, подскажите как архитектурно реализовать отправку почтовых уведомлений через фоновые задачи, которые будут учитывать часовые пояса пользователей? Как задачи создавать, на каждого пользователя или одну задачу для всех пользователей?
Unat
плюс сами операции играют роль, элементарно не всё само векторизуется
denis ⛅️
Вот попробовать-бы параллелить надвое, да с прибивкой гвоздями к ядрам, и оценить есть выигрышь или нету.
на 2 процесса единственный случай когда выигрыш есть и он более менее существеннен
denis ⛅️
И еще вопрос какой размер картинки которую обрабатываешь?
не картинки у меня,180 матриц размером примерно 17к на 2
denis ⛅️
количество матриц неуклонно растет и скоро дойдет до тыщи
Евгений
не картинки у меня,180 матриц размером примерно 17к на 2
А можно проще сказать? :) 100х100 пикселей? :)
denis ⛅️
denis ⛅️
в три раза больше правда
denis ⛅️
300 x 100
Туночка️
как сохранить объект на диск?
Туночка️
чтобы потом с ним работать
Askhat
одну на всех, по задаче каждому, очевидно, ведет к поражению.
А как мне учесть часовой пояс? Условно если мне надо каждую неделю в 9 утра всем рассылать письмо в их часовом поясе
Unat
на 2 процесса единственный случай когда выигрыш есть и он более менее существеннен
https://stackoverflow.com/questions/40217873/multiprocessing-use-only-the-physical-cores - попробуй осилить это обсуждение и запустить в 4 процесса с привязкой к ядрам.
Евгений
одну на всех, по задаче каждому, очевидно, ведет к поражению.
Я бы не говорил, что одну на всех это хороший вариант. А что если у него пользователей слишком много?
Unat
А как мне учесть часовой пояс? Условно если мне надо каждую неделю в 9 утра всем рассылать письмо в их часовом поясе
запускать каждый час. Или по одной задаче на каждый часовой пояс. По одной задачи на каждую сущность из заведомо известного и ограниченного набора - нормальное решение. А вот количество юзеров может вырасти.
Unat
Я бы не говорил, что одну на всех это хороший вариант. А что если у него пользователей слишком много?
если каждому из "много" назначить свою задачу будет ад и погибель
Евгений
если каждому из "много" назначить свою задачу будет ад и погибель
Я не говорил, что надо на каждого по задаче делать. Вот вариант с разделение на часовые пояса более хороший как мне кажется.
Unat
А что поделать, перфоманс в питоне он такой.
Unat
ничего себе там простыня
http://sorami-chi.hateblo.jp/entry/2016/04/29/000000 - вот ещё
Unat
тут поменьше
Unat
Тебе пул не нужен, так что можешь обойтись тупо taskset.
Unat
Ну или свой написать, если вдруг понадобится.
denis ⛅️
Ну или свой написать, если вдруг понадобится.
ну свой и на плюсах можно всегда написать
denis ⛅️
http://sorami-chi.hateblo.jp/entry/2016/04/29/000000 - вот ещё
а почему ты отталкиваешься именно от привязки к ядру?
Серафима O̡͙ ͈_O̧͖̣
Расширяет кругозор. Смотря цели какие. Ночам нужно.
Для кругозора могу поступить на другую специальнось, хотя скорее всего на какую-нибудь абстрактную гуманитарщину типа философии
Серафима O̡͙ ͈_O̧͖̣
Хотя я технарь, но похуй
Unat
а почему ты отталкиваешься именно от привязки к ядру?
так ведь если у тебя вычисления будут прыгать между ядрами, то ты весь профит на переключении потеряешь
Серафима O̡͙ ͈_O̧͖̣
Хотя я технарь, но похуй
Имхо некорректная дихотлмия технарь/гуманитарий
denis ⛅️
матерь божья.....
Unat
ОС точно перекидывает
denis ⛅️
добро пожаловать в мир многопоточки так сказать
Askhat
запускать каждый час. Или по одной задаче на каждый часовой пояс. По одной задачи на каждую сущность из заведомо известного и ограниченного набора - нормальное решение. А вот количество юзеров может вырасти.
Соответственно если мне нужна задача на каждую неделю с таском на каждый час, это нужно будет писать условия которые будут проверять отрезки времени на неделю и так далее на каждый часовой пояс?🧐
denis ⛅️
ОС точно перекидывает
хантер х хантер кста неплох, мне зашло, даже несмотря на вычурность местами
Unat
Хотя у тебя, вроде, каждый процесс сразу получает все данные, скакать там должно быть нечему...
Unat
хрен его знает, попробуй прибить гвоздями и посмотреть.
Unat
хантер х хантер кста неплох, мне зашло, даже несмотря на вычурность местами
редкий случай, когда длиннющий сенен не сливается к концу
denis ⛅️
ну или я их не заметил
Andrey
как вы от многопоточности к аниме перешли?О_о
Askhat
сложно звучит, попробуй проще
Пока что представления не имею вообще как делают такое другие ребята, поэтому за советом и пришёл. Точно знаю, что кучу задач запускать вообще не варик. Сейчас у меня сделана одна задача, но она в UTC. Пользователям в 100% случаях приходит письмо не во время
Unat
ну или я их не заметил
я-бы все-таки посмотрел что за рассчеты внутри процессов исполняются, и насколько ядра загружены. А то, может, там всё проще и тупее.
Andrey
а есть сторонние сервисы такого рода?
Серафима O̡͙ ͈_O̧͖̣
Так ойти вуз чисто как буст при трудоустройстве стоит того чи не стоит?
Серафима O̡͙ ͈_O̧͖̣
Или проще вкококотиться
denis ⛅️
Или проще вкококотиться
проще для начала понять надо оно тебе или нет
Серафима O̡͙ ͈_O̧͖̣
А если не уверен, что надо надолго
denis ⛅️
в мат шарагах тянки не очень, читать надо все время, а зарплаты такие же или ниже
denis ⛅️
я как социобыдло значительно теряю в том, что тяночек нет
Серафима O̡͙ ͈_O̧͖̣
Просто скопить кэшб и возможно стать рнн господином
Серафима O̡͙ ͈_O̧͖̣
Или сменить потом сферу
Серафима O̡͙ ͈_O̧͖̣
И в вольное плавание уйти