@ru_python

Страница 9237 из 9768
Глеб
04.06.2019
18:46:53
+ не менее важно, чтобы софт был скопилин с поддержкой инструкций
numpy-то? Думаю, он по умолчанию с поддержкой собран.

Евгений
04.06.2019
18:47:19
а что порекомендуешь сделать?
для начала посмотреть, что с CPU проиходит. Дальше смотреть либу которая используется и что она делает.

numpy-то? Думаю, он по умолчанию с поддержкой собран.
Я правда его не трогал около лет 6 :)

Google
Евгений
04.06.2019
18:48:04
Даже не смотрел в его сторону

а что порекомендуешь сделать?
И еще вопрос какой размер картинки которую обрабатываешь?

Глеб
04.06.2019
18:48:50
Ох там ад с описанием этих AVX. Вроде как на каждое ядро свой блок, но живут они своей жизнью, и если запускать несколько процессов, то будут постоянные промахи кешей.

Вот попробовать-бы параллелить надвое, да с прибивкой гвоздями к ядрам, и оценить есть выигрышь или нету.

Askhat
04.06.2019
18:50:28
Ребят, подскажите как архитектурно реализовать отправку почтовых уведомлений через фоновые задачи, которые будут учитывать часовые пояса пользователей? Как задачи создавать, на каждого пользователя или одну задачу для всех пользователей?

Глеб
04.06.2019
18:50:30
плюс сами операции играют роль, элементарно не всё само векторизуется

Denis
04.06.2019
18:50:33
Вот попробовать-бы параллелить надвое, да с прибивкой гвоздями к ядрам, и оценить есть выигрышь или нету.
на 2 процесса единственный случай когда выигрыш есть и он более менее существеннен

Denis
04.06.2019
18:51:43
И еще вопрос какой размер картинки которую обрабатываешь?
не картинки у меня,180 матриц размером примерно 17к на 2

количество матриц неуклонно растет и скоро дойдет до тыщи

Евгений
04.06.2019
18:52:30
не картинки у меня,180 матриц размером примерно 17к на 2
А можно проще сказать? :) 100х100 пикселей? :)

Google
Denis
04.06.2019
18:53:09
в три раза больше правда

300 x 100

Tynuk
04.06.2019
18:53:45
как сохранить объект на диск?

чтобы потом с ним работать

Askhat
04.06.2019
18:54:54
одну на всех, по задаче каждому, очевидно, ведет к поражению.
А как мне учесть часовой пояс? Условно если мне надо каждую неделю в 9 утра всем рассылать письмо в их часовом поясе

Глеб
04.06.2019
18:54:55
на 2 процесса единственный случай когда выигрыш есть и он более менее существеннен
https://stackoverflow.com/questions/40217873/multiprocessing-use-only-the-physical-cores - попробуй осилить это обсуждение и запустить в 4 процесса с привязкой к ядрам.

Евгений
04.06.2019
18:54:58
одну на всех, по задаче каждому, очевидно, ведет к поражению.
Я бы не говорил, что одну на всех это хороший вариант. А что если у него пользователей слишком много?

Глеб
04.06.2019
18:56:07
А как мне учесть часовой пояс? Условно если мне надо каждую неделю в 9 утра всем рассылать письмо в их часовом поясе
запускать каждый час. Или по одной задаче на каждый часовой пояс. По одной задачи на каждую сущность из заведомо известного и ограниченного набора - нормальное решение. А вот количество юзеров может вырасти.

Евгений
04.06.2019
18:57:59
если каждому из "много" назначить свою задачу будет ад и погибель
Я не говорил, что надо на каждого по задаче делать. Вот вариант с разделение на часовые пояса более хороший как мне кажется.

Глеб
04.06.2019
19:00:01
А что поделать, перфоманс в питоне он такой.

ничего себе там простыня
http://sorami-chi.hateblo.jp/entry/2016/04/29/000000 - вот ещё

тут поменьше

Тебе пул не нужен, так что можешь обойтись тупо taskset.

Ну или свой написать, если вдруг понадобится.

Google
Denis
04.06.2019
19:02:43
Ну или свой написать, если вдруг понадобится.
ну свой и на плюсах можно всегда написать

http://sorami-chi.hateblo.jp/entry/2016/04/29/000000 - вот ещё
а почему ты отталкиваешься именно от привязки к ядру?

Серафима
04.06.2019
19:03:14
Расширяет кругозор. Смотря цели какие. Ночам нужно.
Для кругозора могу поступить на другую специальнось, хотя скорее всего на какую-нибудь абстрактную гуманитарщину типа философии

Хотя я технарь, но похуй

Глеб
04.06.2019
19:03:35
а почему ты отталкиваешься именно от привязки к ядру?
так ведь если у тебя вычисления будут прыгать между ядрами, то ты весь профит на переключении потеряешь

Серафима
04.06.2019
19:03:55
Хотя я технарь, но похуй
Имхо некорректная дихотлмия технарь/гуманитарий

Denis
04.06.2019
19:03:56
матерь божья.....

Глеб
04.06.2019
19:04:32
ОС точно перекидывает

Denis
04.06.2019
19:04:40
добро пожаловать в мир многопоточки так сказать

Askhat
04.06.2019
19:05:15
запускать каждый час. Или по одной задаче на каждый часовой пояс. По одной задачи на каждую сущность из заведомо известного и ограниченного набора - нормальное решение. А вот количество юзеров может вырасти.
Соответственно если мне нужна задача на каждую неделю с таском на каждый час, это нужно будет писать условия которые будут проверять отрезки времени на неделю и так далее на каждый часовой пояс??

Denis
04.06.2019
19:05:37
ОС точно перекидывает
хантер х хантер кста неплох, мне зашло, даже несмотря на вычурность местами

Глеб
04.06.2019
19:07:00
Хотя у тебя, вроде, каждый процесс сразу получает все данные, скакать там должно быть нечему...

хрен его знает, попробуй прибить гвоздями и посмотреть.

хантер х хантер кста неплох, мне зашло, даже несмотря на вычурность местами
редкий случай, когда длиннющий сенен не сливается к концу

Denis
04.06.2019
19:08:24
ну или я их не заметил

Andrey
04.06.2019
19:08:40
как вы от многопоточности к аниме перешли?О_о

Askhat
04.06.2019
19:09:25
сложно звучит, попробуй проще
Пока что представления не имею вообще как делают такое другие ребята, поэтому за советом и пришёл. Точно знаю, что кучу задач запускать вообще не варик. Сейчас у меня сделана одна задача, но она в UTC. Пользователям в 100% случаях приходит письмо не во время

Google
Глеб
04.06.2019
19:09:57
ну или я их не заметил
я-бы все-таки посмотрел что за рассчеты внутри процессов исполняются, и насколько ядра загружены. А то, может, там всё проще и тупее.

Andrey
04.06.2019
19:11:19
а есть сторонние сервисы такого рода?

Серафима
04.06.2019
19:13:31
Так ойти вуз чисто как буст при трудоустройстве стоит того чи не стоит?

Или проще вкококотиться

Denis
04.06.2019
19:14:25
Или проще вкококотиться
проще для начала понять надо оно тебе или нет

Серафима
04.06.2019
19:14:51
А если не уверен, что надо надолго

Denis
04.06.2019
19:14:57
в мат шарагах тянки не очень, читать надо все время, а зарплаты такие же или ниже

Глеб
04.06.2019
19:15:17
Denis
04.06.2019
19:15:21
я как социобыдло значительно теряю в том, что тяночек нет

Серафима
04.06.2019
19:15:26
Просто скопить кэшб и возможно стать рнн господином

Или сменить потом сферу

И в вольное плавание уйти

Ты с чем сравниваешь

Denis
04.06.2019
19:17:38
ну какой нибудь условный чел с бизнес факультета или политологического будет получать побольше, при этом выполняя значительно меньшую работу

в среднем

это если про зп

Google
Denis
04.06.2019
19:20:31
как ты представляешь себе работу чела с бизнес факультета?
познакомился с челом у которого батя депутат, он устроил, все

Серафима
04.06.2019
19:20:38
познакомился с челом у которого батя депутат, он устроил, все
Нет, с правительством я дел иметь не буду

Из идеологических побуждений

Andrey
04.06.2019
19:22:09
познакомился с челом у которого батя депутат, он устроил, все
я думаю для этого надо сначала попасть в вуз где учится чел у которого батя депутат, так?

Denis
04.06.2019
19:22:25
Серафима
04.06.2019
19:22:32
А почему везде >ряяяяяя 300кк/наносек погромист итт
И на хедхантере овердохуя обещают погромиздам

Denis
04.06.2019
19:22:43
идти не в тир1 вуз вообще смысла не вижу, про них не знаю и говорить не могу тк не сталкивался

И на хедхантере овердохуя обещают погромиздам
зп у таксиста глянь еще, она такая же

Проксимов
04.06.2019
19:23:01
Так такс такс

Что тут у нас

Ага

Еблан

Denis
04.06.2019
19:23:14
или у любого другого работяги

Еблан
не баньте пожалуйста

Страница 9237 из 9768