есть ощущение, что тормозит вывод - поскольку это обновление базы

и со временем там увеличивается время записи

не лучше ли отдать больше времени на обсчёт, ну и пускай растёт очередь?

@voidlizard bounded channel / conduit-stm

n потоков обработки, которые из очереди читают

можно попытаться со strategies (parallel и генерить чанки, то там может быть все сложнее)

а почему bounded ?

для безопасности? что бы память не жрало если где-то не расссчитал?

стоит ли с этим возиться вообще?

Ну, нарезать можно в сколько угодно потоков, все равно в ядрышке это упрется в один поток на диск. Зря чтоль бсдшники на линукс псят...

если в один поток, то достаточно одного потока-писателя

Да, на один физдиск.

Дисков же может быть много...

опять я обсуждаю общие вещи тут вместо misc-dev-talks, но тут вопрос - не вносят ли хаскельные примитивы синхронизации слишком большой оверхед

вообще в нашем уютненьком произошел некоторый прорыв - т.е еще пару лет назад распараллеливание означало только то, что все ядра заняты сборкой мусора, а общая производительность падает

сейчас же даже самое тупорылое распараллеливание даёт приход процентов 30

@voidlizard для того, чтобы память не жрал, и было сбалансировано

пара = ну два, ну три, но никак не болше пяти

чего толку IO гонять, если CPU не успевает

ну короче, писать в базу во всех потоках, которые и считают - это ошибка

и приводит к простоям

даже если писать батчами

тем более что оно ни капельки не сложнее, тупо другой импорт

ну и наоборот, чего толку считать, если у нас затык при записи в базу

ну то, что насчитали можно откладывать в пямяти

если она будет жраться на это - ну и пусть, размеры позволяют

а вот если памяти нет и на диске затык - то да, надо ждать

что же это получается

получается стандартное джава приложение, что ли - две очереди и k + n потоков - очередь на обсчёт, очередь на запись ?

все вот так предельно тупо и никакой хаскельной легкости?

ты можешь сделать обработку списка и призвать parallel

если у тебя там все чистое

ну чистое, но не очень - файлы-то читаются

сам обсчет правда чистый, но запись

https://hackage.haskell.org/package/parallel-3.2.1.1/docs/Control-Parallel-Strategies.html

концы не в счет

можно ещё conduit-stm

а это сильно лучше, чем нарезать список вычислений на чанки и обработать в forConcurrently ?

там эти штуки есть, будет один пайп который все делает

forConcurrently не контролирует число потоков в один момент же?

или контролирует

mapConcurrently точно нет

с parallel и очередями - по желанию

но если дать список с числом элементов = число ядер, оно все ядра и загружает

видимо, понимает намёки, с другой строны с чего бы ему создавать потоков больше, чем ядер?

ну у тебя тогда чанков по числу ядер?

ну да, я это явно делаю

mapConcurrently делает число потоков по числу элементов обрабатываемых

ну логично

ну в такой постановке я не вижу большой разницы

я думал там в т.ч. мельче чанки нужны

про стратегии же есть в параллельно-конкурентном?

я про книгу

есть

просто там сильно заморочено по сравнению с forConcurrent

Ребятки, немного оффтопа. iMac -- хорошо? Причина -- дико захотелось себе макось на десктоп. Или это все от лукавого? :)

кому и кобыла - невеста

Адекватное мнение, спасибо

ну что значит "хорошо" ? хорошо у всех своё

мне вот плохо везде, где нет xmonad-а

а другим это совершенно не мешает

хаскель на нем работает, так что в этом плане там нормально

у меня на маке в итоге живет gentoo+nix

под макосью?

т.к. я макось не осилил

Я вообще на nixos с xmonad сижу 3,5 года :/ Вот типа аналогичный дауншифт делал?

ну в смысле ядро-то там какое?

линуксовое

ха

Я тоже боюсь, что через месяц все к чертям снесу и поставлю своё любимое..

я помню свои попытки перехода на макбук, кончилось все взромождением туда линукса и многодневными плясками что бы побороть загрузчик

в итоге отдал ребенку, а себе купил леново. который выбирал по сайту linux on laptops

если нужны фичи железа, для музыки там и т.п.

то возможно придётся мириться с неудобной осью

видео

на линуксе теперь даже видео не нарезать нормально. на полном серьезе предлагают ffmpeg-ом пользоваться

Я вообще на nixos с xmonad сижу 3,5 года :/ Вот типа аналогичный дауншифт делал?

Было такое же. Прост пересел на os x.

Как ощущения?

в итоге отдал ребенку, а себе купил леново. который выбирал по сайту linux on laptops

Чтобы не было вот такого

Надо просто взять и привыкнуть