если реально есть такая потребность вероятно стоит арендоавть ненадолго сервер

посчитай сначала сколько это все в памяти будет. даже если не держаться все вычисления в озу, а суметь выдать это в файловый вывод тут получается гб 160, если я корректно насчитал

а 160Г получилось с каким типом данных?

Вероятно, можно не держать в памяти сразу все данные

8 бит подразумевал. допустим ты сможешь корректно написать алг испольузуя на элемент куба 1 бит, получится 20гб по озу, но если сохранить вывод то все равно получится много больше

считай, в общем

Вероятно, можно не держать в памяти сразу все данные

Тут может я архитектуру программы не верную выбрал. По этому кубу постоянно идут вычисления. Для этого и создавал его, что бы к нему обращаться а не вычислять.

Тут может я архитектуру программы не верную выбрал. По этому кубу постоянно идут вычисления. Для этого и создавал его, что бы к нему обращаться а не вычислять.

Надо посмотреть на всю задачу. Возможно сервера с 64гб при корректной реализации хватит

@newrlan нету Int8

куб 2 x 1000 x 1000 x 10000 элементов (это 2* 10^10) * на размер Boolean (пусть 1 Байт) делим на 1024 (в МБ) и ещё на 1024 (ГБ) = 19073 ГБ (где я ошибся?)

@newrlan нету Int8

в смысле я не правильно тип данных назвал?

ну есть но он тоже размер поинтера жрёт

можно в принципе Storable.Vector

куб 2 x 1000 x 1000 x 10000 элементов (это 2* 10^10) * на размер Boolean (пусть 1 Байт) делим на 1024 (в МБ) и ещё на 1024 (ГБ) = 19073 ГБ (где я ошибся?)

мега это 10^6, нет?

да

ну, я знаю что не десятичное, но я про порядок

кило забыл

тогда "всего" 74 ГБ нужно, чтобы эту штуку в памяти держать

можно в принципе Storable.Vector

а там можно битами читать?

если значения 1 или 0, можно на каждое выделить один бит, 2^35 - это 34359738368, хватает

2^35 битов = 2^32 байт = 4 гигабайта

нет, но можно сделать простую обёртку

если значения 1 или 0, можно на каждое выделить один бит, 2^35 - это 34359738368, хватает

только как это в haskell сделать?

Data.Bits + Data.Ix + вектор

Data.Bits + Data.Ix + вектор

думаю, это решение пока реальнее всего

bitset вообще были какие-то разной степени готовности

думаю, это решение пока реальнее всего

ну на твоей системе с 4гб всего это все равно не сыграет, так что смотри на vps

bitset вообще были какие-то разной степени готовности

я искал не старательно конечно, но на первый взгляд у них у все одна проблема -- документация

там есть вкладка sources

;)

сначала делаешь на data BitSet и становится почти все понятно

ну на твоей системе с 4гб всего это все равно не сыграет, так что смотри на vps

ну я решил отказаться от этого куба, придется пересчитывать все на каждой итерации но это сейчас реальнее

я искал не старательно конечно, но на первый взгляд у них у все одна проблема -- документация

общая проблема всего хаскеля.

там есть вкладка sources

хах!

ну я решил отказаться от этого куба, придется пересчитывать все на каждой итерации но это сейчас реальнее

а если сжимать и распаковывать данные когда нужны определённые индексы?

быстрее вычислить ячейку

а если совсем извратиться и какой-нибудь mysql прикрутить для хранения этого многомерного массива?

а если совсем извратиться и какой-нибудь mysql прикрутить для хранения этого многомерного массива?

если ко всем элементам ему придется обратиться, он там не к следующему году насчитает7

да, там дальше надо одну размерность умножить на коэффициенты, сложить ее, а потом еще и argmin найти по основанию

а если совсем извратиться и какой-нибудь mysql прикрутить для хранения этого многомерного массива?

redis хотя бы

массив 2 x 10^3 x 10^3 x 10^4 и если мы делаем 10^4 записей по чему-то, что хранит в себе 2 х 10^3 х 10^3 т.е. (2х10^6) (а это, по идее, уже проще)

да, там дальше надо одну размерность умножить на коэффициенты, сложить ее, а потом еще и argmin найти по основанию

Полистай вычмат, я уверен, есть какие-нибудь способы считать это как-то иначе

Полистай вычмат, я уверен, есть какие-нибудь способы считать это как-то иначе

здесь ничего кроме распараллеливания не придумали

хотя, можно разреженные матрицы прикрутить... спасибо за толчок

redis хотя бы

http://eax.me/redis/ Redis умеет сохранять данные на диск // прикольно

а тут крото спросил какая задача?

Это AdaBoost

возможно архитектура выбрана неудобная, сегодня попробую вычислять на итерациях, может это будет дешевле

Привет всем. Я попробовал переписать https://wiki.haskell.org/Examples/Random_list на Sequence: http://lpaste.net/354498 Вроде как всё тривиально, но код после компиляции сваливается в бесконечный цикл

Думал, проблема с lazy , попробовал evaluate, но не помогло

Что там не так может быть?

проблема с ленивостью, да, точнее, с её отсутствием

sequence - оно finite и strict, бесконечных сиквенсов не бывает

в документации по unfoldr написано: WARNING: If the number of generated elements is infinite, this method will not terminate.

ага, но я применяю take

Ок, в целом, понял, куда рыть, спасибо.

это не важно, он всё равно пытается создать весь sequence

но зачем это переписывать на sequence?!

Это просто кусок кода, разобравшись с которым, смогу использовать в более жизненных приложениях. Основная цель этого всего — это уход от List в сторону потенциально более шустрых типов.

но в данном случае это разучивание, т.к. именно в этом случае список это самая правильная структура

а последовательность делается как Seq.fromList $ take n $ mkList

и это будет эффективнее, чем если там поменять список на sequence

Evgeny просто идея в том, что благодаря list fusion список вообще строиться не будет

ну и sequence далеко не всегда эффективнее списка, т.к. структура сложнее

я понимаю ещё вектор генерить, хотя там тот же самый fromList или fromListN эффективнее всего

Понял, спасибо.

Получается, что структуры из Data.… выгоднее брать только тогда, когда надо обрабатывать что-то более-менее сложное, например, Map для словарей и прочее в том же духе

зависит ли задачи

что стоит помнить что стоит разделять control и data structures

control определяют выполнение программы

data то что хранишь используешь

есть которые и те и другие хорошие например вектора

Но в большинстве случаев, как понимаю, control чем проще, тем лучше

а data в зависимости от задачи

для тех где структура будет храниться в памяти и к ней запросы - хорошо бы иметь с локкльносттю хорошей

control они могут быть ленивыми и с плохой локкльностью, если они не строятся в памяти и фьюзятся - то все хорошо

ну а так нужно смотреть какие операции над структурой выполняются и выбирать

хорошие определения control и data структур и интуицию дать не могу, к сожалению

Это-то понятно . :) И так помог, спасибо.

А то удивляло повсеместное fromList и аналоги

лайфак. лекции с степика становятся более лучшими, если смотреть на скорости 1.25

лайфак. лекции с степика становятся более лучшими, если смотреть на скорости 1.25

+

Некоторые можно и на 1.5 смотреть

ну там уже голос какой-то несерьезный получается. подрывает.

а ты в этих лекциях что-то новое узнал?

мне надо вокабуляр вырабатывать.

а то я как собака - все понимаю, а объяснять не могу

это проблема

это в каких темах? не во всех же

ну и когда начнется всякий MonadBaseControl возможно узнаю

typelevel там вроде тоже долже быть

а там и такое есть?

я думал там обычными монадами все заканчивается

вот это всё полезно 3.1 Монада Except Lesson by Денис Москвин 0 / 12 3.2 Монада Cont Lesson by Денис Москвин 0 / 11 3.3 Трансформеры монад Lesson by Денис Москвин 0 / 15 3.4 Трансформер ReaderT

трансформеры всегда полезны, а то их все тупо копипастят обычно

что=то не вижу содержания всего курса, но вроде кто-то мне говорил, что по слухам там должен быть typelevel