Ну или его рабочие папки повисть

Это типа репродьюсибл Билд и все такое

У меня смешно когда он меркуриал репу tip скачивал из разных веток или что-то такое

когда стек перечитывает все это дело?

^^

интересно, а если там будет указана и локация гита и рабочий каталог

он будет брать из каталога

Не извращался так

@voidlizard а у вас же постгрес? что используете, pg-simple? opaleye?

постгрес у нас сейчас эпически выпилился из одного из проектов, посмотрим что с другими. а так да, pg-simple

а что за опал глаз? стоит смотреть?

ну чтоб sql руками не писать

Опалай какой-то страшный

а было тайпсейф и все такое

Блин а чего б его руками не писать?

постгрес у нас сейчас эпически выпилился из одного из проектов, посмотрим что с другими. а так да, pg-simple

ого, чем заменили его?

Я правда не смотрел его с появления

Блин а чего б его руками не писать?

ну чтоб компилятор помогал с опечатками например

тупо мапами в памяти + простой иммутабельный сторейдж

При появлении как идея клёвая, как реализация ну нафиг

гитоподобной структуры.

как сразу хорошо стало

Ну нетривиальный запрос все равно хрен поможет написать

эээ.. а было плохо с постгресом?

+100500 к скорости разработки, -9000 от времени выполнения запросов

Ну нетривиальный запрос все равно хрен поможет написать

да не, это ж не орм какой, нетривиальное можно

Никиты Волкова прикольная либа для пг

Но запросы руками

ну, да. если данные похожи на ряды - то всё. постгресс отсасывает сразу

Все равно надо писать тетсы на код который в базу ходит, лучше уже предсказунмый SQL писать

Ага которое полагается на оптимизатор базы

особенно с массивами

но если хранить в виде нормальных таблиц, то тоже просасывает, потому что тупо много записей получается

но если хранить в виде нормальных таблиц, то тоже просасывает, потому что тупо много записей получается

а на каких объемах у вас умерло все?

я кстати на это напарывался, когда делали машинное обучение - были дюже большие вектора признаков, я их было сначала в постгрес засунул, но оказалось, что там никак. тогда на линзах сделал ин-мемори структуру и ничо так, сразу улучшилось

да на небольших объемах

так опалай это как раз "запросы руками", просто sql собирается тайпсейфно

ну вот наш текущий пример запроса

запросы по сути не sql-ные

а например, найти сначала все минимальные паросочетания (размещение людей по номерам в зависимости возрастов и емкостей номеров), а потом найти все подходящие периоды - т.е слайсы векторов без дыр

я вот как раз думал кто-то поюзал либу волкова вместо симпла

я кстати на это напарывался, когда делали машинное обучение - были дюже большие вектора признаков, я их было сначала в постгрес засунул, но оказалось, что там никак. тогда на линзах сделал ин-мемори структуру и ничо так, сразу улучшилось

запросы на модификацию тоже есть?

ну в той истории да, были модификации. в текущий истории четко один читает, второй пишет

хотя что-то я не вижу проблем даже с конкурентным доступом в рамках одного процесса

а например, найти сначала все минимальные паросочетания (размещение людей по номерам в зависимости возрастов и емкостей номеров), а потом найти все подходящие периоды - т.е слайсы векторов без дыр

и итог -- у вас самописное все или какой-то nosql готовый?

а какие требования по durability?

а то это конечно понятно, что в память можно что угодно засунуть и будет классно

прост если самописное и инмемори, то можно влететь на проблемы с gc если там гигов 50-100 данных будет

@quetzal в итоге у меня есть пока прототип, который мне нравится и я решил его доделать и на нем запуститься. в кач-ве сторейджа в прототипе самописное, думал подсунуть level db но не знаю, зачем оно мне если база иммутабельная

Будет 50 гигов - положишь в off-heap память

Ну или выделишь в отдельный процесс где гц не будет совсем

@async_prince требования что бы данные не терялись есть

Будет 50 гигов - положишь в off-heap память

ну это ffi и си?

Зачем?

@qnikst там много контента - блобы, тексты. я их конечно же уже выгружаю и достаю только когда они нужны

как ещё офхип сделать

а в памяти только хэши

Будто в Haskell средств нет

говорю ж на подобие гита структура

Аллокации есть, работа с raw памятью есть, что еще надо?

говорю ж на подобие гита структура

а сериализация этого всего -- тоже самописное?

Даже заворачивается в безопасный апи

@async_prince требования что бы данные не терялись есть

ну и? как требования были удовлетворены? пока ты сказал, что были удовлетворены удобство разработки и скорость запросов.

@quetzal cereal взял по совету, так как там есть миграция

ага, и доволен им (пока)?

я хз. то, что в постгресе могло делаться 10 секунд, тут делается 3 миллисекунды

я доволен

safe-copy, который cereal берет?

ERROR: S client not available

причем 3 миллисекунды это с подъемом индекса в память

круто, хотел его посмотреть как раз

@qnikst да, но я пока его не прикручивал, просто хорошо, что он есть

Блин чего бы подпилить интересного, в свободное время которого нет

у меня в постгресе materialized view для этих рядов строилась минут десять. а тут вся база раскатывается за 10 секунд из источников

А то меня все вокруг расстраивает, и нужно что-то делать

левелдб кстати норм

короче если данные похожи на ряды, рсубд надо сразу выкидывать

прям сразу. на этапе дизайна еще. даже не пытаться

monetdb!!!

особенно если write-heavy база и надо писать на крутящиеся диски)

(не знаю хорошо ли, оно для рядов, просто одни клиенты юзают)

короче если данные похожи на ряды, рсубд надо сразу выкидывать

ряды... кликхаус? )

Не вдавался в подробности

@quetzal что?

короче если данные похожи на ряды, рсубд надо сразу выкидывать

что за ряды?

@xamgore ну любые. например, вектора признаков для машинного обучения

я их два года назад пытался в постгресе собирать для анализа

оказалась полная шляпа, на State, Map и линзах запилил сторейдж с семантикой похожей на сикль и хранение в msgpack

норм, до сих пор работает

в текущей задаче вроде другая специфика, но как оказалось рсубд тоже только вредит

а еще её эволвить, а еще автоматическое накатывание релизов, миграция...

@quetzal что?

https://clickhouse.yandex/

выкидываешь постгрес и сразу так всё хорошо

типы статические, запросы на человеческом языке, все мигрирует само

@quetzal да нахера что-то такое тащить в проект, если пока и само всё работает?

тут OLAP, не OLTP

ну пока да но если что - знаешь куда смотреть )

базу в офлане перестроил, вебню передернул

а размер базы какой ща?

@quetzal а потом неловкий момент, когда ты втащил новую погремушку про которую никто ничего не знает в проект, а она через полгда оказалась говном

ну яндекс на ней живет совсем на говне не стали бы