Kirill
Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?
Kirill
Ах, да. 256-2048 килобайт в среднем.
Мерль
А менять их надо?
Kirill
Ага
Kirill
Но редко
Мерль
Но редко
Можно посмотреть в сторону ClickHouse Правда там всё иммутабельно, но можно удалять
Мерль
Но я с ней не работал
Kirill
Думал, не вариант, эти объекты неудобно хранить там
Мерль
Или кассандра
Kirill
Или кассандра
Тоже думал, но есть ли что-то еще?
🏳️ Phil
тарантул?
Мерль
HBase RethinkDB Тарантул
Kirill
тарантул?
Можно, но автоматом весь бэк на луа :(
Мерль
HBase RethinkDB Тарантул
RethinkDB вроде прадва нужно настраивать
An7on
Riak
Мерль
Можно, но автоматом весь бэк на луа :(
Необязательно, его можно использовать только как язык запросов
Kirill
HBase RethinkDB Тарантул
Только с резинкой ты погорячился. На порядок ниже было бы норм.
Мерль
Тарантул - ня
Мерль
Можно, но автоматом весь бэк на луа :(
А что у тебя там за данные такие?
Kirill
Объектики разные. Пользователи, много товаров и очень много истории по товарам.
Мерль
А откуда так дохрена?
Мерль
Только скорость падает сильно
Ну тогда в чём проблема? Узкие места в виде приложений на луа на тарантуле, го - фронтенд
Kirill
А откуда так дохрена?
Не первый успешный продукт компании, им пользуются.
Мерль
Kirill
Да :3
Nikolay
Oracle exadata норм. шкафчик взять и нет проблем
Nikolay
можно начать с четверти шкафа конечно
Mike
а не с престарелой пушки по воробьям ли?
Kirill
Mike
оракл же не умеет в простые решения, хочешь его — будь добр разверни тонны ненужного побочного дерьма, типа дэшбордов всяких и прочего
Mike
Вполне реальные цифры.
цифры? это я тут слегка утрирую про оракловский подход. тяжело, массивно, прям как в старые добрые времена пятой джавы, на которой он наверняка и написан
Mike
ну я не про то, что оно не работает
Mike
а про то, что у него столько трэша вокруг, который нужен я даже не знаю, компании с 200 разрабами, которые все почему-то не хотят общаться
Mike
то есть мне кажется переход на оракл должно быть КРАЙНЕ осмысленным решением
Mike
а не потому что "ну вроде подходит"
Mike
потому что на его поддержку придется еще сотрудника-другого нанять
Nikolay
а ну да, поддержка нужна, куда ж без этого.
Mike
в почти любую другую базу, поддерживать которую может тот же, кто пишет код?
Nikolay
в почти любую другую базу, поддерживать которую может тот же, кто пишет код?
в теории может, на частности спускаться не охота. я вот базу sqlite сам поддерживал ;-)
Мерль
Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?
А вообще знаешь что? Побенчмаркай постгрес Мы тут какие-то разговоры разговариваем, а может даже мускула хватит
Kirill
что значит "искать"?
выборка по айди и полнотекст
Daniel
51 ярд объектов - это вообще-то не дешево и не просто
Daniel
я бы сказал - это кластер серверов так из 50
Mike
кстати да, монго вроде не самая медленная
Daniel
полнотекстовый индекс на такой объем будет или медленный, или жрать память
Kirill
51 ярд объектов - это вообще-то не дешево и не просто
да, понимаю. но за железо не я плачу. думаешь, по ярду на сервер?
Daniel
я думаю - максимум
Daniel
смотри
Kirill
и что подразумевается под "масштабированием"?
автоматическое шардирование, например.
Kirill
ну, это адок. mongodb?
терять ничего нельзя
Roman
терять ничего нельзя
ну придётся тебе много железа иметь
Daniel
меньше. сильно меньше.
в ТЗ - в районе 50 ярдов.
Roman
в ТЗ - в районе 50 ярдов.
а в чем проблема? тут только на железо потратиться придётся.
Anonymous
Простите, ярды - это что? Миллиарды?
Roman
50 млрд. объектов.
Roman
терять ничего нельзя
а тебе точно надо полнотекстовый поиск?
Roman
потому что пока в такой постановке вопроса всё сильно печально.
Kirill
а тебе точно надо полнотекстовый поиск?
с ним я, если что, разобраться могу отдельно
Daniel
так вот - сервера бывают разные. и начинать надо с определения того, сколько совокупно понадобится памяти на индексы. после чего считать - какими серверами дешевле всего этот кластер набрать. может быть - r220 какой-нибудь, с 32GB RAM. а, может, уже и старшие модели с 512GB выйдут дешевле.
Roman
с ним я, если что, разобраться могу отдельно
без него у тебя будет обычный object storage.
Kirill
если что -- они готовы на тачку в 24 ядра, 64гэ рам и много-много SSD в рейдах.
Roman
надо 128-256Гб
Roman
может, тебе вообще ceph нужен? )
Kirill
зачем ceph?
Roman
там json всякий
тогда тебе прямой путь либо в монгу, либо в свежий pg
Anonymous
pg +1