Yura
pg может выдюжить. У свежей монги тоже шанс есть.
Roman
pg может выдюжить. У свежей монги тоже шанс есть.
у pg нечеловеческий синтаксис с языком запросов для jsonb
Kirill
ТГ залагал
Kirill
Там гора json, зачем ceph?
Kirill
На пэгэ придется не кластер ставить, а датацентр
Kirill
Даже не смешно
Daniel
не решает
Roman
можно индексы на ssd положить
Kirill
Можно полнотекст позже завезти, сначала бы хранилку
Daniel
не пустое, но и проблемы не решит, особенно на таких количествах
Daniel
а вообще - надо мерять
Kirill
Ну - стенда с самсунгами или интелами в рейде у меня нет
Kirill
А так бы я померял
Roman
не пустое, но и проблемы не решит, особенно на таких количествах
ну мы же вроде уже обсуждали: шардинг в монго делается по некоему индексу. соответственно, достаточно легко вычисляется на каком шарде лежат необходимые данные.
Roman
если даже у sata3 ssd на чтение ~ 550Mb/s и 80k iops
Roman
если мало - можно поставить пару в страйп.
Roman
если снова мало - есть nvme
Roman
их тоже можно в страйп
Roman
nvme из коробки даёт 1.3Gb/s чтения.
Daniel
мы помним, что речь идет о 50TB?
Daniel
или о 100
Kirill
откуда такой вывод?
Не видел никогда сэсэдэ со скоростью и последовательной, и рандомной сравнимой с рамкой. Хотя, может, они м2 поставят и он меня удивит О.о
Daniel
впрочем, как дешевле, кластер rf=3 или один такой сервер со слейвом, это вопрос открытый
Kirill
впрочем, как дешевле, кластер rf=3 или один такой сервер со слейвом, это вопрос открытый
А со старта rf=3 и будет
Daniel
а, ты хочешь индекс отдельно отнести, да. но полнотекстовый индекс может запросто оказаться сравним по объему
Roman
ещё раз: есть sharding key, который позволяет быстро понять на какой конткретно ноде искать данные.
Roman
т.е. просто берем и на каждой ноде имеем либо одну, либо пару ssd в страйпе.
Kirill
а, ты хочешь индекс отдельно отнести, да. но полнотекстовый индекс может запросто оказаться сравним по объему
Поэтому нафиг пока полнотекст
Anonymous
Эээ, так что в итоге то решили?
Kirill
Думаем еще
Kirill
Нил, так что, спайк?
Daniel
он хранит индекс иключительно в памяти
Daniel
http://www.aerospike.com/docs/operations/plan/capacity
Мерль
он хранит индекс иключительно в памяти
На 50Тб он будет подниматься сутки, если не больше, имхо
Daniel
можешь посчитать под свою задачу, но циферки будут заоблачные
Anonymous
Daniel
На 50Тб он будет подниматься сутки, если не больше, имхо
от количества нод зависит. но - да, часы
Roman
ещё раз напомню, что в mongodb можно хранить индексы отдельно от данных.
Roman
при этом, если индексы похерить, то это светит только их перестроением
Roman
ну и ещё компрессия данных из коробки.
Kirill
от количества нод зависит. но - да, часы
Плохо. Придется базы разделять на тухлые и свежие записи.
Daniel
не надо под эту задачу аэроспайк брать
Daniel
надо кассандру
Kirill
Чем выигрывает кассандра?
Daniel
и думать отдельно, что делать с полнотекстом
Daniel
кассандра не держит все индексы в памяти
Daniel
и не должна перестраивать индекс в памяти при старте
Kirill
и думать отдельно, что делать с полнотекстом
Придумал уже, запилю еще раз свой отдельный полнотекст
Kirill
А есть под кассандру подсчет ресурсов?
Daniel
я не видел
Daniel
но знаю, что на 7 нод и 500М объектов нам потребовалось внедрить bcache, чтобы ребалансинг не клал кластер
Roman
слушайте, при таких исходных данных надо самому проверять
Kirill
О.О
Uncel
Можно побыть бетатестером scylladb
Kirill
50Т я потом перекатывать из мертвых файликов как буду?
Uncel
Это скорее наброс был, у них полно таких вещей: https://github.com/scylladb/scylla/labels/cassandra%202.2%20compatability
Roman
http://www.opennet.ru/opennews/art.shtml?num=46136
Roman
я правильно понимаю, что возможно и go для wasm? :)
Yura
Если возможен транспилер Go в Javascript , то возможно всё 😊
Daniel
давно есть
Мерль
только зачем (
Kirill
Ай
Kirill
А насколько это дешево?
Daniel
на твои цифры дешево не будет, не расчитывай
Kirill
Ну, а тачки под БД какие посоветуешь?