потому что seek? я думаю потому что readdir :))) прямой доступ по имени скорее всего вообще не тормозит

да, прямой тормозит только если будет miss в dentry cache

Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?

Ах, да. 256-2048 килобайт в среднем.

Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?

хренасе

А менять их надо?

Ага

Но редко

Но редко

Можно посмотреть в сторону ClickHouse Правда там всё иммутабельно, но можно удалять

Но я с ней не работал

Думал, не вариант, эти объекты неудобно хранить там

Или кассандра

Или кассандра

Тоже думал, но есть ли что-то еще?

тарантул?

HBase RethinkDB Тарантул

тарантул?

Можно, но автоматом весь бэк на луа :(

HBase RethinkDB Тарантул

RethinkDB вроде прадва нужно настраивать

Riak

Можно, но автоматом весь бэк на луа :(

Необязательно, его можно использовать только как язык запросов

HBase RethinkDB Тарантул

Только с резинкой ты погорячился. На порядок ниже было бы норм.

Тарантул - ня

Можно, но автоматом весь бэк на луа :(

А что у тебя там за данные такие?

Объектики разные. Пользователи, много товаров и очень много истории по товарам.

А откуда так дохрена?

Необязательно, его можно использовать только как язык запросов

Только скорость падает сильно

Только скорость падает сильно

Ну тогда в чём проблема? Узкие места в виде приложений на луа на тарантуле, го - фронтенд

А откуда так дохрена?

Не первый успешный продукт компании, им пользуются.

Ну тогда в чём проблема? Узкие места в виде приложений на луа на тарантуле, го - фронтенд

...го - фронтенд, го - замена башу...)))

...го - фронтенд, го - замена башу...)))

Гы Как что-то плохое

Да :3

Oracle exadata норм. шкафчик взять и нет проблем

можно начать с четверти шкафа конечно

а не с престарелой пушки по воробьям ли?

Oracle exadata норм. шкафчик взять и нет проблем

Бабла на шкафчик жаба давит

оракл же не умеет в простые решения, хочешь его — будь добр разверни тонны ненужного побочного дерьма, типа дэшбордов всяких и прочего

а не с престарелой пушки по воробьям ли?

Вполне реальные цифры.

Вполне реальные цифры.

цифры? это я тут слегка утрирую про оракловский подход. тяжело, массивно, прям как в старые добрые времена пятой джавы, на которой он наверняка и написан

цифры? это я тут слегка утрирую про оракловский подход. тяжело, массивно, прям как в старые добрые времена пятой джавы, на которой он наверняка и написан

инсталлер на жабе, сам движок ессно нет. стоит космос, но работает и норм работает

ну я не про то, что оно не работает

а про то, что у него столько трэша вокруг, который нужен я даже не знаю, компании с 200 разрабами, которые все почему-то не хотят общаться

то есть мне кажется переход на оракл должно быть КРАЙНЕ осмысленным решением

а не потому что "ну вроде подходит"

потому что на его поддержку придется еще сотрудника-другого нанять

а ну да, поддержка нужна, куда ж без этого.

в почти любую другую базу, поддерживать которую может тот же, кто пишет код?

в почти любую другую базу, поддерживать которую может тот же, кто пишет код?

в теории может, на частности спускаться не охота. я вот базу sqlite сам поддерживал ;-)

Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?

что значит "искать"?

Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?

и что подразумевается под "масштабированием"?

Коллеги, моя очередь задавать тупые вопросы. Нужно хранить, удобно читать и искать по 48-51 ярду объектов, при этом нужно удобно масштабировать базу. Что брать?

А вообще знаешь что? Побенчмаркай постгрес Мы тут какие-то разговоры разговариваем, а может даже мускула хватит

что значит "искать"?

выборка по айди и полнотекст

выборка по айди и полнотекст

ну, это адок. mongodb?

А вообще знаешь что? Побенчмаркай постгрес Мы тут какие-то разговоры разговариваем, а может даже мускула хватит

^

51 ярд объектов - это вообще-то не дешево и не просто

я бы сказал - это кластер серверов так из 50

кстати да, монго вроде не самая медленная

полнотекстовый индекс на такой объем будет или медленный, или жрать память

51 ярд объектов - это вообще-то не дешево и не просто

да, понимаю. но за железо не я плачу. думаешь, по ярду на сервер?

я думаю - максимум

смотри

и что подразумевается под "масштабированием"?

автоматическое шардирование, например.

51 ярд объектов - это вообще-то не дешево и не просто

меньше. сильно меньше.

ну, это адок. mongodb?

терять ничего нельзя

терять ничего нельзя

ну придётся тебе много железа иметь

меньше. сильно меньше.

в ТЗ - в районе 50 ярдов.

в ТЗ - в районе 50 ярдов.

а в чем проблема? тут только на железо потратиться придётся.

Простите, ярды - это что? Миллиарды?

Простите, ярды - это что? Миллиарды?

да

50 млрд. объектов.

терять ничего нельзя

а тебе точно надо полнотекстовый поиск?

потому что пока в такой постановке вопроса всё сильно печально.

а тебе точно надо полнотекстовый поиск?

с ним я, если что, разобраться могу отдельно

так вот - сервера бывают разные. и начинать надо с определения того, сколько совокупно понадобится памяти на индексы. после чего считать - какими серверами дешевле всего этот кластер набрать. может быть - r220 какой-нибудь, с 32GB RAM. а, может, уже и старшие модели с 512GB выйдут дешевле.

с ним я, если что, разобраться могу отдельно

без него у тебя будет обычный object storage.

так вот - сервера бывают разные. и начинать надо с определения того, сколько совокупно понадобится памяти на индексы. после чего считать - какими серверами дешевле всего этот кластер набрать. может быть - r220 какой-нибудь, с 32GB RAM. а, может, уже и старшие модели с 512GB выйдут дешевле.

не обязательно все индексы держать в памяти.

если что -- они готовы на тачку в 24 ядра, 64гэ рам и много-много SSD в рейдах.

если что -- они готовы на тачку в 24 ядра, 64гэ рам и много-много SSD в рейдах.

памяти мало

надо 128-256Гб

может, тебе вообще ceph нужен? )

может, тебе вообще ceph нужен? )

там json всякий

зачем ceph?

там json всякий

тогда тебе прямой путь либо в монгу, либо в свежий pg

pg +1

pg может выдюжить. У свежей монги тоже шанс есть.

pg может выдюжить. У свежей монги тоже шанс есть.

у pg нечеловеческий синтаксис с языком запросов для jsonb

ТГ залагал

не обязательно все индексы держать в памяти.

или они в памяти, или они страшно тормозят

Там гора json, зачем ceph?

pg +1

ну вы фантазеры...

ну вы фантазеры...

Вот да.

На пэгэ придется не кластер ставить, а датацентр

Даже не смешно

или они в памяти, или они страшно тормозят

ssd же

не решает

можно индексы на ssd положить

ssd же

И?

можно индексы на ssd положить

Можно, но это пустое

Можно, но это пустое

почему?

Можно полнотекст позже завезти, сначала бы хранилку