бывает, если у тебя данных не больше чем ОЗУ

джисус факинг крайст

ты ограничен пропускной способностью цпу

у тебя в памяти они лежат совсем не так, как на диске

128 гигов, где ж такие базы-то бывают ???

дак вот и я о чём, что в основном бд можно по сути в ОЗУ уместить, нежели обвешивать SQL memcache'ами

Редис лог не пишет синхронно

пишет-пишет, надо только в конфиге включить

там еще автор смешно пугает падением производительности при включении режима

я ещё раз повторю свой вопрос: "как правильно шардить данные?"

да открой ты блин consistent hashing в википедии

ну вот, тогда в чём проблема? по умолчанию не надёжен, но по желанию может превратиться в primary database

нет, как и тарантул

ты ограничен пропускной способностью цпу

эм, ват? CPU это самый последний из bottleneck'ов

вопрос не в том, может ли он быть праймари, вопрос в том что от тарантула отличается почти ничем

нет, как и тарантул

заявление без подтверждений?)

эм, ват? CPU это самый последний из bottleneck'ов

господи, ты грузишь данные с максимальной скоростью 500 мб/с и потом еще их обрабатываешь. ты правда веришь, что они будут выходить в оперативу с той же скоростью?

вопрос не в том, может ли он быть праймари, вопрос в том что от тарантула отличается почти ничем

есть по этому поводу что почитать? конкретно актуальное сравнение

господи, ты грузишь данные с максимальной скоростью 500 мб/с и потом еще их обрабатываешь. ты правда веришь, что они будут выходить в оперативу с той же скоростью?

что там обрабатывать то?

да ты реально троллишь что ли

у тебя структура данных в памяти и на диске разная

ADB в том же редисе к тому же вообще легко может в разы превышать объем датасета

у тебя структура данных в памяти и на диске разная

дак размытые утверждения, покажи конкретный кейс.. https://medium.com/@denisanikin/heavy-workloads-our-use-cases-of-tarantool-914b0b1cbac2 Try testing Tarantool’s cold start time. “Cold start” means reading the whole snapshot to memory. Reading from disc is done at the speed of 100Mb/sec even with a spinning disk. So, if the dataset size is 100Gb, for example, it’ll be uploaded to memory in 1000 seconds, which is approximately 15 minutes.

ADB в том же редисе к тому же вообще легко может в разы превышать объем датасета

Тем более на диске вообще ЛОГ!

ADB в том же редисе к тому же вообще легко может в разы превышать объем датасета

про это они тоже писали, что у них overhead не больше 10%

бывает, если у тебя данных не больше чем ОЗУ

Не бывает. Все сложнее чем копирование битиков между чипами

дак размытые утверждения, покажи конкретный кейс.. https://medium.com/@denisanikin/heavy-workloads-our-use-cases-of-tarantool-914b0b1cbac2 Try testing Tarantool’s cold start time. “Cold start” means reading the whole snapshot to memory. Reading from disc is done at the speed of 100Mb/sec even with a spinning disk. So, if the dataset size is 100Gb, for example, it’ll be uploaded to memory in 1000 seconds, which is approximately 15 minutes.

бля

ADB, вот тебе конкретный кейс

бля

Он уже второй раз тут тролит. Пристрелим?

любаая Append-only система

LSM

Он уже второй раз тут тролит. Пристрелим?

"Тролит" пытаешься побеседовать.. слышишь только мнения без каких либо поянений, и потом ещё и тролем оказываешься, заебись ребята, спасибо, помогли, приятного вечера

"Тролит" пытаешься побеседовать.. слышишь только мнения без каких либо поянений, и потом ещё и тролем оказываешься, заебись ребята, спасибо, помогли, приятного вечера

Твое побеседовать выглядит " папка я ща раскажу че с девками делать нужно"

И начинаешь травить как их за косички дергать. А когда тебе говорят что девки не для этого, то ты лезешь в бутылку.

и тем не менее, в некоторых случаях его можно именно как primary юзать

Удивительно слышать такое от CTO

пишет-пишет, надо только в конфиге включить

Там не реал-тайм

там еще автор смешно пугает падением производительности при включении режима

А все, вспомнил, да, есть, но это реально хреновое решение

https://github.com/antirez/redis/blob/4.0/redis.conf#L685

чем хреновое-то?

чем хреновое-то?

При больших нагрузках толку не будет от редиса

ты думаешь, все остальные хранилища работают как-то по-другому, без фсинка на каждый коммит?

При больших нагрузках толку не будет от редиса

опять одни утверждения и мнения без каких либо оснований

ты думаешь, все остальные хранилища работают как-то по-другому, без фсинка на каждый коммит?

Поэтому и смысл редиса?

я не знаю, в чем сысл редиса. но хотите персистентность - по-другому это не работает

Пока есть связь, напишу еще. У меня вот прям сейчас есть один аппликейшен, в котором хорошо зашел бы редис с реал-таймом синка. Но смысл в этом очень спорный, т.к. масштабы чтения вот совсем не для мемори хранилища...

Mike B.: Ребят, спам срочно как назывался сериал где был коп китаец толстый но шустрый из 90х

почти вспомнил, но он убежал

Пока есть связь, напишу еще. У меня вот прям сейчас есть один аппликейшен, в котором хорошо зашел бы редис с реал-таймом синка. Но смысл в этом очень спорный, т.к. масштабы чтения вот совсем не для мемори хранилища...

эээ, чем больше чтение, тем лучше хранить данные в памяти, нет?

Mike B.: Ребят, спам срочно как назывался сериал где был коп китаец толстый но шустрый из 90х

Китайский городовой

эээ, чем больше чтение, тем лучше хранить данные в памяти, нет?

Спорно все это. Кроме данных нужно еще и индекс хранить

Опять же от размера запросов и частоты

Индекс опять же будет переделыватся каждый раз переливаясь в память. Ибо где оно там страницы выделит. Потому заливание в оперативку с винта это очень не быстро

Пересчеты и прочая хрень. Я видел сервак что то там около 50 терабайт оперативки... и чет как то даже не хочу представлять как его ресетнуть и сколько ждать загрузки

Вообще суть в том что текущие архитектуры железа приходят в тупик. Можно наращивать гигагерцы. Транзисторы. Но шины особо не нарастишь. Доступ к той оперативке сильно ограничен.

Паралелится все это никак.

Вообще суть в том что текущие архитектуры железа приходят в тупик. Можно наращивать гигагерцы. Транзисторы. Но шины особо не нарастишь. Доступ к той оперативке сильно ограничен.

Да ладно.

Так что сливаем воду. Ждем/разрабатываем новые архитектуры

Да ладно.

А че ладно то?

Просто надо насать с нуля

Начать

ERROR: S client not available

Так что сливаем воду. Ждем/разрабатываем новые архитектуры

Да. Вот

Просто надо насать с нуля

Именно.

Вообще суть в том что текущие архитектуры железа приходят в тупик. Можно наращивать гигагерцы. Транзисторы. Но шины особо не нарастишь. Доступ к той оперативке сильно ограничен.

numa

numa

Machine от hp

numa

Не спасает. Есди 50 тб памяти

Но все это застревает что обратной совместимости там и рядом не будет

Зря итаниум убили

Зря итаниум убили

Он тож не решает. Только временно.

Да и не убили. Сам помер. Софта то нет

Да и не убили. Сам помер. Софта то нет

Да и не нужен он

Чпукс да оракл. И норм

Все это полетит когда будет другая логика под другие задачи

Квантовые? ?

И мне так видится что все рванет в сторону data flows

Квантовые? ?

Эти вообще попил бабла и никакого толку

Там даже в переспективе все мутно.

Квантовые? ?

https://www.labs.hpe.com/the-machine

Едю

Не спасает. Есди 50 тб памяти

Да то же шардирование между сокетами

Да то же шардирование между сокетами

Упирается в шины. А они сложная штука

так на каждый сокет (набор сокетов) своя шина

The NUMA architecture was designed to surpass the scalability limits of the SMP architecture. With SMP, which stands for Symmetric Multi-Processing, all memory access are posted to the same shared memory bus. This works fine for a relatively small number of CPUs, but the problem with the shared bus appears when you have dozens, even hundreds, of CPUs competing for access to the shared memory bus. NUMA alleviates these bottlenecks by limiting the number of CPUs on any one memory bus, and connecting the various nodes by means of a high speed interconnect.

эээ, чем больше чтение, тем лучше хранить данные в памяти, нет?

А чтения наоборот мало...

Пересчеты и прочая хрень. Я видел сервак что то там около 50 терабайт оперативки... и чет как то даже не хочу представлять как его ресетнуть и сколько ждать загрузки

256гигов ребутятся пару минут, но вот вообще пофиг на это, ибо ребуты - это частный случий

256гигов ребутятся пару минут, но вот вообще пофиг на это, ибо ребуты - это частный случий

Чет я видимо не правильно делаю

Наверно, я вот жду, когда закупят еще и будет 768 гигов по три ноды