12/60 = 1/5 x * 1/5 = x / 5 round(float64(int * float)) => int / int

блин, думаю что не так... не учел ноль как число

но и на примере, который тебя устраивает, уже другое условие что ли

ты хотел 23 -> 25, а на деле тебя уже устраивает 23 -> 20

господа, подскажите, вот есть у меня 12 чисел с шагом 5 (5, 10, 15 ... 60), как можно любое другое число (0..60) соотнести с этой группой из 12? типа 23->25, 41->45, 0->5

ну да, ты прав

потому что надо юзать https://golang.org/pkg/math/#Ceil а не round

ага, Ceil не round. вариант Славика именно то, что я просил собственно

всем спасибо!

http://specto.io/blog/replacing-redis-with-boltdb

Заменили редиску на болт, получили + к перфомансу и ноль ошибок

Заменили редиску на болт, получили + к перфомансу и ноль ошибок

Ну, там довольно тяжело ошибки сделать не по своей криворукости.

Чутка трогал (как раз для своей файлопомойки), насчёт скорости - довольно заметны различия по сравнению с другими БД, это да.

Заменили редиску на болт, получили + к перфомансу и ноль ошибок

люди на телефоне запускали что ли все? 400rps у редиса это надо постараться

болт неплохая штука где надо тупой embedded kvs

и объемы данных небольшие

и нагрузка read-heavy

лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?

памяти могу выкроить гигов 20

инсерты не нужны. только геты

добыть сервер с 48 гигами или больше, память стоит копейки

мне не комерческий проект

джаст фо фан

32 гиговый уже есть и мигрировать из-за этого не хочется. а платить за два чё-то не охота

если не коммерческий то видимо и нагрузки там не будет бери любую kv которая умеет в диск и храни там

вон койнить leveldb или подобное

если не коммерческий то видимо и нагрузки там не будет бери любую kv которая умеет в диск и храни там

нагрузки будет столько сколько я дам

лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?

ну, я хоть и соображаю сейчас плохо, но идея упоротая есть. слабать своё с radix tree индексом.

Вот да , какие требования к респонсу?

Вот да , какие требования к респонсу?

а кто сказал, что к респонсу? может, там что-то считать нужно.

Вот да , какие требования к респонсу?

требований нет. но чем больше я проверю в секунду тем лучше

ну, я хоть и соображаю сейчас плохо, но идея упоротая есть. слабать своё с radix tree индексом.

а толку? будет ходить в диск все равно если в память это не лезет если жадничать с памятью то любая kv база и готовься что будет ходить в диск и на порядок медленнее чем могло быть

а кто сказал, что к респонсу? может, там что-то считать нужно.

Но ведь никто не сказал что нужно считать :)

но реально, под последний некоммерческий брали машину с 256 памяти, оно реально стоит копейки сейчас

ну там не совсем подсчёт но грубо говоря можно считать что это расчёты

а толку? будет ходить в диск все равно если в память это не лезет если жадничать с памятью то любая kv база и готовься что будет ходить в диск и на порядок медленнее чем могло быть

берешь и жмёшь, что можешь. доля попаданий 1%, если ускорить ответ что ничего не найдено это уже ускорение серьезное.

чо кстати у тебя по запросам — много запросов приходит на которые оказывается что нет значения в базе?

лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?

Блум?

чо кстати у тебя по запросам — много запросов приходит на которые оказывается что нет значения в базе?

выше было, соотношение 1% попаданий и 99% мисов.

но реально, под последний некоммерческий брали машину с 256 памяти, оно реально стоит копейки сейчас

ну вот у хетцнера самая дешевая машина на 64 гига стоит 40 евро в месяц + 90 за сетап. чё-то меня жаба душит. я лучше пива куплю

а, ну любая kv и блум перед ней

40 евро в месяц это даром же )

что такое блум?

https://en.wikipedia.org/wiki/Bloom_filter

лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?

Тарантул с их вторым движком, который расчитан на базу в размере 3-4 RAM size

Тарантул с их вторым движком, который расчитан на базу в размере 3-4 RAM size

тоже вариант

я могу найти применения 40 евро. да и я планирую за пару месяцев "обсчитать" так что ещё плата за деплоймент удвоит месячную цену

ну вот у хетцнера самая дешевая машина на 64 гига стоит 40 евро в месяц + 90 за сетап. чё-то меня жаба душит. я лучше пива куплю

https://www.hetzner.de/en/hosting/produkte_rootserver/ex40

Тарантул с их вторым движком, который расчитан на базу в размере 3-4 RAM size

ток они сами как-то его очень осторожно рекомендуют

Тарантул с их вторым движком, который расчитан на базу в размере 3-4 RAM size

есть же хорошие kv на свете

Так судя по задаче - самое оно

https://www.hetzner.de/en/hosting/produkte_rootserver/ex40

там 32 гига - читай внимательнее

возьми две )

а где сказано, что нужно 64?

чем вам блум не угодил?

в самом начале сказано что база - 40 гигов

чем вам блум не угодил?

уже советовал его

база 40

а индекс?

а я индекс пока не строил. очевидно размер индекса зависит от алгоритма его построения. по сути я и спрашиваю счас как правильно сделать индекс.

погоди

а что тогда значат слова "база 40 гигов"?

лежит у меня пока огромный бинарь где каждые 16 байт это пара ключ:значение

ах вот оно что

2.5 миллиарда строк?

можно наверное даже полный закат солнца руками сделать отсортировать бинарь, положить рядом индекс (сделать по аналогии с постгресовым BRIN)

ERROR: S client not available

рилли?

2.5 миллиарда строк?

там нет строк. бинарь

но в базе-то будут

еще раз - я правильно посчитал?

да я сам не считал но порядок да - такой

да, 2.5 миллиарда

но в 16 байт не влезет столько никак

там дубликаты

много дубликатов

прости что?

>>> 2**(8*8) 18446744073709551616

но в 16 байт не влезет столько никак

влезет конечно же

коллеги

8 байт ключ, 8 байт значение

упс, извините, был напуган

перепутал байты с битами

так вот

а что за данные-то?

два с половиной миллиарда строк в любой базе это существенно больше, чем 64G на индекс

два с половиной миллиарда строк в любой базе это существенно больше, чем 64G на индекс

смотря какой индекс

любой

ну не, вон выше пример был с BRIN индексом постгреса

индексы - они быстрые, а не компактные

он будет сильно меньше 64г

но он будет не индекс

в смысле - он будет очень тормозить

почему?

потому, что в нем будет много проверок

ну как много. от размера блока зависит

или много памяти на индекс, или тормоза

as simple as that

у нас есть требования по скорости выборки?