господа кто нить nats-streaming юзает ?

как впечателения если да ?

Так, господа умные. Помогите мне с редисом. Утекает память( Куда копать?

нашел вот такое: You can set the maxmemory configuration variable in your redis conf and then set the maxmemory-policy to either allkeys-lru or allkeys->random which will allow keys to be removed from the database and make redis act like a cache. Since you're using it as a cache you can comment out all save lines so redis won't save to disk. This is probably the easiest way and you won't have to switch to memcached, I suggest the allkeys-lru which will allow any key to be removed with the ones that are least recently used being removed first.

Помню от фрагментации текла сильно

> Утекает память( В сисьтеме со slab allocator? А ты эвиктишь, вообще?

Помню от фрагментации текла сильно

Там не должно быть фрагментации

То есть - она есть, но предсказуемая

А чем slab такой магический? Он двигает объекты чтоли?

А чем slab такой магический? Он двигает объекты чтоли?

Преаллоцирует куски предопределенного размера

Зачем двигать? Удалил - положил на то же место новый

А дальше круглые чушки запихиваются в квадратные отверстия

Если для мелких чушек все отверстия заняты, то большое пилится на кусочки, и по новой

> Утекает память( В сисьтеме со slab allocator? А ты эвиктишь, вообще?

Бытует мнение, что он попросту не удаляет ключи из памяти.

Ну и что. Понасоздавали кучу, поудаляли случайно. В итоге в keys * ничего нет почти,,а памяти сотни мегабайт ушло, просто потому что по обьекту в каждой аллокации осталось

Бытует мнение, что он попросту не удаляет ключи из памяти.

А ему настроено так делать-то?

Ну и что. Понасоздавали кучу, поудаляли случайно. В итоге в keys * ничего нет почти,,а памяти сотни мегабайт ушло, просто потому что по обьекту в каждой аллокации осталось

Ит дазнт ворк дат вей

А ему настроено так делать-то?

Я ж вот думал что оно так “изкаробки"

Я ж вот думал что оно так “изкаробки"

Nyet

Из коробки он работает как сторадж бесконечного размера

И ничего не эвиктит

Да я уже понял

Если я ему задам в конфиге maxmemory - он дальше сам разберется?

Ит дазнт ворк дат вей

уверен, что можно наспор сожрать гигабайты при этом чтобы в keys были сотни объектов только

И ничего не эвиктит

вот тут можно в кратце?

что указывать и в каком виде?

ты же про Eviction policies?

Если я ему задам в конфиге maxmemory - он дальше сам разберется?

А вот чтобы я помнил

уверен, что можно наспор сожрать гигабайты при этом чтобы в keys были сотни объектов только

Nyet

вот тут можно в кратце?

Да просто разрешить эвикшны

вот тут можно в кратце?

Ttl задвайте для ключей

Ttl задвайте для ключей

Это тоже можно будет заабузить

Ttl задвайте для ключей

чет я пока с трудом соображаю, как значение подобрать

А вот кэппинг по памяти сверху + разрешение эвиктить - заабузить сильно сложнее

Да просто разрешить эвикшны

https://redis.io/topics/lru-cache#eviction-policies

Nyet

Почему нет то? Достаточно оставить по одному обьекту на каждый сделаный malloc . Создать миллионы и стратегически удалить миллионы минус сотенка

https://redis.io/topics/lru-cache#eviction-policies

А, ставь allkeys-lru

Почему нет то? Достаточно оставить по одному обьекту на каждый сделаный malloc . Создать миллионы и стратегически удалить миллионы минус сотенка

Потому что slab allocator все уже аллоцировал заранее

А дальше есть просто бакеты нужного размера

Как водится, степени двойки

(Не знаю, почему именно двойки)

Что-то я в грусти. А есть на свете лог коллекторы не написанные на ruby и java?

This is a good pick if you are unsure

ладно убедил)

Что-то я в грусти. А есть на свете лог коллекторы не написанные на ruby и java?

Популярных - нет

С другой стороны - а чего бы и не на джава?

А теперь вопрос: у меня редис в контейнере. Если я туда подсуну конфиг, в котором укажу только maxmemorylimit и allkeys-lru - оно нормально подсосется? Или все описывать?

Ну не linuxом единым как бы

И что, ему ж надо будет разместить весь тот понос, который я в него вначале залью. Все эта хрень сделает все страницы dirty, потом я все удалю, но не все, а оставлю по одному в каждом malloc, так что алокатор не сможет сделать free и вуаля.

Что-то я в грусти. А есть на свете лог коллекторы не написанные на ruby и java?

Файлбит

И что, ему ж надо будет разместить весь тот понос, который я в него вначале залью. Все эта хрень сделает все страницы dirty, потом я все удалю, но не все, а оставлю по одному в каждом malloc, так что алокатор не сможет сделать free и вуаля.

Nyet

Что-то я в грусти. А есть на свете лог коллекторы не написанные на ruby и java?

ok-log

Но никто пока не тестил в проде, наскок знаю)

Nyet

Так почему нет то/

Так почему нет то/

Да потому что нет там никакого malloc

Короче, господин Чистяков

Выставил maxmemory-policy allkeys-lru

и оно совсем перестало есть память

раньше хотя б 400мб жрало

а теперь 3

оО?

@demeliorator чтояблятьсделал?

Вы же не храните в редисе важную инфу?

Вы же не храните в редисе важную инфу?

ни в коем случае

@demeliorator чтояблятьсделал?

Стату глянь?

Число ключей похоже на правду?

Число ключей похоже на правду?

Вполне

Если я ему задам в конфиге maxmemory - он дальше сам разберется?

Не дочетал до конца, но достигнув оной, он перестанет писать и начнет слать нахуй

Судя по графеку у тебя нетути времени жизни ключей

Или прост ты набивал базу, а старые ещо не протухали)

Щотам с ttl?

И вообщэ, хде редис мастер-мастер?!

Я его дико желаю

Что-то я в грусти. А есть на свете лог коллекторы не написанные на ruby и java?

Rsyslog. Если ты вдумчиво, с доками в руках сможешь в его конфигурирование - познаешь весьма могущественное колдунство.

https://cli.fyi/#available-commands Ухты юниксвэй в формате микросервисов :)

Да потому что нет там никакого malloc

Либо malloc либо sbrk всегда есть. Вобщем, давайте поспорим на что-нибудь, что я напишу скрипт, который mem_fragmentation_ratio в стате redis сделает >10