но над бинарем я не властен

вообще - у тебя есть над ним власть: ты всегда можешь предзагрузить свою библиотеку, и перехватить все вызовы open/open64 и т.д. и чтения/записи, и возвращать не реальный файл с диска, а то что тебе надо, и так же принимать ответ и обрабатывать его

Когда я сам развлекался крипто-прой, я таки сохранял на диск файлики перед подписью. Это было довольно давно, но мне было обидно что он не умеет в нормальное io stdin/stdout, хотя сейчас не в курсе как оно.

Ребята, а кто-нибудь пробовал такую бд - ardb? - это оболочка на луа для разных дб - левелдб, роскдб и т.д. У меня такой вопрос. могу ли я сделать автоматическую эвакуацию данных, как в мемкеше и задать фиксированный размер данных?

мне на самом деле подойдет абсолютно любая бд, которая может писать на ссд на фикс размер, скажем 250гб. желательно, чтобы было сжатие данных. ну и самое главное, чтобы я мог бесконечно писать и читать. если бд полная, то удаляем одни данные, заменяем другими.

"When the cache is full, the cache will automatically evict the least recently used item." - что-то вроде такого нужно

Если "удалять данные", это уже не БД, а просто лог какой-то.

так не все данные, а только менее используемые чтобы новая переменная влезла

получается, что кеш заполняется, а далее идет по кругу заполнение и удаление, но всегда весь размер кеша в наличии имеется

скажем сгенерировал я сложную страницу на lua, затем кинул ее в мемкеш, затем при следующем чтении по этому ури забираю ее из мемкеша, если есть. если нету, опять падаем в луа.

нужно то же самое, только с ссд. т.к. ссд может быть скажем на 1тб, а памяти на сервере всего 32гб или еще меньше.

нужно то же самое, только с ссд. т.к. ссд может быть скажем на 1тб, а памяти на сервере всего 32гб или еще меньше.

redis и не мучейтесь, вам нужен redis

редис только для оперативной памяти

у меня данных в 100 раз больше, чем есть оперативной памяти

редис только для оперативной памяти

с чего бы это?

http://antirez.com/news/52

редис только для оперативной памяти

Это мемкаша как раз...

разве я могу сказать редису использовать 1гб оперативы и 300гб ссд?

http://antirez.com/news/52

на ssd обычно отключают swap, а redis отлично работает уже 3 года на ssd и тьфу-тьфу-тьфу тук-тук-тук

на ssd обычно отключают swap, а redis отлично работает уже 3 года на ssd и тьфу-тьфу-тьфу тук-тук-тук

Без swap совсем на линуксе жизни нет

...если у тебя конечно не 16 гигов минимум.

(ну или сервер)

ну вот у меня сейчас сервер тестовый - там 32гига, примерно 400гб доступно на ссд, т.е. я могу гигов на 200 смело сделать кеша

ну вот у меня сейчас сервер тестовый - там 32гига, примерно 400гб доступно на ссд, т.е. я могу гигов на 200 смело сделать кеша

А что вы пытаетесь создать? Какая у вас задача?

просто кешировать страницы

много сотен миллионов страниц

понятное дело, что не все они влезут в кеш

просто кешировать страницы

И вы решили придумать что то что ни у кого нет?

понятное дело, что не все они влезут в кеш

Nginx отлично кэширует статику

мне нужно это делать из луа и управлять что класть и куда класть

мне нужно это делать из луа и управлять что класть и куда класть

Redis + lua nginx

а есть ли какие-то особые настройки редис для этого?

а есть ли какие-то особые настройки редис для этого?

Делаете persistent хранилище, а не in memory, что бы хранил данные на диске при необходимости или перезагрузке контейнера, например. Работает так быстро как летает тот супермен в красных трусах поверх синих трико

он у меня и так персистент

а есть ли какие-то особые настройки редис для этого?

Из backend кладете и обновляете данные в redis для nginx который с помощью lua эти данные достает

если стопнуть редис и запустить заново, он поднимается пару минут

или я что-то не то делаю?

он у меня и так персистент

Так а чего вы тогда голову себе морочите?)))

потому что если туда продолжить писать, он умрет вместе с сервером

память кончится

или я что-то не то делаю?

После рестарта данные должны сохраняться

проблема не в этом, а в том что памяти меньше, чем диска

проблема не в этом, а в том что памяти меньше, чем диска

При чем тут память? Он на диске хранит данные

я не вижу там такой настройки

можете показать свой конфиг?

я не вижу там такой настройки

Какой?

редис

save 86400 1 - это оно?

https://redis.io/topics/persistence

т.е. он просто снапшот делает на диск

а как сделать, чтобы при этом он не использовал оперативную память?

редис

Если вы так боитесь что он сожрет всю RAM, то вам нужен nginx которых хранит кэщ на диске и раздает его очень быстро и эффективно, обычный кэш nginx

по поводу памяти редиса

вот пример

при этом дампится на диск конечно же

если переполнится память, сервер естественно умрет

не уверен что это именно то о чем вы думаете, но вот вам другой пример с nginx + lua

если переполнится память, сервер естественно умрет

в моем примере nginx очистит старые и будет писать новые, так как вам и нужно

да, мне по сути нужен прокси кеш, только управляемый

чтобы я ему дал текст страницы и он ее положил в кеш

и чтобы по ключу достал

просто прокси кеш мне не подходит, т.к. он не кеширует как надо

и чтобы по ключу достал

ну вот все это и есть на моем скриншоте

он кеширует до исполнения body_filter_by_lua

он кеширует до исполнения body_filter_by_lua

редко встречаю тех кто знает такие названия, прям реально единицы

ну да, я как раз из тех, кто это активно использует )

вы давно знакомы с фазами?

ну год

где-то год назад начал везде активно использовать эту технологию

Очень круто!

а сколько фаз в обычном OpenResty ?

я использую только access, headerfilter, bodyfilter

или только content

init, log - не использую

я использую только access, headerfilter, bodyfilter

4 ?

6

еще?

ну вот все, но я использую только content, access, header, body_filter