А если за это время он не успеет отправиться в бд, оно ж просто “вжух” и исчезнет, верно?
да
Yevhenii
Старый
Aleksandr
А если за это время он не успеет отправиться в бд, оно ж просто “вжух” и исчезнет, верно?
при allkeys-lru, если ключ не изменялся в последнее время, да
Yevhenii
Или можно забрать данные, а потом руками сделать DEL
Ivan
Или можно забрать данные, а потом руками сделать DEL
я вот думал о подтверждении доставки, но чет это долго
Ivan
Спасибо, господа
Старый
и вот как не проебаться?
запрос данных - > отравка в кликхаус -> проверка валидности -> установка состояния\удаление ключа
Ivan
Я Ж НАПИСАЛ УЖЕ
Yevhenii
Смотри, при allkeys-lru, я подозреваю что у тебя ключи использовались один раз, и они гробит их все
Ivan
блэд, сорямба за капс, я на него язык переключаю
Ivan
Yevhenii
ну вообще так и есть
ну, там логика какая, редис удаляет ключи, которые мало использовались в последнее время
պլհկ
либо у вас кеш который может пропасть в любой момент
либо вы не хотите проебать данные и менеджите удаление на стороне приложения
Yevhenii
SET - тоже использование
Ivan
ну, там логика какая, редис удаляет ключи, которые мало использовались в последнее время
То есть, если они одноразовые (а по факту так и есть) - то и пускай удаляются, верно?
Yevhenii
Ivan
что ж так сложно то
Yevhenii
есть вероятность, что они все SET сделали, а данные не забрали
Yevhenii
потому что очередь большая
Ivan
Хочу жить в мире Хрыча, где сидишь, выебываешься, а за тебя всё делают. Да еще и хвастаешься этим.
Старый
При таком количестве - да
у меня так обрабатывалось 80 тыс задач в сек, на говёном железе, эт шутка?
Yevhenii
редис их угробит тоже, потому что они мало используются
🏳️ Phil
Отстаньте уже от Хрыча. Он всё равно скоро умрет
Ivan
Второй день слежу за твоими мучениями. Переживаю, как за себя =)
Да я просто хочу разобраться, чтоб больше такое не устраивать)
Vladimir
получает пакеты, быстренько парсит и отправляет инсертами в ClickHouse
Мне кажется что тебе надо после инсерта удалять
rus
Да я просто хочу разобраться, чтоб больше такое не устраивать)
Дык, не. Мне наоборот супер интересно. Жду положительного разрешения проблемы =)
Yevhenii
есть еще вариант, ставить большой TTL
Yevhenii
и полиси volatile-ttl
Yevhenii
тогда он будет удалять наиболее старые ключи
Yevhenii
но проблема с переполнением очереди все равно остается
Ivan
Я вот пока не могу точно установить - есть ли переполнение)
Yevhenii
мне кажется, лучше после инсерта в КХ удалять из редиса и полиси по удалению убрать
Yevhenii
а сколько у тебя операций в секунду?
Ivan
Ivan
В проде будет намного больше
Ivan
Но в проде я все это заверну в кубу, и буду плодить и распределять нагрузку ингресом, например
Ivan
Но с памятью разобраться надо
Ivan
127.0.0.1:6379> MEMORY DOCTOR
Sam, I detected a few issues in this Redis instance memory implants:
* Peak memory: In the past this instance used more than 150% the memory that is currently using. The allocator is normally not able to release memory after a peak, so you can expect to see a big fragmentation ratio, however this is actually harmless and is only due to the memory peak, and if the Redis instance Resident Set Size (RSS) is currently bigger than expected, the memory will be used as soon as you fill the Redis instance with more data. If the memory peak was only occasional and you want to try to reclaim memory, please try the MEMORY PURGE command, otherwise the only other option is to shutdown and restart the instance.
I'm here to keep you safe, Sam. I want to help you.
Ivan
@djackyn @kozlov_aa чтоэто?
Bogdan (SirEdvin)
Это не очень круто, но почему бы не взять rabbitmq вместо redis, если нужен именно брокер?
Navern
так у них уже celery?
Sergey
Это не очень круто, но почему бы не взять rabbitmq вместо redis, если нужен именно брокер?
+100500
тут какая-то странная архитектура ибо.
берёшь кролика, правильно готовишь - и опа-на.
Bogdan (SirEdvin)
Celery умеет в rabbitmq ...
Yevhenii
мне кажется, редис немного не подходит под задачу
Ivan
ХРЫЫЫЫЫЫЫЫЧ
Старый
+100500
тут какая-то странная архитектура ибо.
берёшь кролика, правильно готовишь - и опа-на.
хз, kafka+zookeeper+local storage лучше будет
Ivan
Хочешь быстро и без смс код писать?!
Ivan
http://hackertyper.com
Ivan
начинай что-нибудь набирать
Ivan
Это не очень круто, но почему бы не взять rabbitmq вместо redis, если нужен именно брокер?
Да не брокер же. Пользую, как inmemory память
Sergey
Да не брокер же. Пользую, как inmemory память
если ты работаешь с этим inmemory как с очередью, судя по твоему же описанию - нутыпонел
Ivan
Александр
+100500
тут какая-то странная архитектура ибо.
берёшь кролика, правильно готовишь - и опа-на.
получаешь кафку, потому что вместо кролика попалось что-то другое
Ivan
Так не хотел я в кроликов
Yevhenii
ну, тебе не подходит ни одна стратегия удаления кэша
Ivan
ну, тебе не подходит ни одна стратегия удаления кэша
Мне кажется, я просто туп и что-то делаю не так и не могу вам правильно объяснить)
Ivan
Или пользую не те инструменты.
Ivan
Блэд, простой скриптик на 40 строк и столько анальных мук...
Yevhenii
ну, ты пытаешся на kvstorage построить очередь
Ivan
Пойду интернеты читать
Bogdan (SirEdvin)
Потому что очередь может не помещяатся вся в память. А redis не может это адекватно обработать. Если я правильно понимаю.