монго в контексте когда есть 1кк записей из них все с 3 полями (инт + 2 строки) и половина с доп полями по 2 строки. выгоднее ли при выборке по основным полям (те что 3)? и mariadb и mysql и монго дают спорные результаты при синтетических тестах)

Цель какая?

оптимизация времени ответа-поиска) банально. тупо игра с кучей опций. Где-то есть где-то нет у объектов доп-поля. ну и все это на сокетах и время ответа для онлайна важно

Выносите в оперативную память процесса и грузите на запуске

над базой ещё рутина проводится по обновлению статистики и подобному. а оно стопорит активность на минут 5-15 ежедневно

и по оперативке - если есть советы как хранить хотяб промежуточные сессии не в дБ а внутри ноды тоже было бы круто.

Надо перерабатывать, что обновление статы не лочило данные

Редис?

редис быстрее монго? я только читал. вроде на 2х полях монго недалеко от редиса. поле сокета поле айди

Добрый вечер! Не хватает 20 респондентов до полной выборки, не могли вы пройти опрос, если вы специалист из сферы IT, который работал или работает удалённо. Вы очень поможете мне с дипломом 🙏🙏🙏 https://forms.gle/WdpEHf7mFtEZiQxK6

Ну как бы в редисе держим кэш, читаем из него, изменения и в базу и в кэш вносим и снимаем нагрузку с базы

Ну как бы в редисе держим кэш, читаем из него, изменения и в базу и в кэш вносим и снимаем нагрузку с базы

так там поверх ноды висит интерфейс внешки (vue3). он запрашивает только когда совсем надо. понимаю что редис в кеше. но нода сама жрёт и монго поверх. оперативка плюс на nginx идёт) типа спорный момент как лучше потому и спрашиваю. ок. попробую редис для проверки. есть таблица в монго Auth - там тупо айди пользователя в системе и его сокет. а потом авторизация.

Добрый вечер! Не хватает 20 респондентов до полной выборки, не могли вы пройти опрос, если вы специалист из сферы IT, который работал или работает удалённо. Вы очень поможете мне с дипломом 🙏🙏🙏 https://forms.gle/WdpEHf7mFtEZiQxK6

так там поверх ноды висит интерфейс внешки (vue3). он запрашивает только когда совсем надо. понимаю что редис в кеше. но нода сама жрёт и монго поверх. оперативка плюс на nginx идёт) типа спорный момент как лучше потому и спрашиваю. ок. попробую редис для проверки. есть таблица в монго Auth - там тупо айди пользователя в системе и его сокет. а потом авторизация.

ну и за редис респект. я сам его рекламировал буквально месяц назад и забыл) если он по оперативке норм то гут решение

слушай недавно встречал кейс что редис может запускать job которые работают на отдельном от ноды процесерре чтобы ноду не грузить

вообще это несовсем корректно с моей стороны просто советовать воткнуть редис, если у вас проблема только в том что есть лок на 15 минут раз в день то это можно решать по другому. Если же есть именно проблемы чтения при работе с БД, то да тут кэш уже выручит, но также может банальное добавление оперативы помочь. Если же вцелом система медленная, то надо будет комплексно оценивать каждую часть и искать ботлнеки, сначала самые очевидные, а потом уже искать глубже - но возможно это все просто может быть закрыто перездом в более производительное окружение

процессоров хватает. я не все контролю в процессе производства. отсюда куча лишних циклов. 32х ядра и 16 рам нагружаются. оперативка свободна обычно. а процы всегда под нагрузкой nginx от количества входов. а сеть пока строить чуть рано. вот и экономлю)

слишком сложно пойду лучше с очередью поиграюсь

слишком сложно пойду лучше с очередью поиграюсь

да блин. ну я про быт. ну че тут сложного что я не описываю? версию nginx? платформу? (debian10).

ты уходишь в низко уровнеые операции говоря архитектуру процессора и тд. Я если честно про это не думаю когда работаю. Конечно я подбираю 64 bit всегда для сервера но в низ не ухожу)

а ок. сорян. я бывший админ. лезу до термопасты)

а ясно ну а я фулл стек. Просто так рутины хвататет а тут про процессоры 0))

пятница, намекают отдохнуть)

слышали пиканье ибп со всех сторон в радиусе 100 метров? Что-то рванет)

когда работаешь сисадминов и не такое услышиш 🤣

буль буль из серверной самый норм звук когда помощник сисадмина задел полку с запасами)

а какой там запах ах

там 2 кондея на 10 метров. чтоб безотказно

влажность чуть меньше 0

подскажи плиз хорошую книгу по linux так чтобы поверхностно было

а это разве не повышает риски по статике?

а это разве не повышает риски по статике?

опыт. если меньше 25 то тупо ставь и живи. само решиться. говорил с теми кто читал. не то.

да есть у меня тачка я там пару необходимых пакетов поставил из за рекомендация с инета и все

да есть у меня тачка я там пару необходимых пакетов поставил из за рекомендация с инета и все

8 ядер 64 гига 2 терабайта ssd

8 ядер 64 гига 2 терабайта ssd

подскажи плиз хорошую книгу по linux так чтобы поверхностно было

https://youtube.com/playlist?list=PL3ww5Qxhc2rDSW4C-URnbHI5T6b6vLDCv

Всем привет. Прошу подсказки. Первый раз использую MongoDB с GridFS. С помощью put отправляю туда бинарь предварительно сняв с него хэш. После загрузки в mongo хэш не совпадает. Часть данных из файла пропадает. При этом ни каких ошибок не было. На сколько это распространенное поведение и есть ли какие то практики борьбы с этим?

Вероятнее всего вы загружаете не весь файл целиком, а только один чанк. Проверьте как в вашем драйвере правильно получать весь файл

а как вы читаете файл?

привет всем, проектируем архитектуру проекта, необходимо знать примерные цифры, подскажите пожалуйста, сколько нужно времени примерно залить 100 000 строк в монго за раз в 1 потоке (java)? формат данных такой {"id" : 12334525, "task_id" : 3213, "status" : 1, "work_status" : 1, "dt_update" : "11322332"}

на какой машине? Надо взять и протестировать

у нас пользователь запускает с админки задание, там есть такое поле как кол-во повторений задания мы каждое повторение разбираем на + 1 строку в базе потом когда обработчики будут исполнять, они будут брать каждую строку себе в обработку и будет каждое повторение как отдельная строка так вот заданий у нас от пользоватлей планируется тысячи, возьмем к примеру условно 2000 заданий и если каждое задание юзер захочет повторить по 10 000 раз, это в сумме будет 2000 * 10 000 = 20 000 000 строк вообще такой подход имеет право на жизнь?