Можно почистить конфиг базу, но на свой страх и риск)

Добрый вечер. А если в реплика сет где праймари , секондари и арбитр. Добавить ещё одну секондари, арбитр нужен?

Ну и вообще зависит от того, что будет за Secondary, если он будет Hidden и для него будет выключено участие в голосовании, то арбитра можно оставить

А для чего обычно хиден делается!?

А для чего обычно хиден делается!?

Например, чтобы строить сложные и тяжелые отчеты, или чтобы бэкапить без нагрузки. Ну и есть особый вид Hidden — Delayed, на нем хранятся данные с отставанием, например на один час. Это нужно, чтобы из-за кривого кода или случайных (или умышленных) ошибок у вас были относительно консистентные данные

Понятно некое подобие disaster recovery.

Понятно некое подобие disaster recovery.

Скорее один из инструментов, потому что для подобных ситуаций должен быть комплекс целый

Вообще очень советую подробно прочитать весь раздел про репликацию в документации https://docs.mongodb.com/manual/replication/

Например, чтобы строить сложные и тяжелые отчеты, или чтобы бэкапить без нагрузки. Ну и есть особый вид Hidden — Delayed, на нем хранятся данные с отставанием, например на один час. Это нужно, чтобы из-за кривого кода или случайных (или умышленных) ошибок у вас были относительно консистентные данные

Hidden невидимы для клиентов, только для нод в кластере. Это операционные единицы для обслуживания кластера.

Hidden невидимы для клиентов, только для нод в кластере. Это операционные единицы для обслуживания кластера.

Так и есть: Use hidden members for dedicated tasks such as reporting and backups. Delayed members should be hidden.

Так и есть: Use hidden members for dedicated tasks such as reporting and backups. Delayed members should be hidden.

Только они не доступны из view кластера. К ним возможно только прямое подключение.

Весь смысл hidden в том чтоб быть скрытыми от запросов клиентов. Документация вообще странно написана: «Clients will not distribute reads with the appropriate read preference to hidden members». Нет такого read preference, с которым клиенты могут отправить запрос на hidden ноду. Про отчёты тоже странная формулировка, без замечания что для этого необходимо прямое соединение.

Весь смысл hidden в том чтоб быть скрытыми от запросов клиентов. Документация вообще странно написана: «Clients will not distribute reads with the appropriate read preference to hidden members». Нет такого read preference, с которым клиенты могут отправить запрос на hidden ноду. Про отчёты тоже странная формулировка, без замечания что для этого необходимо прямое соединение.

Это все верно. На скрытые узлы не ходят клиенты подключённые к реплике, так что нагрузка этих узлов не повлияет на отклик приложений. Так что на них можно делать тяжелые операции

Естественно напрямую

Но так лучше не делать. Это одно из тех мест, где монговцы сами себе противоречат. Это попытка масштабирования read capcity с помощью secondary, что раньше ими порицалось. С сессиями и транзакциями становится ещё тяжелее

Я хочу понять только один аспект. Могу ли я использовать такой режим для снятия дампа с базы.

Видимо могу.

Да, для этого оно по сути и предназначено

Всем привет! Кто включал featureCompatibilityVersion == 3.4 после апгрейда с 3.2? Как себя ведёт репликасет? Была ли деградация по перфомансу?

Полагаю, идёт несогласование версий (например mongodb server 4.0 vs mongodump 3.6)

Добрый день, вопрос по Шардированию. Как я понимаю данные размазываются по репликасетам. Тогда вопрос, что будет, если одна нода развалится, часть данных, которая она хранит пропадет,целостность данных нарушится?

Если упадет одна нода в реплика сете из нескольких нод, то ничего. Произойдут выборы, будет новый мастер.

А вот если шард целиком, то да. У вас будет дырка в данных

Всем привет. У меня вопрос по организации схемы данных в монго. У меня есть справочная коллекция Modules (id+различные поля настроек для модуля) и коллекция Devices. Нужна возможность устанавливать Modules для Device с переопределением настроек от дефолтных. Я подозреваю, что можно что-то вроде device.installedModules = {_id: ..., moduleId: module._id, <тут список полей, которые есть в Module, но с переопределенными значениями>} Верно ли это, либо подход другой должен быть? Буду благодарен за примеры и ссылки на доки/статьи

друзья, подскажите, пожалуйста Почему-то при поиске гео-объектов с помощью $geoWithin => $centerSphere выдаются ТОЛЬКО ТОЧКИ, которые лежат внутри сферы, хотя, внутри сферы имеются также и полигоны. В чём проблема? Как можно решить? Полигоны тоже нужны Запрос: find({"ns":"log.geo","filter":{"location":{"$geoWithin":{"$centerSphere":[[99.525511,14.033928],0.0025232135647961246]}}}})

Приветствую. Имеется коллекция с расходами у которых есть дата, сумма и получатель. Подскажите пожалуйста, как сделать аггрегацию, чтобы на выходе у меня была статистика суммы этих расходов по месяцам и получателям? Вот так 2018.08: total: 1000000, потрачено на получателя 1: 100000 потрачено на второго получателя: 30000 и т д

Приветствую. Имеется коллекция с расходами у которых есть дата, сумма и получатель. Подскажите пожалуйста, как сделать аггрегацию, чтобы на выходе у меня была статистика суммы этих расходов по месяцам и получателям? Вот так 2018.08: total: 1000000, потрачено на получателя 1: 100000 потрачено на второго получателя: 30000 и т д

Тебе нужен $group и $sum

у меня сейчас вот так db.getCollection("transactions").aggregate( { $group : { _id: { year : { $year : "$date" }, month : { $month : "$date" }, }, count: { $sum: "$sum" } }} )

Но я не понимаю каксделать, чтобы считало сумму для каждого получателя в отдельности

а не просто тотал

Ребят, привет. Подскажите, почему монга может уничтожать цпу. currentOp и profiler долгих запросов не видят. но htop показывает 250% cpu usage. все 4 ядра забиты. монга 3.2.16. я знаю что нужно обновлять, но все с этой версией работало хорошо

Но я не понимаю каксделать, чтобы считало сумму для каждого получателя в отдельности

В _id добавь еще поле получателя

А как быть в ситуации, если получателей несколько? т.е. есть массив receivers['receiver1,'receiver2'...]

А как быть в ситуации, если получателей несколько? т.е. есть массив receivers['receiver1,'receiver2'...]

$unwind потом $group

Ребят, привет. Подскажите, почему монга может уничтожать цпу. currentOp и profiler долгих запросов не видят. но htop показывает 250% cpu usage. все 4 ядра забиты. монга 3.2.16. я знаю что нужно обновлять, но все с этой версией работало хорошо

а не факт что это долгие запросы

можно включить на пару минут профайлер с slowms: 0 и посмотреть что туда навалится

но стоит посмотреть на qps, может быть просто клиентов больше стало или разработчики выкатили новый релиз, который поменял паттерны

возможно где-то в маленькую коллекцию мимо индексов ходят

несколько тысяч раз в минуту

хм, ща гляну, спасибо

рекомендую воткнуть перконовский мониторинг

по нему хоть видно чо происходит и там есть ловилка запросов

спасибо огромное, вы спасли мне вечер) последний вопрос - получатели - это ObjectId, как их раскрыть в выдаче?

что значит «раскрыть»?

как populate() в mongoose

чтобы вместо ссылки был исходный объект

а, $lookup

твой _любимый_ $lookup

ERROR: S client not available

db.getCollection("transactions").aggregate([ {$unwind:"$receivers"}, {$lookup:{ from: "receivers", localField: "receivers", foreignField: "name", as: "receivers" }}, { $group : { _id: { year : { $year : "$date" }, month : { $month : "$date" }, receiver: "$receivers" }, count: { $sum: "$sum" } }}] ) Возвращает { "_id" : { "year" : NumberInt(2018), "month" : NumberInt(4), "receivers" : [ ] }, "count" : 1796482.9 }

т е пустой массив

без lookup возвращает все как надо, но в виде ObjectId

без lookup возвращает все как надо, но в виде ObjectId

попробуй $lookup сделать после $group стейджа

уже попробовал, тоже самое к сожалению..

бред, по логике должно же работать так как после unwind это делаем

ее, разобрался

в foreignField надо было указать _id вместо name

А возможно ли сделать, чтобы receiver был не в _id, а в объекте месяца был список всех receiver с их суммами?

вы переносите логику приложения в базу

посчитайте по _id, а потом уже в приложении делайте что хотите

mongoose.connect(config.dbURL, config.dbOptions) .then(() => console.log('Mongoose successful connection')) .catch((err) => console.error("Mongoose starting error: ", err)); Привет. Народ у меня Mongoose successful connection отрабатывает в любом случае, когда есть соединение, и когда нету всё ровно Mongoose successful connection, в блок catch не заходит. Как можно пофиксить ?

Вот дока https://mongoosejs.com/docs/connections.html#callback

Ок попробую

Так работает, спасибо

https://github.com/chobostar/mongodb-backup-s3 дописал docker образ "примитивных" бэкапов небольших баз на mongodb. Добавлено: - поддержка кастомного S3 совместимого хранилища - функционал по сохранению только N последних бэкапов Может кому интересно. А кто захочет дописать - добавить поддержку инкрементальных бэкапов например.

#ищу работу #удаленку ищу постоянную удаленную работу системным администратором unix/linux/voip/networking и/или специалистом по информационной безопасности(ИБ). все подробности и резюме через мой контакт в телеге: @sysbooter С уважением,

Парни

Создание индекса на большую коллекцию подвешивает операции вставки и обновления?

Запустите создание индекса асинхронно используя опцию background

Оо

Можно подробнее?

А, нашел