А как одним словом назвать всё это: $push $set $pull $position? хочу почитать об этом

тремя

Array Update Operators

https://docs.mongodb.com/manual/reference/operator/update-array/

Доброе утро. Как можно выявлять битые коллекции и почему они возникают?

Доброе. Битые коллекции? Что за зверь?

Kmsan õzi

Доброе. Битые коллекции? Что за зверь?

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

hi

it is not simple, it is VERY simple :)

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

а, теперь ясно. Тогда вам сюда https://docs.mongodb.com/manual/reference/command/repairDatabase/

here it is https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

It is not very well when you learn only by example. You must read the documentation at least from time to time.

а, теперь ясно. Тогда вам сюда https://docs.mongodb.com/manual/reference/command/repairDatabase/

понятно что мне туда. Вопрос как это отслеживать, а главное как теперь найти коллекцию с которой траблы, тупо лопатить логи монги?

done

thankyou @AstraSerg 👍

thankyou @AstraSerg 👍

You're welcome!

понятно что мне туда. Вопрос как это отслеживать, а главное как теперь найти коллекцию с которой траблы, тупо лопатить логи монги?

Так вам и не нужна коллекция. У вас же ошибка вылетает при копировании БД, и rapair отностися к БД Или вы хотите превентивно проверить всё на наличие ошибок?

Так вам и не нужна коллекция. У вас же ошибка вылетает при копировании БД, и rapair отностися к БД Или вы хотите превентивно проверить всё на наличие ошибок?

копирование отвалилось по причине битого индекса или проблемы с коллекцией насколько я понял. Теперь, чтобы выполнить процедуру копирования мне получается нужно найти и починить коллекцию или индекс. И да хотелось бы как то отслеживать наличие таких проблем. Пока вижу только через логирование как то это смотреть. Думал может есть какая то надстройка или инструмент для отслеживания

день добрый, что-то туплю, и гугл не подсказывает где... есть колекция с несколькими миллионами записей, если я делаю через консольного клиентав ней запрос: db.mycol.find(myfilter).sort({_id:-1}).limit(1); отрабатывает моментально и выдает результат, пытаюсь сделать тоже самое через nodejs, вытягивает из курсора данные около полуминуты... с чем то может быть связано?

такс, пардон, похоже где-то не там я затупил, посносил весь лишний код, заработало...

Подскажите в какую сторону копать - пишем простые данные по загрузке системы каждую минуту в монго. есть же какие то аггрегирующие функции ? Чтобы на стороне базы проводить усреднения ?

Qoloyslor ey

причина была в том, что parseInt на число в фильтре не сделал, которое пришло в виде строки...

Andrey > мне получается нужно найти и починить коллекцию или индекс. нет, вам нужно починить БД

Подскажите в какую сторону копать - пишем простые данные по загрузке системы каждую минуту в монго. есть же какие то аггрегирующие функции ? Чтобы на стороне базы проводить усреднения ?

да, конечно. Подобные вещи находятся в aggregation https://docs.mongodb.com/manual/aggregation/ Там и группировки, и средние значения групп и т.п.

Привет, подскажите, как решить

Mongoose 5.x disallows passing a spread of operators to Model.aggregate(). Instead of Model.aggregate({ $match }, { $skip }), do Model.aggregate([{ $match }, { $skip }])", name: "MongooseError" }

При этом, всё по доке вроде сделано: .aggregate([ { $match: { userId } }, { $addFields: { campaigns: { $filter: { input: '$campaigns', as: 'campaign', cond: { $eq: ['$$campaign.isActive', true] } } } } }, { $project: { campaigns: { _id: 1, targeting: 1, position: 1, type: 1, // date: 1, // name: 1, }, widget: 1 } }]) .exec()

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

Какая версия монги?

Какая версия монги?

TokuMX mongo shell v2.0.2-mongodb-2.4.10

TokuMX mongo shell v2.0.2-mongodb-2.4.10

2.4 разве ещё можно использовать??

2.4 разве ещё можно использовать??

Давайте без оценочных суждений

Давайте без оценочных суждений

не, я серьёзно

это типа намек, что 2.4 ансаппортед?

TokuMX mongo shell v2.0.2-mongodb-2.4.10

А там монга или tokumx?

это типа намек, что 2.4 ансаппортед?

да, ну и важных фич нет

не, я серьёзно

У меня до недавнего времени вообще 1.0.х крутилась для личных нужд

видимо tokumx

У меня до недавнего времени вообще 1.0.х крутилась для личных нужд

...а казались приличным человеком.... (шутка) :)

tokumx:v3.1

А я на второй версии учился, была книжка даже с писающим мальчиком от одного из создателей MongoDB

видимо tokumx

Ну вот и ответ на вопрос «почему бьётся».

Это скорее всего недоделки в патче/форке

Я вам настоятельно рекомендую запланировать переезд с tokumx, это мёртвое решение

Percona TokuMX Percona TokuMX has been EOL’d.

https://www.percona.com/software/mongo-database/percona-tokumx

Ну вот и ответ на вопрос «почему бьётся».

каюсь, верю что надо уходить на монго) Досталось в наследство, пока не богатый опыт в монго. Переезд в планах стоит, как только прокачаюсь

Пока, даже представить сложно как все это портировать. Починить бы то что есть

Вы ничего не почините. Это неподдерживаемый форк монги, который уже 4 года вообще не разрабатывается. Им пользовалось в лучшем случае несколько тысяч человек

Скорее всего проблема с copy/clone в использовании неспецифицированных bson типов, для внутренней разметки или ещё чего

тогда как перенести\склонировать данные на новое если такие траблы?

есть какие то бест практис где почитать?

Вам вероятно поможет mongodump

Но может и не помочь

оптимистично

разворачиваете standalone 4.0, останавливаете запись в tokumx, запускаете mongodump, ждёте завершения, делаете mongorestore

переключаете клиентов на 4.0

оптимистично

к сожалению, когда было принято решение использовать tokumx, принимающие решение плохо понимали риски

использование третесторонних форков, патчей и плагинов рано или поздно заканчивается вот такой вот ситуацией

да, конечно. Подобные вещи находятся в aggregation https://docs.mongodb.com/manual/aggregation/ Там и группировки, и средние значения групп и т.п.

Ага читаю

Тоже самое, рано или поздно, ждёт тех, кто вписался в Percona Server for MongoDB

тогда как перенести\склонировать данные на новое если такие траблы?

Кстати, вы можете провести пробный дамп/рестор прямо не прерывая работу боевой БД. Просто для теста, не возникнет ли ошибок. Потом можно отправить несколько запросов, аналогичных боевым к новой БД

up

Mongoose 5.x disallows passing a spread of operators to Model.aggregate(). Instead of Model.aggregate({ $match }, { $skip }), do Model.aggregate([{ $match }, { $skip }])", name: "MongooseError" }

При этом, всё по доке вроде сделано: .aggregate([ { $match: { userId } }, { $addFields: { campaigns: { $filter: { input: '$campaigns', as: 'campaign', cond: { $eq: ['$$campaign.isActive', true] } } } } }, { $project: { campaigns: { _id: 1, targeting: 1, position: 1, type: 1, // date: 1, // name: 1, }, widget: 1 } }]) .exec()

up

я не могу помочь, извините

и гугл молчит, будто никто с таким не сталкивался

Кстати, вы можете провести пробный дамп/рестор прямо не прерывая работу боевой БД. Просто для теста, не возникнет ли ошибок. Потом можно отправить несколько запросов, аналогичных боевым к новой БД

СДелал более топорно. через МонгоЧиф нашел порядковый номер коллекции на которой отвалилось копирование. Сейчас буду пробовать ее скопировать +\- коллекции по списку. Вариант, если скопировать не удасться то просто ее грохну.

Andrey >... то просто ее грохну Всю коллекцию?!

да. Там данные телеметрии.

разворачиваете standalone 4.0, останавливаете запись в tokumx, запускаете mongodump, ждёте завершения, делаете mongorestore

а подскажите, монгодамп\монгоресторе можно запустить для одной базы в инстансе?

а подскажите, монгодамп\монгоресторе можно запустить для одной базы в инстансе?

https://docs.mongodb.com/manual/reference/program/mongodump/#cmdoption-mongodump-db

https://docs.mongodb.com/manual/reference/program/mongodump/#cmdoption-mongodump-db

боюсь, что это не поможет, т.к. дамп из току не ресторится в монгу. Тестировали на монга3. с монга 4 не знаю как будет

боюсь, что это не поможет, т.к. дамп из току не ресторится в монгу. Тестировали на монга3. с монга 4 не знаю как будет

Не ресторится с какими симптомами?

Сейчас уже не подскажу. Лично не делал

Добрый день. Не подскажите команды rs.add(name) достаточно чтобы вернуть ноду в репликасет или есть какие-то нюансы?

Смотря что вы хотите сделать

Добрый день. Не подскажите команды rs.add(name) достаточно чтобы вернуть ноду в репликасет или есть какие-то нюансы?

если нода уже была в репликасете, то ничего делать не надо

у неё уже должен быть конфиг кластера локально и при запуске она попытается самостоятельно подключится к кластеру