Всем привет. Есть база данных base1. Нужно ее склонировать в рамках одного mongod instance в новую базу. Я правильно понял, мои действия запустить db.copyDatabase("base1","base1new") ? Или лучше использовать db.cloneDatabase? Что быстрее и безопаснее. База порядка 500Гб.

Всем привет. Есть база данных base1. Нужно ее склонировать в рамках одного mongod instance в новую базу. Я правильно понял, мои действия запустить db.copyDatabase("base1","base1new") ? Или лучше использовать db.cloneDatabase? Что быстрее и безопаснее. База порядка 500Гб.

Если вы можете остановить монгу на время, то самый быстрый способ через копирование файлов хранилища. Составляете список, создаёте новую базу, в ней пустые коллекции, через collStat составляете список файлов, останавливаете монгу и заменяете файлы новых коллекций копией файлов оригинальных коллекций. Второй вариант mongodump и mongorestore. Запускаете на другом порту и через pipe делаете копию. Если вы не можете остановить монгу и в базу продолжается запись, то у вас будут проблемы и в общем виде задачу будет очень сложно решить. Так как copy и clone во-первых не point-in-time а значит данные будут неконсистентные, во-вторых они ещё и блокируют операции с базой, что может привести к отказу в обслуживании

Если я остановлю все что пишет в бд и запущу db.copydatabase это насколько долгий процесс? Допустим на 500гб? Или все зависит по ресурсам?

Зависит от ресурсов, да. Но будет долго

Долго == часы

Если у вас НЖМД может и сутки

а есть способ проверить что в базу уже никто ничего не пишет? чтобы убедиться что можно копирование начинать. Сам только начал знакомится с монго

отобрать у всех пользователей права на запись

И в каких-то прекрасных апках без try..catch всё ляжет при попытке записи?

И в каких-то прекрасных апках без try..catch всё ляжет при попытке записи?

Вы будете удивлены, но у некоторых микросервисов умышленно закладывается поведение вывалиться, если другой сервис (а СУБД — это всего-навсего сервис), от которого он зависит выслал отказ в обслуживании.

Вы будете удивлены, но у некоторых микросервисов умышленно закладывается поведение вывалиться, если другой сервис (а СУБД — это всего-навсего сервис), от которого он зависит выслал отказ в обслуживании.

странно это звучит - если вы жыли в эпоху до контейнеров то просто отдайт 500, а там балансер сам отрубит уже обращение к сервису, а в 2018 году просто под с приложухой убьется после хелсчека или я так превартно слово «вывалиться» интерпретировал?

странно это звучит - если вы жыли в эпоху до контейнеров то просто отдайт 500, а там балансер сам отрубит уже обращение к сервису, а в 2018 году просто под с приложухой убьется после хелсчека или я так превартно слово «вывалиться» интерпретировал?

Не все приложения укладывют в контейнеры в 2018 году. Но принцип примерно как вы описали, разве что и так будет 500, если сервис упал, ему ничего отдавать не нужно. Вместо него оркестровщик попробует поставить новый.

ну ок согласен, я просто испытваю некую боль тк был знаком с разработчиками у которых софт просто в эксепшен падал навсегда

ну ок согласен, я просто испытваю некую боль тк был знаком с разработчиками у которых софт просто в эксепшен падал навсегда

try/catch тоже может таить много опасностей. Поставить его в неверном месте, и вместо падения и перезапуска в «нормальном» режиме, можно получить сервис, часть которого работает, а другая ушла в себя. Получается сервис с софт-локом. Нежить одним словом, которая может отдавать некорректный результат.

Salom xamaga

salam voram

Salom xamaga

Ruscha gapr

Всем доброй ночи. Вопрос. Монго/Монгуз. Есть модель const jobSchema = new mongoose.Schema ({ name: String, result: {} }) На определенном этапе в result прилетает ключ tweets который является массивом. Как после этого обновлять массив? Как сделать unshift result.tweets в такой модели?

Посмотрите на команду $pull, но вам нужен будет какой-то уникальный идентификатор внутри result.tweeets, чтобы делать это без костылей.

пулл же для удаления

пулл же для удаления

Сорри, почти сплю

Тогда вам нужен $push

проблема в том что массив внутри объекта. я не доганаю как быть в таком случае? я знаю есть $push и тд. но как применить если массив внутри объекта?

Просто в ключе полный путь укажите: $push: { 'result.tweets': newTweet } Чтобы сделать unshift, нужно вроде $position в 0: $push: { 'result.tweets': { $position: 0, $each: [newTweet] } }

точно отработало! спасибо. а то я нестил по другому. еще вопрос, $unshift же тоже есть? а то $push в конец добавляет, а надо в началао

точно отработало! спасибо. а то я нестил по другому. еще вопрос, $unshift же тоже есть? а то $push в конец добавляет, а надо в началао

https://docs.mongodb.com/manual/reference/operator/update/push/#push — вот тут все есть, $unshit нету, делается через $push. Написал выше как может срабоатать.

спс попробую осилить

а можно в массив добавить сразу 2 объекта? он что по одному добавляет?

как-то кажется неправильно дергать 2 раза бд

Просто в ключе полный путь укажите: $push: { 'result.tweets': newTweet } Чтобы сделать unshift, нужно вроде $position в 0: $push: { 'result.tweets': { $position: 0, $each: [newTweet] } }

Вы просто вставляете все элементы массива $each в указанную позицию $position, в $each можете положить столько, сколько нужно элементов вставить

спс попробую осилить

Да не за что, хорошего вечера =)

+++ вам также! уже что-то. это работает. const update = await Job.findOneAndUpdate({name: jobName}, {$push: {"result.tweets": {$each: [...difference]}}}, {new: true}) теперь догнать бы как в начало пушить а не в конец

для эого надо sort и слайс?

+++ вам также! уже что-то. это работает. const update = await Job.findOneAndUpdate({name: jobName}, {$push: {"result.tweets": {$each: [...difference]}}}, {new: true}) теперь догнать бы как в начало пушить а не в конец

Так я написал выше

$position

Просто в ключе полный путь укажите: $push: { 'result.tweets': newTweet } Чтобы сделать unshift, нужно вроде $position в 0: $push: { 'result.tweets': { $position: 0, $each: [newTweet] } }

Вот тут, и ниже еще расписал как это работает

точно увидел. прошу прощеняи пропустл. видимо тоже сплю уже

все работает как надо, спасибо еще раз!

А как одним словом назвать всё это: $push $set $pull $position? хочу почитать об этом

тремя

Array Update Operators

https://docs.mongodb.com/manual/reference/operator/update-array/

Доброе утро. Как можно выявлять битые коллекции и почему они возникают?

Доброе. Битые коллекции? Что за зверь?

Kmsan õzi

Доброе. Битые коллекции? Что за зверь?

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

hi

it is not simple, it is VERY simple :)

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

а, теперь ясно. Тогда вам сюда https://docs.mongodb.com/manual/reference/command/repairDatabase/

here it is https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

It is not very well when you learn only by example. You must read the documentation at least from time to time.

ERROR: S client not available

а, теперь ясно. Тогда вам сюда https://docs.mongodb.com/manual/reference/command/repairDatabase/

понятно что мне туда. Вопрос как это отслеживать, а главное как теперь найти коллекцию с которой траблы, тупо лопатить логи монги?

done

thankyou @AstraSerg ?

thankyou @AstraSerg ?

You're welcome!

понятно что мне туда. Вопрос как это отслеживать, а главное как теперь найти коллекцию с которой траблы, тупо лопатить логи монги?

Так вам и не нужна коллекция. У вас же ошибка вылетает при копировании БД, и rapair отностися к БД Или вы хотите превентивно проверить всё на наличие ошибок?

Так вам и не нужна коллекция. У вас же ошибка вылетает при копировании БД, и rapair отностися к БД Или вы хотите превентивно проверить всё на наличие ошибок?

копирование отвалилось по причине битого индекса или проблемы с коллекцией насколько я понял. Теперь, чтобы выполнить процедуру копирования мне получается нужно найти и починить коллекцию или индекс. И да хотелось бы как то отслеживать наличие таких проблем. Пока вижу только через логирование как то это смотреть. Думал может есть какая то надстройка или инструмент для отслеживания

день добрый, что-то туплю, и гугл не подсказывает где... есть колекция с несколькими миллионами записей, если я делаю через консольного клиентав ней запрос: db.mycol.find(myfilter).sort({_id:-1}).limit(1); отрабатывает моментально и выдает результат, пытаюсь сделать тоже самое через nodejs, вытягивает из курсора данные около полуминуты... с чем то может быть связано?

такс, пардон, похоже где-то не там я затупил, посносил весь лишний код, заработало...

Подскажите в какую сторону копать - пишем простые данные по загрузке системы каждую минуту в монго. есть же какие то аггрегирующие функции ? Чтобы на стороне базы проводить усреднения ?

Qoloyslor ey

причина была в том, что parseInt на число в фильтре не сделал, которое пришло в виде строки...

Andrey > мне получается нужно найти и починить коллекцию или индекс. нет, вам нужно починить БД

Подскажите в какую сторону копать - пишем простые данные по загрузке системы каждую минуту в монго. есть же какие то аггрегирующие функции ? Чтобы на стороне базы проводить усреднения ?

да, конечно. Подобные вещи находятся в aggregation https://docs.mongodb.com/manual/aggregation/ Там и группировки, и средние значения групп и т.п.

Привет, подскажите, как решить

Mongoose 5.x disallows passing a spread of operators to Model.aggregate(). Instead of Model.aggregate({ $match }, { $skip }), do Model.aggregate([{ $match }, { $skip }])", name: "MongooseError" }

При этом, всё по доке вроде сделано: .aggregate([ { $match: { userId } }, { $addFields: { campaigns: { $filter: { input: '$campaigns', as: 'campaign', cond: { $eq: ['$$campaign.isActive', true] } } } } }, { $project: { campaigns: { _id: 1, targeting: 1, position: 1, type: 1, // date: 1, // name: 1, }, widget: 1 } }]) .exec()

при копировании базы выпадает такое сообщение 1s2:PRIMARY> db.copyDatabase("pro","rg") { "errmsg" : "exception: BSONElement: bad type 41", "code" : 10320, "ok" : 0 }

Какая версия монги?

Какая версия монги?

TokuMX mongo shell v2.0.2-mongodb-2.4.10

TokuMX mongo shell v2.0.2-mongodb-2.4.10

2.4 разве ещё можно использовать??

2.4 разве ещё можно использовать??

Давайте без оценочных суждений

Давайте без оценочных суждений

не, я серьёзно

это типа намек, что 2.4 ансаппортед?

TokuMX mongo shell v2.0.2-mongodb-2.4.10

А там монга или tokumx?

это типа намек, что 2.4 ансаппортед?

да, ну и важных фич нет

не, я серьёзно

У меня до недавнего времени вообще 1.0.х крутилась для личных нужд