хм что-то туплю

$nin and $ne queries cannot be answered by indexes, and force collection scans. If you need to use these ensure you are filtering down using indexes as much as possible and leaving the $nin and $ne terms to the very last part of the query selector.

действительно так?

селекты по 100м коллекции с $ne занимают несколько миинут

эксплэйн показывает что идет сканирование коллекции

здравствуйте, Товарищи монговоды ! есть инстанс монги версия 3.4 есть реплика сет 4.0 Могу ли я добавить инстанс монги в реплика сет и назначить этот инстанс primary нодой без остановки этого инстанса и реплика сета, на горячую короче ?

Теоретически можно добавить 3.4 к 4.0, но зачем? Обновите. Тем более, если хотите добавить, значит данных там нет.

Теоретически можно добавить 3.4 к 4.0, но зачем? Обновите. Тем более, если хотите добавить, значит данных там нет.

нет просто на проде версия 3.4 . было принято решение обновить версию и сделать реплика сет. Я думал сделать down time . снять бэкап . развернуть реплика сет и накатить бэкап и потом запустить все . но мне сказали что такое не кто не даст сделать )) Вот и пытаюсь понять и придумать что в таком случае мне делать

Точнее я хз как такие ситуации разруливаются и какие есть бест практис

Точнее я хз как такие ситуации разруливаются и какие есть бест практис

Прежде всего разделите эти 2 шага: сначал обновите, а потом репликасет сделаете простым добавлением нод к этой

Прежде всего разделите эти 2 шага: сначал обновите, а потом репликасет сделаете простым добавлением нод к этой

а для обновления придется стопать монгу ?)

а для обновления придется стопать монгу ?)

да, без этого не обойтись

но такая остановка займёт значительно меньше времени, чем по вашему плану

селекты по 100м коллекции с $ne занимают несколько миинут

так а не получается сделать фильтр на предыдущем стейдже?

просто .find().sort().limit() нет аггрегации

просто .find().sort().limit() нет аггрегации

Может имеет смысле перейти на агрегацию? Случаи конечно разные есть, но в некоторых - это оправдано

я могу ошибаться но мне кажется аггрегация будет работать точно так же

просто вместо find() будте {$match: {...}}

ну и тд

я могу ошибаться но мне кажется аггрегация будет работать точно так же

не исключено. Суть не втом что бы просто перейти на агрегация, а втом что она позволит вам модифицировать запрос

там 100м документов где-то есть поле removed: True но в большей части этого флага нет

и селект документов где 'removed': {'$ne': True}

может Sparse index попробовать

only contain entries for documents that have the indexed field, even if the index field contains a null value. The index skips over any document that is missing the indexed field. The index is “sparse” because it does not include all documents of a collection.

там 100м документов где-то есть поле removed: True но в большей части этого флага нет

вот тут можно как раз и оптимизировать: сначала, на первом стейдже отбросьте доки где removed: true, а потом остальное

может Sparse index попробовать

да, конечно, он как раз для таких случаев

отбросить доки где removed: true это и будет 'removed': {'$ne': True}

а можно попродробнее почему нельзя просто взят ьи искать по eq: false?

отбросить доки где removed: true это и будет 'removed': {'$ne': True}

да, или eq: false, как говорит @yatoba

здравствуйте, Товарищи монговоды ! есть инстанс монги версия 3.4 есть реплика сет 4.0 Могу ли я добавить инстанс монги в реплика сет и назначить этот инстанс primary нодой без остановки этого инстанса и реплика сета, на горячую короче ?

Нет. Во-первых внутри кластера могут быть только соседние минорные версии (с 4.0 только 3.6) Во-вторых, если на ноде уже существуют данные то они не будут «смержены» с кластером

а можно попродробнее почему нельзя просто взят ьи искать по eq: false?

Потому что этого поля нет.

В большей части документов

а индекс по полю есть?

Потому что этого поля нет.

может просто проверить $exist ?

Есть

он не спаршенный?

sparse

Нет

Я вот думаю сделать спаршеный

тогда попробуйте как и сказали выше $exists: false

но такая остановка займёт значительно меньше времени, чем по вашему плану

да думаю так и сделаю : сначало обновлю версию монги , потом прицеплю к ней реплики . осталось разобраться только как в реалиях кубере это все осуществить , спасибо !

да думаю так и сделаю : сначало обновлю версию монги , потом прицеплю к ней реплики . осталось разобраться только как в реалиях кубере это все осуществить , спасибо !

и это правильно. Тем более, что @dd_bb говорит, что только соседние версии поддерживаются, а у вас пред-предыдущая (3.6 ещё была)

Нет. Во-первых внутри кластера могут быть только соседние минорные версии (с 4.0 только 3.6) Во-вторых, если на ноде уже существуют данные то они не будут «смержены» с кластером

спасибо ! Я вариант с разными версиями рассматривал , но после ваших слов отбросил его. буду обновлять монгу .

и это правильно. Тем более, что @dd_bb говорит, что только соседние версии поддерживаются, а у вас пред-предыдущая (3.6 ещё была)

ага , вот только моги ли я просто обновить версию монги и указать старый db/path ? Данные не повредется из за этого ? или надо снимать дампы и раскатывать ?

Я бы сделал бэкап

На всякий случай

ага , вот только моги ли я просто обновить версию монги и указать старый db/path ? Данные не повредется из за этого ? или надо снимать дампы и раскатывать ?

бакап конечно нужен, данные повредится не должны, просто следуйте инструкциям обновлениея: https://docs.mongodb.com/manual/release-notes/3.6-upgrade-standalone/

бакап конечно нужен, данные повредится не должны, просто следуйте инструкциям обновлениея: https://docs.mongodb.com/manual/release-notes/3.6-upgrade-standalone/

Понял , спасибо , прочту !

Допустим я аггрегировал две коллекции: db.issue.aggregate([{ $lookup: { from: "renter", localField: "org", foreignField: "org", as: "company" } }]); На выходе: { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "org" : 2, "cardNo" : 34443, "dateIn" : 20180919, "dateOut" : 20190920, "company" : [ { "_id" : ObjectId("5ba24a53103b0ac162148f71"), "company" : "Sun", "floor" : 3, "org" : 2 } ] }Как теперь к этому объекту обратиться?

ЭЭЭ) прям тупняк

ровно как и вопрос наверн, сейчас переформулирую

Я хочу чтобы на выхлопе у меня было { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "org" : "Sun", "cardNo" : 34443, "dateIn" : 20180919, "dateOut" : 20190920 }Как будто я сделал JOIN Потом, все это дело в JSON отдал бы фронтенд разработчику (опять же себе?? ) Реально? или я дофига хочу

> db.renter.find(); { "_id" : ObjectId("5ba24a44103b0ac162148f70"), "company" : "Microsoft", "floor" : 2, "org" : 1 } { "_id" : ObjectId("5ba24a53103b0ac162148f71"), "company" : "Sun", "floor" : 3, "org" : 2 } > db.issue.find(); { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "org" : 2, "cardNo" : 34443, "dateIn" : 20180919, "dateOut" : 20190920 }

Допустим я аггрегировал две коллекции: db.issue.aggregate([{ $lookup: { from: "renter", localField: "org", foreignField: "org", as: "company" } }]); На выходе: { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "org" : 2, "cardNo" : 34443, "dateIn" : 20180919, "dateOut" : 20190920, "company" : [ { "_id" : ObjectId("5ba24a53103b0ac162148f71"), "company" : "Sun", "floor" : 3, "org" : 2 } ] }Как теперь к этому объекту обратиться?

ну так добавьте стейдж $project и формируйт свой выхлоп :)

это был набор букв для меня, но я разберусь)

https://docs.mongodb.com/manual/reference/operator/aggregation/project/

это?)

это?)

это

Спасибо)

ща набросаю...

Типа такого: {$project: {name: 1, floor: 1, cardNo: 1,dateIn: 1, dateOut:1, org: '$company[0].company'}} Это добавьте как следующий стейдж после лукап

как покдлючиться к базе если в ссылке +srv через studio 3t?

Типа такого: {$project: {name: 1, floor: 1, cardNo: 1,dateIn: 1, dateOut:1, org: '$company[0].company'}} Это добавьте как следующий стейдж после лукап

Спасибо, гляну!

Супер)))

правда $company[0].company' не работает(

правда $company[0].company' не работает(

А если вот "$company.0.company"

А если вот "$company.0.company"

{ "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "cardNo" : 34443, "org" : [ ] }

пустой список

пустой список

db.users.aggregate([ { $project: { name: 1, first: { $arrayElemAt: [ "$favorites", 0 ] }, last: { $arrayElemAt: [ "$favorites", -1 ] } } } ])

На вашом случай $favorites это company

понял, спс то есть обращение также, через список, попробую

понял, спс то есть обращение также, через список, попробую

?

Я добил

db.guest.aggregate([ { $lookup: { from: "rent", localField: "org", foreignField: "org", as: "company" } }, { $project: { name: 1, floor: 1, cardNo: 1, org: "$company.company" } } ]).pretty();

db.guest.aggregate([ { $lookup: { from: "rent", localField: "org", foreignField: "org", as: "company" } }, { $project: { name: 1, floor: 1, cardNo: 1, org: "$company.company" } } ]).pretty();

Отлично, поздравляю!

Но обратите внимание, что если отношение issue.org к renter.org не один к одному, то нужно использовать еще и $unwind

Отлично, поздравляю!

Смущает только что возвращается список org: [ “sun”], ноооо, думаю потом это можно обыграть

Но обратите внимание, что если отношение issue.org к renter.org не один к одному, то нужно использовать еще и $unwind

Почитаю про эт, спасибо!

Смущает только что возвращается список org: [ “sun”], ноооо, думаю потом это можно обыграть

Это потому что вы берете $company.company вместо $company.0.company

Это потому что вы берете $company.company вместо $company.0.company

При таком запросе - возвращает пустой список(

При таком запросе - возвращает пустой список(

Так, покажите еще раз пример документа, сразу после лукап, без проджекта

В прошлый раз вы говорили что в нем company - это список документов

Нулевой элемент этого списка - это отдельный документ, одним из ключе которого является company

А value этого ключа, как раз нужное вам название, Sun

{ "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "org" : 2, "cardNo" : 34443, "dateIn" : 20180919, "dateOut" : 20190920, "company" : [ { "_id" : ObjectId("5ba24a53103b0ac162148f71"), "company" : "Sun", "floor" : 3, "org" : 2 } ] }

Если делаю с нулём:

> db.guest.aggregate([ ... { ... $lookup: { ... from: "rent", ... localField: "org", ... foreignField: "org", ... as: "company"... } ... }, ... { ... $project: { ... name: 1, ... floor: 1, ... cardNo: 1, ... org: "$company.0.company", ... dateIn: 1, ... dateout: 1... } ... } ... ]).pretty(); { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "cardNo" : 34443, "dateIn" : 20180919, "org" : [ ] }

Вот жеж!.. А если только $company[0] без окончания?

Тож)))

И {$company,0}, как в документации

Тож)))

Тож пустой?

Тож пустой?

> db.guest.aggregate([ ... { ... $lookup: { ... from: "rent", ... localField: "org", ... foreignField: "org",... as: "company" ... } ... }, ... { ... $project: { ... name: 1, ... floor: 1, ... cardNo: 1, ... org: "$company[0]", ... dateIn: 1,... dateout: 1 ... } ... } ... ]).pretty(); { "_id" : ObjectId("5ba24958103b0ac162148f6f"), "name" : "Иванов Иван Иваныч", "floor" : 3, "cardNo" : 34443, "dateIn" : 20180919 }>

вообще пусто

Куда org делся?

Куда org делся?

Он просто не выводится

Ну ладно, а если вообще без индекса, просто $company

Тогда выводится полный словарь (в списке)