Dmitriy
если я ничего не путаю, то коллега хотел обновить данные с использованием af pipeline и $cond внутри. если я прав, то это делается примерно так:
db.getCollection("example_collection").updateOne(
{"_id": ObjectId("5e9373918cba124fb1d979db")},
[
{$set: {
"string": {$cond: [{$eq: ["$string", "value1"]}, "aaaa", "bbbb"]}
}}
]
)
Dmitriy
соответственно пример коллекции для которой я делал запрос выглядит так:
[{
"_id" : ObjectId("5e9373918cba124fb1d979d9"),
"string" : "value1",
"int" : NumberInt(1),
"float" : 11.11
},
{
"_id" : ObjectId("5e9373918cba124fb1d979da"),
"string" : "value2",
"int" : NumberInt(2),
"float" : 22.22
},
{
"_id" : ObjectId("5e9373918cba124fb1d979db"),
"string" : "value3",
"int" : NumberInt(2),
"float" : 33.33
}]
Anonymous
соответственно пример коллекции для которой я делал запрос выглядит так:
[{
"_id" : ObjectId("5e9373918cba124fb1d979d9"),
"string" : "value1",
"int" : NumberInt(1),
"float" : 11.11
},
{
"_id" : ObjectId("5e9373918cba124fb1d979da"),
"string" : "value2",
"int" : NumberInt(2),
"float" : 22.22
},
{
"_id" : ObjectId("5e9373918cba124fb1d979db"),
"string" : "value3",
"int" : NumberInt(2),
"float" : 33.33
}]
весь этот массив это отдельное поле
и нужно найти не по 1 условию, а по двум одновременно
Anonymous
тобишь
есть _документ_
{
my_filed: [
{ date: 1, type: A, something: 1 },
{ date: 1, type: b, something: 2 }
]
}
задача такая - у меня есть дата, тип, и something
мне нужно в массиве my_field найти элемент по дате и типу и сделать инкремент sommething
если такого элемента нет - вставить
написать условие только по дате получилось, а вот по дате и типу уже вопросики
Dmitriy
весь этот массив это отдельное поле
и нужно найти не по 1 условию, а по двум одновременно
это делается элементарно через $and (или $or в зависимости от потребностей) в $cond:
db.getCollection("example_collection").updateOne(
{"_id": ObjectId("5e9373918cba124fb1d979db")},
[
{$set: {
"string": {
$cond: [{$and: [{$eq: ["$string", "value1"]}, {$eq: ["$int", 1]}]}, "aaaa", "bbbb"]}}}
]
)
Dmitriy
попробуйте доку почитать
Anonymous
этот код не делает то, что я описал
Dmitriy
если вы ожидаете, что за вас напишут код, то это стоит денег
Dmitriy
вам дают подсказки, при помощи которых вы можете сделать нужное вам условие в update
Anonymous
так в этом моя проблема, я попросил как написать условие для вложенного массива в документе, а не на коллекции, как работает энд я и в доке вижу
Alexander
Здравствуйте, хочу попросить консультацию по поводу архитектуры приложения.
Я использую mongoose. Перед изменением документа мне нужно обязательно проверять определенные поля.
Проблема - дабл спендинг.
Может произойти ситуация, при которой 2 одинаковых транзакции полетят в базу данных, и в зависимости от результатов проверки - нужно принять только одну транзакцию.
Можно использовать хук типа
schema.pre('updateOne', {
document: true,
query: false
}, function() {
let document = await this.model.findOne(this.getQuery());
if (document.field) {
next()
} else {
return;
}
});
Так я получу документ перед его обновлением и проведу проверку. Проблема в том, что если 2 транзакции прилетели одновременно, то в обоих случаях в данном хуке выяснится, что состояние документа одно, после чего обе транзакции применятся. Потому что проверка будет происходить параллельно, а не последовательно. Можно ли как-то избежать такой ситуации?
Я имею ввиду именно на уровне базы данных, а не на уровне приложения.
Dmitriy
так в этом моя проблема, я попросил как написать условие для вложенного массива в документе, а не на коллекции, как работает энд я и в доке вижу
документация все таки не ваше:
db.getCollection("example_collection").updateOne(
{"string": {$elemMatch: {"date": 1, "type": "b"}}},
{$inc: {"string.$.something": +1}}
)
Dmitriy
Здравствуйте, хочу попросить консультацию по поводу архитектуры приложения.
Я использую mongoose. Перед изменением документа мне нужно обязательно проверять определенные поля.
Проблема - дабл спендинг.
Может произойти ситуация, при которой 2 одинаковых транзакции полетят в базу данных, и в зависимости от результатов проверки - нужно принять только одну транзакцию.
Можно использовать хук типа
schema.pre('updateOne', {
document: true,
query: false
}, function() {
let document = await this.model.findOne(this.getQuery());
if (document.field) {
next()
} else {
return;
}
});
Так я получу документ перед его обновлением и проведу проверку. Проблема в том, что если 2 транзакции прилетели одновременно, то в обоих случаях в данном хуке выяснится, что состояние документа одно, после чего обе транзакции применятся. Потому что проверка будет происходить параллельно, а не последовательно. Можно ли как-то избежать такой ситуации?
Я имею ввиду именно на уровне базы данных, а не на уровне приложения.
если вам нужно блокировать документ до момента окончания каких-либо действий над ним, то стоит посмотреть в сторону транзакций: https://docs.mongodb.com/master/core/transactions/
Anonymous
документация все таки не ваше:
db.getCollection("example_collection").updateOne(
{"string": {$elemMatch: {"date": 1, "type": "b"}}},
{$inc: {"string.$.something": +1}}
)
вы каждый раз пишете соверешнно разные вещи)
я спрашивал про условие в if, для вложенного массива, эти две вещи, которые вы описали гуглятся за минуту, но вместе они не работают, в этмо проблемес, понимаете ?
Dmitriy
вы каждый раз пишете соверешнно разные вещи)
я спрашивал про условие в if, для вложенного массива, эти две вещи, которые вы описали гуглятся за минуту, но вместе они не работают, в этмо проблемес, понимаете ?
проблема только в вас, как вы поставили задачу так я ее и услышал
Dmitriy
не надо перекладывать с больной головы не здоровую
Anonymous
надеюсь таски вы так же не читаете, как мои условия)
Dmitriy
это я так понимаю вместо спасибо?
Anonymous
спасибо, но задачу я так и не решил)
Dmitriy
спасибо, но задачу я так и не решил)
а я не заработал миллиард долларов, но это не потому что все вокруг плохие...
Alexander
если вам нужно блокировать документ до момента окончания каких-либо действий над ним, то стоит посмотреть в сторону транзакций: https://docs.mongodb.com/master/core/transactions/
То есть во время транзакции документ не доступен для любых других модификаций и транзакций? Я думал что транзакция в контексте монго это просто объединение нескольких изменений в один запрос, который либо выполнится, либо нет. Спасибо
Гена
Коллеги, доброе утро, вопрос такой - документация монги рекомендует использовать файловую систему xfs для WT.
Чем это обусловлено? как я понял, в случае многочисленных параллельных запросов на запись xfs лучше ext4.
Какие ваши рекомендации будут.
Стоит ли переходить с ext4 на xfs?
RusaXXX
Mongo connect error { MongoNetworkError: failed to connect to server [mongodb:27017] on first connect [MongoError: Authentication failed.]
at Pool.<anonymous> (/app/node_modules/mongodb-core/lib/topologies/server.js:431:11)
at Pool.emit (events.js:182:13)
at Pool.EventEmitter.emit (domain.js:442:20)
at connect (/app/node_modules/mongodb-core/lib/connection/pool.js:557:14)
at callback (/app/node_modules/mongodb-core/lib/connection/connect.js:109:5)
at provider.auth.err (/app/node_modules/mongodb-core/lib/connection/connect.js:352:21)
at _authenticateSingleConnection (/app/node_modules/mongodb-core/lib/auth/auth_provider.js:66:11) at sendAuthCommand (/app/node_modules/mongodb-core/lib/auth/scram.js:177:16)
at Connection.messageHandler (/app/node_modules/mongodb-core/lib/connection/connect.js:334:5)
at Connection.emit (events.js:182:13)
at Connection.EventEmitter.emit (domain.js:442:20)
at processMessage (/app/node_modules/mongodb-core/lib/connection/connection.js:364:10)
at Socket.<anonymous> (/app/node_modules/mongodb-core/lib/connection/connection.js:533:15)
at Socket.emit (events.js:182:13)
at Socket.EventEmitter.emit (domain.js:442:20)
at addChunk (_stream_readable.js:283:12)
name: 'MongoNetworkError',
errorLabels: [ 'TransientTransactionError' ],
[Symbol(mongoErrorContextSymbol)]: {} }
Подскажите что за ошибка. Без авторизации коннект проходит нормально, как только добавляю юзера и пароль то ошибк
yopp
То есть во время транзакции документ не доступен для любых других модификаций и транзакций? Я думал что транзакция в контексте монго это просто объединение нескольких изменений в один запрос, который либо выполнится, либо нет. Спасибо
Нет, блокировок нет. Только коммит первой транзакции закончится успехом, остальные транзакции не смогут и получат исключение означающее конфликт.
Гена
@dd_bb Можешь подсказать пожалуйста
Vadym
Добрый день, подскажите пожалуйста, как можно разделить записи по массиву внутри?
Before:
Row = 1, Cities = [1, 2]
After:
Row = 1, Cities = 1
Row = 2, Cities = 2
yopp
Коллеги, доброе утро, вопрос такой - документация монги рекомендует использовать файловую систему xfs для WT.
Чем это обусловлено? как я понял, в случае многочисленных параллельных запросов на запись xfs лучше ext4.
Какие ваши рекомендации будут.
Стоит ли переходить с ext4 на xfs?
https://jira.mongodb.org/browse/SERVER-18314
yopp
И ещё кейсы когда WT на ext4 вёл себя странно
yopp
Добрый день, подскажите пожалуйста, как можно разделить записи по массиву внутри?
Before:
Row = 1, Cities = [1, 2]
After:
Row = 1, Cities = 1
Row = 2, Cities = 2
Вероятно вам подойдёт $unwind
https://docs.mongodb.com/manual/reference/operator/aggregation/unwind/
Гена
https://jira.mongodb.org/browse/SERVER-18314
просто кроме того, что в документации рекомендуют xfs я ничего не нашел. Нашел парочку тестов, где говорят что xfs хорош ддля серверов с большим кол-вом ядер. Для любых других - нет смысла.
У нас затык в том, что на диск идет много параллельных записей, я так понимаю это и журналы в том числе, и диски при небольшой нагрузки на запись, но при большом кол-ве запросов в секунду страдают
Гена
а у нас шардированный кластер на ext4
yopp
С вероятностью 97% у вашего хранилища просто не хватает random iops под вашу нагрузку
Гена
что такое random iops
yopp
Если я правильно помню, у вас нжмд. А там 200 iops предел для 15k rpm sas
yopp
Случайные записи
Гена
нжмд?
yopp
НЖМД ограничены скоростью передвижения читающейся головки между секторам.
Если у вас много операций записи в разных местах, то хранилище большую часть времени будет тратить на перемещение, а не на запись
yopp
Накопители на жестких магнитных дисках
Vadym
Igor
Подскажите пожалуйста куда копать. Пытаюсь сделать дамп, зависает на 101 документе...
Dumping collections from production database
2020-04-24T05:01:03.536+0300 writing AwsCloudHosts.HostProcessStates to
2020-04-24T05:01:04.595+0300 [........................] AwsCloudHosts.HostProcessStates 0/342237 (0.0%)
2020-04-24T05:01:07.595+0300 [........................] AwsCloudHosts.HostProcessStates 0/342237 (0.0%)
2020-04-24T05:01:10.595+0300 [........................] AwsCloudHosts.HostProcessStates 101/342237 (0.0%)
2020-04-24T05:01:13.595+0300 [........................] AwsCloudHosts.HostProcessStates 101/342237 (0.0%)
2020-04-24T05:01:16.595+0300 [........................] AwsCloudHosts.HostProcessStates 101/342237 (0.0%)
2020-04-24T05:01:19.595+0300 [........................] AwsCloudHosts.HostProcessStates 101/342237 (0.0%)
2020-04-24T05:01:22.595+0300 [........................] AwsCloudHosts.HostProcessStates 101/342237 (0.0%)
{ NeFFeX }
{ NeFFeX }
получаю это, как пофиксить?
{ NeFFeX }
почему в личном кабинете в mongodb,может поменятся ip adress?
Гена
Коллеги, подскажите как стриггерить TTL индекс? он сам по себе работает? то есть я его создал и он начал работу?
Daniil
но он удаляет не сразу, раз в какое то время запускает очистку
Гена
вроде какждую минуту сканирует
а удаляет когда?
Daniil
вроде какждую минуту сканирует
а удаляет когда?
“The background task that removes expired documents runs every 60 seconds. As a result, documents may remain in a collection during the period between the expiration of the document and the running of the background task.
Because the duration of the removal operation depends on the workload of your mongod instance, expired data may exist for some time beyond the 60 second period between runs of the background task.”
Daniil
т.е. как сканирует так и удаляет
Гена
ага
спасибо)
Moses
how to prevent duplicate values in mongoose schema but allow only null values ? i have set the field with unique:true ,but when i insert null values are treated as duplicates ,how can i allow null duplicated but prevent other values to be duplicated ?
Moses
how to prevent duplicate values in mongoose schema but allow only null values ? i have set the field with unique:true ,but when i insert null values are treated as duplicates ,how can i allow null duplicated but prevent other values to be duplicated ?
for example email must be unique but not mandatory i.e it can be null ,so when i try to save email as null i get mongo error
Moses
help is appreciated!thanks
Daniil
for example email must be unique but not mandatory i.e it can be null ,so when i try to save email as null i get mongo error
https://stackoverflow.com/questions/44639377/mongoose-field-not-required-but-unique
Moses
https://stackoverflow.com/questions/44639377/mongoose-field-not-required-but-unique
thank you it is working now🙏🏼
Arsen
привет подскажите пожалуйста, могу ли я сделать lookup внутри lookup и где можно об этом почитать
Roman
Querying the dataset, how should the database be configured to search for specific fields
quickly?
○ Title
○ Author name
○ Publication date
Roman
Roman
Уникальные или не уникальные индексы строить?
Daniil
Уникальные или не уникальные индексы строить?
Если вам нужна гарантированная уникальность этих значений, то уникальные. Если нет, то нет. Зависит от вашей задачи напрямую
Roman
Григорий
Всем привет, есть какая-нибудь хорошая инструкция как поднять mongo с шардированиям?
а если направите в сторону примера с ансибл, то вообще низкий поклон вам
Daniil
Всем привет, есть какая-нибудь хорошая инструкция как поднять mongo с шардированиям?
а если направите в сторону примера с ансибл, то вообще низкий поклон вам
https://docs.mongodb.com/manual/tutorial/deploy-shard-cluster/
Артём
Сколько минимум оперативки(у vds) нужно для монго, чтобы она запустилась? А то помню там ограничения какие-то были
Yʉri 🇺🇦
Сколько минимум оперативки(у vds) нужно для монго, чтобы она запустилась? А то помню там ограничения какие-то были
У меня на 1 Гб нормально работает. А меньше в принципе лучше не брать
Melodeiro
Сколько минимум оперативки(у vds) нужно для монго, чтобы она запустилась? А то помню там ограничения какие-то были
Ну да, небольшая ДБ ест уже 450МБ, я бы не рисковал с 512ю
Артём
Да я так понял она под кеш резервирует просто
Mykola 🤷🏼♀️
xppyct
Всем привет, есть какая-нибудь хорошая инструкция как поднять mongo с шардированиям?
а если направите в сторону примера с ансибл, то вообще низкий поклон вам
https://docs.ansible.com/ansible/latest/modules/mongodb_replicaset_module.html#mongodb-replicaset-module + https://docs.ansible.com/ansible/latest/modules/mongodb_shard_module.html#mongodb-shard-module
шарды не пробовал, РС собирается один раз, при повторном прогоне после изменения инвентори новые ноды в него не добавятся. Для первого запуска рс с шардами подойдет.
Stan
Коллеги, добрый день!
Подскажите пожалуйста, не соображу.
Как объеденить эти два запроса так, чтобы на выходе присоединить поле категорий к найденному магазину?
const Shop = await this.shopModel.aggregate([
{
$match: { shop },
},
{
$lookup: {
from: 'products',
localField: 'shop',
foreignField: 'shop',
as: 'products',
},
},
])
const Categories = await this.productModel.aggregate([
{
$match:{ shop }
},
{
$project: { category: 1 }
},
{ $unwind: "$category" },
{ $group: {
_id: '$category' ,
count: { $sum: 1 }
}
}
])
Alex
Всем привет, в монгодб можно как-нибудь upsert many сделать? Что-то в гугле 0 информации
Daniil
Всем привет, в монгодб можно как-нибудь upsert many сделать? Что-то в гугле 0 информации
updateMany с upsert: true
Alex
Кароче подумаю еще🤪
Александр
Я тут недавно читал про миграции в монге, может кто просветит, зачем она если это докоментная бд?
Daniil
Я тут недавно читал про миграции в монге, может кто просветит, зачем она если это докоментная бд?
Затем же, что и во всех остальных БД)
Natalia
Добрый день! Посоветуйте пожалуйста курсы по монгодб с нуля (желательно с примерами на Node.js/mongoose)