Есть еще грязный способ, остановить базу в спокойном режиме, если такая возможность есть. Скопировать или перенести файлы базы, запустить на новом инстансе, но нужно понимать, что между разными системами и версиями монги такой трюк не сработает.

Подскажите как можно реализовать импорт всех файлов (txt) из папок и подпапок какой-либо папки максимально быстро? с мидлвейром на изменение строк импорт = findOneAndUpdate с апсертом

никто не сталкивался?

А инстанс выключен или нет?

Инстанс с которого будет происходить копирование будет включен. Сейчас почитаю про этот инструмент. попробуем его .Спасибо. Грязный способ что то не охото делать

Вообще mongodump и mongorestore вам нужны, монгодамп умеет дампить и пользователей и роли, если его попросить

Сейчас почитал и вроде как понял что по умолчанию эта утилита дампить с БД, пользователей и роли. Правильно понял?

насколько я знаю mongodump по-умолчанию роли и юзеров не собирает, нужно использовать флаг, который я скинул выше

никто не сталкивался?

Вообще не понял, что вы хотите сделать

насколько я знаю mongodump по-умолчанию роли и юзеров не собирает, нужно использовать флаг, который я скинул выше

This option applies only when you specify a database in the --db option. MongoDB always includes user and role definitions when mongodump applies to an entire instance and not just a specific database. Вот тут показалось это, но видимо неправильно изтрактовал

Ну вполне может быть, я просто снимаю обычно с конкретной БД

Вообще не понял, что вы хотите сделать

в папке и ее подпапках - текстовые файлы. На каждую строку файла нужно делать запись в бд. Так из всех файлов все данные должны перенестись в бд Мне инетересно как это можно сделать максимально быстро

Ну вполне может быть, я просто снимаю обычно с конкретной БД

понял.спс

в папке и ее подпапках - текстовые файлы. На каждую строку файла нужно делать запись в бд. Так из всех файлов все данные должны перенестись в бд Мне инетересно как это можно сделать максимально быстро

Через bash прочитать, сформировать команды mongo shell и скормить ему через pipe или подобным образом Если хочется через сам mongo shell то в голову приходит только cat Вот тут нашел вам пример use wordlists var file = cat('path/to/yourFile.txt'); // read the file var words = file.split('\n'); // create an array of words for (var i = 0, l = words.length; i < l; i++){ // for every word insert it in the collection db.rockyou.insert({'word': words[i]}); }

Через bash прочитать, сформировать команды mongo shell и скормить ему через pipe или подобным образом Если хочется через сам mongo shell то в голову приходит только cat Вот тут нашел вам пример use wordlists var file = cat('path/to/yourFile.txt'); // read the file var words = file.split('\n'); // create an array of words for (var i = 0, l = words.length; i < l; i++){ // for every word insert it in the collection db.rockyou.insert({'word': words[i]}); }

https://docs.mongodb.com/manual/reference/method/js-native/ вот тут можете поискать нужные команды

Через bash прочитать, сформировать команды mongo shell и скормить ему через pipe или подобным образом Если хочется через сам mongo shell то в голову приходит только cat Вот тут нашел вам пример use wordlists var file = cat('path/to/yourFile.txt'); // read the file var words = file.split('\n'); // create an array of words for (var i = 0, l = words.length; i < l; i++){ // for every word insert it in the collection db.rockyou.insert({'word': words[i]}); }

спасибо, но наверное это немного не то сейчас построчное чтение, да и нужно через монгус

спасибо, но наверное это немного не то сейчас построчное чтение, да и нужно через монгус

Если порядок создаваемых документов не важен, что-то такое: const mongoose = require('mongoose'); const readdir = require('fs').readdirSync; const files = readdir(PATH_TO_DIR); const promisses = []; for (const file of files) { if (file.slice(-3) !== '.txt') continue; const rows = file.split('\n'); for (const row of rows) { if (!row) continue; promisses.push( mongoose.models.ExampleClient.create({ name: row }) ); } } Promise.all(promisses). then(() => { console.info('Done!'); }); Нужно только добавить рекурсивное чтение поддиректорий

Если порядок создаваемых документов не важен, что-то такое: const mongoose = require('mongoose'); const readdir = require('fs').readdirSync; const files = readdir(PATH_TO_DIR); const promisses = []; for (const file of files) { if (file.slice(-3) !== '.txt') continue; const rows = file.split('\n'); for (const row of rows) { if (!row) continue; promisses.push( mongoose.models.ExampleClient.create({ name: row }) ); } } Promise.all(promisses). then(() => { console.info('Done!'); }); Нужно только добавить рекурсивное чтение поддиректорий

Promise.all даст максимальную производительность по скорости, так как запросы будут выполняться асинхронно параллельно, а не последовательно в разных потоках

Кто-нибудь использовал mongodb вместе с Django?

Привет. Помогите, пожалуйста, с агрегацией. Есть примерно вот такая коллекция, мне нужно получить имя пользователя и только ту часть массива battles, которая соотвествует условию date: { $gte: sundayBattle} [{ t_name:"Username", battles: [ {exp:20, date:2018-07-26 01:00:00.000 }, {exp:20, date:2018-07-27 15:00:00.000 } ] }, {}]

а где там аггрегация

а где там аггрегация

через find есть только $elemMatch, который вернет только первое совпадение

да

только хотел написать

$elemMatch юзай

в аггрегации тоже можно

ну так сделай $unwind

$unwind потом отсекаешь что по суловиям не катит потом груп

$unwind -> $match -> $group (по юзеру)

$unwind -> $match -> $group (по юзеру)

так?) Warrior.aggregate([ {$match:{squad: msg.chat.title}}, {$unwind: "$battles"}, {$match:{battles:{$elemMatch: { date: { $gte: sunday}}}}}, {$group:{user:'$cw_name', battles:'$battles'}} ])

не

$elemMatch тебе не нужен

сложновато

$elemMatch юзай

$elemMatch тебе не нужен

ну если ты анвинд сделал то не нужен

элем матч просто по массиву итерируется

а ты его развернул

так оставить battles.date: { $gte: sunday}?

а ты его развернул

*а

т.е. просто тупо $match: {$gte: sundayBattle}

да

шаришь

ну и потом груп делай и проекцию и собирай как надо

так вроде понятней, спасибо

пожалуйста. в начале немного не въехал что там нужно было.

пожалуйста. в начале немного не въехал что там нужно было.

ругается unknown top level operator: $gte

"battles.date": {"$gte": ....} вроде так

$match: {"battles.date": {"$gte": ....}}

только без кавычек если в консоли монго или js

ну и с $group в этой ситуации не очень ясно {$group:{user:'$cw_name', battles:'$battles'}} - так нельзя написать

в общем реально проще просто все отфильтровать уже на сервере

эм?

ну канешно нельзя

группируешь ты по чему-то

что является ключем

$group: {_id: "$t_name", ....}

а баттлз засовываешь в список

типа будет что-то вроде $group: {_id: "$t_name", sunday_battles: {$push: "$battles"}}

ну и получается ключ один а для этого ключа (юзера) баттлов много и их нужно засунуть в какой-то контейнер (array)

т.е. $push или $addToSet

а баттлы уже отфильтрованы по дате

на предыдущем стэйдже пайплайна

вернулся пустой массив в итоге

я сдаюсь

ну сразу никогда не получается

нужно попробовать то се

мне не видно че там у тебя поэтому сложно советы давать

юзеров если что много

посмотри на этапе $match все верно? а потом след стэйдж пайплайна смотри

ну понятно что много у тебя в итоге будет список юзерв с баттлами для каждого

Warrior.aggregate([ {$match:{squad: msg.chat.title}}, {$unwind: "$battles"}, {$match:{'battles.date': { $gte: sundayBattle}}}, {$group:{_id:'$t_name', week_battles:{$push:'$battles'}}} ])

в итоге так код выглядит

ну что-то вроде

работает?

неа

ну убирай потихоньку этапы пайплайна

$match:{squad: msg.chat.title}} - возвращает результаты?

msg.chat.title - вместо этого попробуй просто название. это я так понимаю сразу в коде где-то

$match:{squad: msg.chat.title}} - возвращает результаты?

возвращает

$unwind разворачивает как надо?

что после анвинда получается?

фигня какая-то получается как будто всю схему вообще выводит

Юзеры дублируются много раз

ну он разворачивает т.е. у тебя было {_id: 1, lst: [1, 2, 3]} а если сделать $unwind: "$lst" будет {_id: 1, lst: 1}, {_id: 1, lst: 2}, {_id: 1, lst: 3}

battles разворачивается потом ты его фильтруешь

{$match:{'battles.date': { $gte: sundayBattle}}},

это работает?

ага

на этом этапе пустой массив приходит

Warrior.aggregate([ {$match:{squad: msg.chat.title}}, {$unwind: "$battles"}, {$group:{_id:'$t_name', count:{$sum:1}}} ])

попробуй такое будет работать

может у тебя просто нет записей которые условию удовлетворяют

записи точно есть попробую

MongoError: unknown group operator '$inc'