@vasivas > ...как пофиксить это? в индексе вы можете задать порядок сортировки при создании. Это 1 или -1. Он должен соответствовать запросу. Но, на сколько я помню, мы с вами пришли к выводу, что индекс правиьлный, так как find-е работает, а в агрегации - нет.

ну порядок там роли не играет

одинаково долго

я и с тем и с другим пробовал

пользы от этого нет

а, у вас там ещё размер одного из полей был большой

видно же что когда инжекс для сортировки не используется то оно правильно задаёт границы "indexBounds" : { "rig_session_id" : [ "[2234.0, 2234.0]", "[2255.0, 2255.0]" ] } а если индекс участвует в сортировке то вот так "indexBounds" : { "_id" : [ "[MinKey, MaxKey]" ] }

так в первом копипасте всего 2 документа уже на этот стейдж приходит

именно, а запрос отличается просто наличием индекса на created_at {'$sort': {created_at: 1}}

именно, а запрос отличается просто наличием индекса на created_at {'$sort': {created_at: 1}}

Сложно понять что-то не имея сведений о коллекции. Можете привести пример вашего документа попортив секретные данные в нём?

что-то типа такого https://pastebin.com/aCdMq7fK

вот запрос db.reports.aggregate([{ $match : { rig_session_id : { $in : [2234, 2255 ] } } },{'$sort': {created_at: 1}}, { $group : { _id : '$rig_session_id', hashrate: { $last : '$$ROOT' } } }])

что-то типа такого https://pastebin.com/aCdMq7fK

Так, а где закоженные в base64 данные?

"miner_log": "==", "os_log": "", я до сих пор не понимаю при чем они тут, потому что explain явно говорит что в случае с индексом indexBound берет диапазон от minKey до maxKey, а без него нормально работает с rig_session_id

что-то типа такого https://pastebin.com/aCdMq7fK

created_at это ISODate или строка?

строка

"created_at": "2018-08-03T18:02:04.508732Z",

Ок, буду у компа через час, попробую на стенде

вообще

если в sort добавить rig_session_id(который в match участвует) то время существенно сокращается

могу скинуть executionStatus

походу понял

надо обязательно в match указывать параметры для поля которое будет в sort если оно индексовое

иначе оно границы сортировки по индексовому полю берет от мин до макс, а если в матч условие есть то границы из этого поля

да не бойся ты так аггрегации, это легко)

ОЧЕНЬ ЛЕГКО ДА

надо обязательно в match указывать параметры для поля которое будет в sort если оно индексовое

Это — да. Иначе индекс не применится.

ОЧЕНЬ ЛЕГКО ДА

Вообще, да, не сложно. Только попрактиковаться немного. После этого разбирательства вы сильно продвинитесь.

ребят а как лучше делать, при наличии такого же индекса как в сортировке - сортировать -1 и потом в гроуп брать $first или сортировать 1 и в группировке брать $last?

ребят а как лучше делать, при наличии такого же индекса как в сортировке - сортировать -1 и потом в гроуп брать $first или сортировать 1 и в группировке брать $last?

не вижу разницы

надо обязательно в match указывать параметры для поля которое будет в sort если оно индексовое

ТАк вы разобрались? Стенд не нужен?

да, спасибо большое за отзывчивость, просто надо было индексное поле по которому сортируется добавить в match

да, спасибо большое за отзывчивость, просто надо было индексное поле по которому сортируется добавить в match

Ну и отлично. Дерзайте. Кстати у монгги есть халявные курсы, правда на англицком, но прикольно.

у нас только часть с отчётами в монге, остальное постгре

а можете ссылку кинуть?

Вопрос. Настроил ротацию логов через logrotate.d

конфиг /var/log/mongodb/*.log { daily rotate 30 compress dateext missingok notifempty sharedscripts postrotate /bin/kill -SIGUSR1 `cat /var/lib/mongodb/mongod.lock 2> /dev/null` 2> /dev/null || true endscript }

при его запуске монго падает

Может кто-нибудь знает, есть ли какие-то книги/курсы по бигдате в монге? типа, как жить с 100трлн документов и как делать по ним аналитику

есть конечно подозрение, что монга вообще не для этого, но хочется посмотреть на попытки и во что упираются такие системы

а можете ссылку кинуть?

Да, конечно: https://university.mongodb.com/

конфиг /var/log/mongodb/*.log { daily rotate 30 compress dateext missingok notifempty sharedscripts postrotate /bin/kill -SIGUSR1 `cat /var/lib/mongodb/mongod.lock 2> /dev/null` 2> /dev/null || true endscript }

А что у вас в файле /var/lib/mongodb/mongod.lock ?

Предложение типа rm -rf / : запишите туда 1 :))))

только не в проде :)

db.eval((queueId = "5b6cf99c0026bf6c948b3663", operationId = -1, skip = 0) => { const queueParrent = db.queues .find({ parent: { $exists: true } }) .populate('document', 'uid') .sort({ updated: -1 }); var filtred = queueParrent.filter(el => ( String(el.parent.queue) === queueId) && (Number(operationId) + 1 === el.parent.operationId)); var statistic = {}; filtred.forEach((el) => { statistic[el.status] = !statistic[el.status] ? 1 : statistic[el.status] + 1; }); var lengthSubQueue = filtred.length; filtred = filtred.slice(skip, skip + 10); console.log(1111111); console.log(filtred, lengthSubQueue, statistic); return { arr: filtred, lengthSubQueue, statistic }; }); Не могу понять почему она ретурнит не значения а саму функцию

А что у вас в файле /var/lib/mongodb/mongod.lock ?

ну как pid mongo процесса

смотрите: kill принимает 2 параметра: тип сигнала и номер процесса, кому его послать. Номер процесса обычно находится в файле с расширением .pid а у вас .lock почему-то

а вообще просто выставления db.adminCommand( { logRotate : 1 } ) достаточно для ротации логов? Я чет читал, читал, но так и не понял, нужнен ли еще этот самый logrotate.d

или прописав командку в моного будет достаточно

или прописав командку в моного будет достаточно

Должно быть достаточно

db.eval((queueId = "5b6cf99c0026bf6c948b3663", operationId = -1, skip = 0) => { const queueParrent = db.queues .find({ parent: { $exists: true } }) .populate('document', 'uid') .sort({ updated: -1 }); var filtred = queueParrent.filter(el => ( String(el.parent.queue) === queueId) && (Number(operationId) + 1 === el.parent.operationId)); var statistic = {}; filtred.forEach((el) => { statistic[el.status] = !statistic[el.status] ? 1 : statistic[el.status] + 1; }); var lengthSubQueue = filtred.length; filtred = filtred.slice(skip, skip + 10); console.log(1111111); console.log(filtred, lengthSubQueue, statistic); return { arr: filtred, lengthSubQueue, statistic }; }); Не могу понять почему она ретурнит не значения а саму функцию

А точно не выполняется? Может просто выводит что собирается делать?

А точно не выполняется? Может просто выводит что собирается делать?

Вот что это чудо мне возвращает { "code": "(queueId, operationId, skip = 0) => {\n const queueParrent = db.queues\n .find({ parent: { $exists: true } })\n .populate('document', 'uid')\n .sort({ updated: -1 });\n let filtred = queueParrent.filter(el => (\n String(el.parent.queue) === queueId) &&\n (Number(operationId) + 1 === el.parent.operationId));\n const statistic = {};\n filtred.forEach((el) => {\n statistic[el.status] = !statistic[el.status] ? 1 : statistic[el.status] + 1;\n });\n const lengthSubQueue = filtred.length;\n filtred = filtred.slice(skip, skip + 10); // 10 - limit\n return { arr: filtred, lengthSubQueue, statistic };\n }" }

Собственно ее ретурн почему то

?

Вот что это чудо мне возвращает { "code": "(queueId, operationId, skip = 0) => {\n const queueParrent = db.queues\n .find({ parent: { $exists: true } })\n .populate('document', 'uid')\n .sort({ updated: -1 });\n let filtred = queueParrent.filter(el => (\n String(el.parent.queue) === queueId) &&\n (Number(operationId) + 1 === el.parent.operationId));\n const statistic = {};\n filtred.forEach((el) => {\n statistic[el.status] = !statistic[el.status] ? 1 : statistic[el.status] + 1;\n });\n const lengthSubQueue = filtred.length;\n filtred = filtred.slice(skip, skip + 10); // 10 - limit\n return { arr: filtred, lengthSubQueue, statistic };\n }" }

А что выведет вот это из официального примера https://docs.mongodb.com/manual/reference/method/db.eval/#examples

или просто вот это: db.eval( function(x) { return x + x; }, 3 )

или просто вот это: db.eval( function(x) { return x + x; }, 3 )

вот это отработало

вот это отработало

А изначальный почему не отрабатывает? Вы его писали или скопипастили где-то?

>Вы его писали или скопипастили где-то? То что я кинул это моя хранимка

А изначальный почему не отрабатывает? Вы его писали или скопипастили где-то?

Вот в этом то и был вопрос

так, сегодня я лидирую по вопросам

{ "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "gpus" : { "code" : "....", "temperature" : 57 } } { "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "gpus" : { "code" : "GPU-...", "temperature" : "50" } } ... как мне вытащить code и temperature на уровень выше?

это после unwind стадии

{ "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "gpus" : { "code" : "....", "temperature" : 57 } } { "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "gpus" : { "code" : "GPU-...", "temperature" : "50" } } ... как мне вытащить code и temperature на уровень выше?

На следующем стейдже можноиспользовать dot-нотацию. То есть к code можно обратиться по "gpus.code"

мне бы желательно чтобы результатом следующего стейджа было { "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "code" : "GPU-...", "temperature" : "50" }

мне бы желательно чтобы результатом следующего стейджа было { "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "code" : "GPU-...", "temperature" : "50" }

Ну тогда $project добавьте

ERROR: S client not available

так прожект же вроде только контроллирует что показывать а что нет, не?

да, ну и название можно другое сделать: <field>: <expression> Adds a new field or resets the value of an existing field. https://docs.mongodb.com/manual/reference/operator/aggregation/project/

я пока дошёл до такого

db.reports.aggregate([ {$match: {rig_session_id: {$in: [2304, 2255]}, created_at: {$gte: '2018-08-10T10:39:04'}}}, {$sort: {created_at: -1}}, {$group: {_id: '$rig_session_id', last_report: {$first: '$$ROOT'}}}, {$project: {last_report: {created_at: 1, rig_session_id: 1, 'gpus': {code: 1, temperature: 1}}}}, {$replaceRoot: {newRoot: '$last_report'}}, {$unwind: '$gpus'} ]);

а, понял, через $ нотацию

блин, офигенски, так можно же всю логику в тупо запросы вытащить

Нп ердпоследнем стейдже вместо 'gpus': {code: 1, temperature: 1} сделайте: gpus_code: '$gpus.code', gpus_temperature: '$gpus.temperature' Поясннения: https://docs.mongodb.com/manual/reference/operator/aggregation/project/#include-computed-fields

блин, офигенски, так можно же всю логику в тупо запросы вытащить

Вы близки к познанию дзена :)

да, собственно почти так и сделал {$project: {rig_session_id: 1, code: '$gpus.code', temperature: '$gpus.temperature'}}

да, собственно почти так и сделал {$project: {rig_session_id: 1, code: '$gpus.code', temperature: '$gpus.temperature'}}

Отлично

>Вы его писали или скопипастили где-то? То что я кинул это моя хранимка

По поводу хранимок вот древняя статья есть http://dirolf.com/2010/04/05/stored-javascript-in-mongodb-and-pymongo.html но хранимки - это не тру вей. БД должна данные хранить, а не логику, ИМХО.

По поводу хранимок вот древняя статья есть http://dirolf.com/2010/04/05/stored-javascript-in-mongodb-and-pymongo.html но хранимки - это не тру вей. БД должна данные хранить, а не логику, ИМХО.

Так то да , но если она ускорит работу одной и той же функции раз так 10 , то почему бы и не уюзать ее

Так то да , но если она ускорит работу одной и той же функции раз так 10 , то почему бы и не уюзать ее

Конечно, есл нет другого способа, который ускорит в 20 раз :)

Конечно, есл нет другого способа, который ускорит в 20 раз :)

Это да

Ребята подскажите а ктото логи mongo собирает и пишет в еластик ?

Ребята подскажите а ктото логи mongo собирает и пишет в еластик ?

Запросики у вас... Логи демона или oplog?

Запросики у вас... Логи демона или oplog?

ну oplog интересней (поэтому пока на нем можно остановиться) , демона тоже интересно

ну oplog интересней (поэтому пока на нем можно остановиться) , демона тоже интересно

Это вам скорее к спецам по эластику обращаться нужно

вообще задача больше как понимать что происходит с базой , кто и что с ней делает

мне бы желательно чтобы результатом следующего стейджа было { "created_at" : "2018-08-10T12:56:28.758060Z", "rig_session_id" : 2304, "code" : "GPU-...", "temperature" : "50" }

ещё вопрос - а как нибудь в агрегации можно данные конвертнуть в число?

вообще задача больше как понимать что происходит с базой , кто и что с ней делает

А, мониторинг, это другое дело, во например экспортер для прометеуса: https://github.com/dcu/mongodb_exporter

ещё вопрос - а как нибудь в агрегации можно данные конвертнуть в число?

а в приложении ни как?

хотелось бы одним запросом всё достать

хотелось бы одним запросом всё достать

Да, но достать же в приложение. Желательно сделать это в приложении

а почему так?

а почему так?

На мой взгляд это уже обработка данных, которая не задача БД. Но если настаиваете то можно конвертировать: https://docs.mongodb.com/manual/reference/operator/aggregation/convert/#exp._S_convert

у меня 3.6 монга

у меня 3.6 монга

Я не сталкивался и не ищется чёт...

Привет. У меня к вам вопрос по монге :) Есть отдельная однонодавая монга и есть replicaset отдельно из 3 нод. Я на отдельной однонодовой монге заинитил rs, и хочу как-то посинкать данные между ними. Получается, существующий rs из 3 нод со своим мастером я должен подключить как слейвы к однонодовой. Подскажите, как правильно это сделать? Сейчас сижу, читаю доку, но чет тяжело идет

На репликасете из 3 нод уже что-то есть? Или он пока пустой? Остановка базы допускается?

Остановка базы которая из 3 нод да, которая из 1 ноды - желательно нет,это прод, нанадолго можно, если это необходимо в рс из 3 нод уже есть данные, желательно их сохранить, но если такой возможности нет - данные из однонодовой монги важнее