Может кто знает, можно ли оптимизировать агрегатку нужно сделать 4 lookup и только после этого match, так вот, 14 секунд делается 4 lookup 9000 документов

это неизбежная расплата за $lookup

хотел оптимизировать но увы.... на heroku постоянно connection timeout to mongodb вылазит(

проверить что есть индексы по foreignField

во from

вобщем-то на этом всё

спасибо

lookup это по сути query в соседнюю коллекцию

Всем привет! Запросили у клиента базу, выслали архив с вот такой фигней: http://prntscr.com/ial39y Подскажите, пожалуйста, что с этим делать? Подозреваю, что это сам сторедж монги, но как его грамотно заимпортить – понятия не имею.

Грамотно заимпортить его нельзя - вам неграмотно прислали данные. Если хотите развлечений - запустите у себя монгу. Пустую. Потушите ее, подсуньте вместо своих данных вот эти. Запустите. Читайте логи, почему не поднялась. Правьте конфиг монги. Повторите:) Ну а по-нормальному просите нормальный экспорт через mongodump или хотя бы их конфиг и версию монги.

Это поможет подняться на сырых данных, но это изврат и так делать не надо

Попробу на пустой бд mongorestore -db target_db ./dump_dir

Грамотно заимпортить его нельзя - вам неграмотно прислали данные. Если хотите развлечений - запустите у себя монгу. Пустую. Потушите ее, подсуньте вместо своих данных вот эти. Запустите. Читайте логи, почему не поднялась. Правьте конфиг монги. Повторите:) Ну а по-нормальному просите нормальный экспорт через mongodump или хотя бы их конфиг и версию монги.

А вот так ненадо делать.

Если дамп сонимали монгодампом, можете подпортить

А вообще похоже, что не снимали, просто скинули содержимое диры db с сервера

Попросите что б через mongodump сняли бекап вам

А вот так ненадо делать.

я об этом и сказал однако у людей бывают разные ситуации. иногда быстрее попытаться поднять то, что есть (особенно если там тестовые данные), чем неделю ждать, пока монгодампом пришлют но, что надо.

Наверное если настройки и версия монги будут одинаковые, возможно оно запустится...

Да, возможно. Но в общем так экспортировать данные не надо, мягко говоря

Ну, так, в принципе, можно сделать, что бы снять дамп

Если на том конце не осилили утилиты

Всем привет! Запросили у клиента базу, выслали архив с вот такой фигней: http://prntscr.com/ial39y Подскажите, пожалуйста, что с этим делать? Подозреваю, что это сам сторедж монги, но как его грамотно заимпортить – понятия не имею.

Запустить монгу с dbpath указывающим на директорию с этими файлами. Это сторадж, да. Так иногда делают :)

Ребят, можно в mongoDB сохранять bpmn диаграммы?

Кто может подсказать: при настройке кластера из 3-х нод на 2-х (master+slave) - mongo | wait mongo replica set initialization, ещё на одном slave - mongo | wait config sync on secondary nodes. Криво заданная репликация, как я полагаю?

Видимо да, на всех трёх нодах - is_primary True

Проверить надо что монги между собой общаться могут

коллеги добрый вечер. есть вопрос, если в файле параметров mongod не задан net.maxIncomingConnections, чем ограничивается число входящих соединений к БД?

ОС

Либо драйвер вашего ЯП

спасиб, нашел проблему, в service файле.

Проверить надо что монги между собой общаться могут

Благодарю тебя зело, добрый человек.

Всем привет. Заинтересовался MongoDb в последнее время, кто-нибудь может дать парочку ссылчек для изучения? Заранее спасибо)

https://docs.mongodb.com/manual/tutorial/getting-started/

коллеги, подскажите, какова причина ошибки в монгосе, [NetworkInterfaceASIO-TaskExecutorPool-3-0] Failed to connect to ppoz-db-request-28.prod.egrn:27010 - NetworkInterfaceExceededTimeLimit: Operation timed out, request was RemoteCommand 1000454 — target:ppoz-db-request-28.prod.egrn:27010 db:admin cmd:{ isMaster: 1 }

такое впечатление что при обращении к кластеру бд переодически не может найти мастеров шард

egrn тот самый ЕГРН?

пока не тот)

Файрволл

Или днс

Если ни то и ни другое, то надо смотреть что там с сетью очень внимательно.

Как в агрегатке превратить objectId поле в string, нужно для concat

Никак

Type casting не завезли всё ещё

https://jira.mongodb.org/plugins/servlet/mobile#issue/SERVER-24947

Подскажите, пожалуйста, хотфикс на винду 7 х32. Никак не могу найти(

У меня в каждом документе коллекции хранится uid юзера. Как можно одним запросом сделать обьект юзера встроенным в каждый документ? Гуглю lookup и projection, не совсем то что нужно нахожу

У меня в каждом документе коллекции хранится uid юзера. Как можно одним запросом сделать обьект юзера встроенным в каждый документ? Гуглю lookup и projection, не совсем то что нужно нахожу

Аггрегейт анвинд

Спасибо, lookup с unwind как раз подойдут, тупанул

Добрый день

Добрый день

Прэд

ребят, не подскажете, как грамотно сэмплировать выборку из монги? сначала матч поставить, или после сэмплирования? если поставить батч, будет ли пробегаться вся база, или только часть, пока сэмпл на наберется ?

не гуглится

(или я не умею гуглить)

ребят, не подскажете, как грамотно сэмплировать выборку из монги? сначала матч поставить, или после сэмплирования? если поставить батч, будет ли пробегаться вся база, или только часть, пока сэмпл на наберется ?

Можете точнее сформулировать задачу, которую хотите решить?

Можете точнее сформулировать задачу, которую хотите решить?

Есть база на несколько Тб, всю ее пробегать 20000 часов, в перспективе то же самое делать с базой на несколько десятков тб, соответственно всю ее пробегать больше суток. По данным из этих баз нужно построить статистику, соответственно хочется взять рандомный сэмпл, но не любых документов, а в которых имеются определенные поля, вот вопрос в том как это сделать по уму, чтобы через всю базу не бегать.

Какая цель у «рандомного» семпла?

Если я правильно понял, то речь идет о репрезентативной выборке

Какая цель у «рандомного» семпла?

Репрезентативность выборки

Значит я правильно понял, тогда нужно смотреть конкретно на данные, распределение значений. Тут скорее вопрос больше в анализе, чем в доступе к данным

А какой физических смысл данных?

Какие условия выборки?

Суть в том, что если есть «определенные поля» как условие, то по ним можно сделать partial index. Но это не даст эффективной случайно выборки. Вообще, её ничего не даст из встроенных инструментов. Это можно решить рандомизируя значение какого-то атрибута в выборке.

И это аттрибут добавить в этот самый partial index.

Значит я правильно понял, тогда нужно смотреть конкретно на данные, распределение значений. Тут скорее вопрос больше в анализе, чем в доступе к данным

ну да, у меня задача по анализу, но нужно выборку скачать на локальную машину, чтобы все время к монге не обращаться

ну да, у меня задача по анализу, но нужно выборку скачать на локальную машину, чтобы все время к монге не обращаться

товарищ @dd_bb выше подсказал решение, я бы дополнил, что за этот спец атрибут должно отвечать приложение

Да, конечно. Его должно приложение рандомизировать

блин, сложно

но спасибо )

Какой физический смысл данных?

для примера (нерабочий, чисто иллюстрация): делаем эфемерный счетчик до 15, каждая вставка увеличивает шанс, что у документа появится спец. атрибут для выборки, после вставки обнуляем счетчики и начинаем заново

Ну в теории случайную выборку можно по objectid замутить

Есть база на несколько Тб, всю ее пробегать 20000 часов, в перспективе то же самое делать с базой на несколько десятков тб, соответственно всю ее пробегать больше суток. По данным из этих баз нужно построить статистику, соответственно хочется взять рандомный сэмпл, но не любых документов, а в которых имеются определенные поля, вот вопрос в том как это сделать по уму, чтобы через всю базу не бегать.

Если у доков ест ьполе с датой и по ней есть индекс, то достаточно делать небольшие выборки внутри каждого дня или даже часа. Это будет достаточно репрезентативно, если сделать выборки условно первых 10 подходящих доков по каждому часу, из них собрать новую базу и по ней уже делать свой подсчет. к тому же такая практика позволит собрать данные за долгую историю и добавлять новые по мере необходисоти

правда все равно первый этап будет достаточно долгим

Если у доков ест ьполе с датой и по ней есть индекс, то достаточно делать небольшие выборки внутри каждого дня или даже часа. Это будет достаточно репрезентативно, если сделать выборки условно первых 10 подходящих доков по каждому часу, из них собрать новую базу и по ней уже делать свой подсчет. к тому же такая практика позволит собрать данные за долгую историю и добавлять новые по мере необходисоти

понял, спасибо

Мы можем долго катать абстрактного коня в условной сфере в идеальном вакууме. :) какой физический смысл данных-то?

норм катается же))

Stable: 3.6.2 (Jan 10, 2018), Bugfix: 3.4.12 (Feb 8, 2018) 3.6.2: https://docs.mongodb.com/manual/release-notes/3.6/#january-10-2018 3.4.12: https://docs.mongodb.com/manual/release-notes/3.4/#feb-8-2018 3.2.19: https://docs.mongodb.com/manual/release-notes/3.2/#feb-6-2018

Stable: 3.6.2 (Jan 10, 2018), Bugfix: 3.4.12 (Feb 8, 2018) 3.6.2: https://docs.mongodb.com/manual/release-notes/3.6/#january-10-2018 3.4.12: https://docs.mongodb.com/manual/release-notes/3.4/#feb-8-2018 3.2.19: https://docs.mongodb.com/manual/release-notes/3.2/#feb-6-2018

еще одна-две минорных версии и буду обновляться :)