Либо разбирайтесь в запросах и пытайтесь их оптимизировать, либо давайте монге больше ресурсов

Либо сократите объём данных

так они нормально выполняються. Если я сделаю 500 одинаковых последовательных запросов по 500 мб мне же не нужно иметь 250 гигов оперативы? В базе одна коллекция на 850 мб сейчас и проходит один и тот же запрос с одними и теме же параметрами. Но монго каждый одинаковый результат запроса, после его выполнения и завершения скрипта продолжает держать в оперативе.

так они нормально выполняються. Если я сделаю 500 одинаковых последовательных запросов по 500 мб мне же не нужно иметь 250 гигов оперативы? В базе одна коллекция на 850 мб сейчас и проходит один и тот же запрос с одними и теме же параметрами. Но монго каждый одинаковый результат запроса, после его выполнения и завершения скрипта продолжает держать в оперативе.

Да. Потому что ваши данные складываются в кеш

Да, на 850мб данных не надо 250 гигабайт. Но учитывайте что у вас там есть индексы, самой монге надо памяти и на выполнение ваших запросов тоже. Если у вас есть сортировки или сложные агрегации, их выполнение может требовать дополнительной памяти

Да, на 850мб данных не надо 250 гигабайт. Но учитывайте что у вас там есть индексы, самой монге надо памяти и на выполнение ваших запросов тоже. Если у вас есть сортировки или сложные агрегации, их выполнение может требовать дополнительной памяти

может им и монга то не нужна?

Ну это пока тесты разрабатываемого ПО

а не продакшн

может им и монга то не нужна?

Ещё немного и у нас появится правило, что за такие вот советы, советчики будут уходить в ро на некоторое время

Ещё немного и у нас появится правило, что за такие вот советы, советчики будут уходить в ро на некоторое время

ну монга не замена реляционным субд, а многие кодеры её реально суют куда попало

Ну это пока тесты разрабатываемого ПО

Симптоматика не очень ясна в итоге. У вас какие-то проблемы с производительностью. Вы считаете что причиной этой проблемы является нехватка памяти?

Виртуальная машина или контейнер?

Какие средства анализа производительности вы использовали? Что получили?

Собственно да. Я прогоняю скрипт, он делает сложною выбору из коллекции, скрипт завершается штатным или не штатным образом. Смотрю мониториг потребляемой оперативы процессами. После каждого запуска скрипта монго отъедает большой кусок. И это происходит при каждом запуске скрипта. Естественно при определенном пороге система начинает тормозить и приходиться ребутать монго и освобожать оперативку. Я не понять почему происходит такое дублирование данных в оперативной памяти. По моим скромным предположениям, я думал что максимум потребляемых ресурсов оперативки при частых обращениях к одной и той же коллекции будет размер самой коллекции+ размер индексов. Что в итоге будет порядка примерно 950-1000 мб

а своп включен?

и насколько он заполнен?

Собственно да. Я прогоняю скрипт, он делает сложною выбору из коллекции, скрипт завершается штатным или не штатным образом. Смотрю мониториг потребляемой оперативы процессами. После каждого запуска скрипта монго отъедает большой кусок. И это происходит при каждом запуске скрипта. Естественно при определенном пороге система начинает тормозить и приходиться ребутать монго и освобожать оперативку. Я не понять почему происходит такое дублирование данных в оперативной памяти. По моим скромным предположениям, я думал что максимум потребляемых ресурсов оперативки при частых обращениях к одной и той же коллекции будет размер самой коллекции+ размер индексов. Что в итоге будет порядка примерно 950-1000 мб

Ваш расчёт верен только с позиции объема данных для обработки и не учитывает память необходимую непосредственно для обработки. Простой пример сортировка не по индексу. На неё потребуется как минимум столько же памяти, сколько есть данных

Точнее не как минимум, а примерно до

И если у вас несколько таких параллельных запросов — легко может быть так, что монга выделяет большебпамчти чем вы рассчитывали

всем привет, подскажите, пожалуйста, можно ли для каждого документа, который вернется из запроса создать документ в другой коллекции db.MyCollection.find({})

Встроенными средствами можно через map/reduce с output в нужную коллекцию. Но это плохой способ

почему плохой?

Ещё можно через Aggregation Framework, но там коллекция указанная в output будет очищаться перед добавлением данных

почему плохой?

Map/Reduce в монге очень непредсказуем

я хочу все скриптом сделать, чтобы потом в windows выполнить

это реализуемо в принципе? или лучше сразу mongoose под node?

Вы можете это через mongodump сделать

Там есть возможность указать критерии для запроса

те команды для админства больше предназанчены?

я монгус использую, но решил mongo чистый поробовать

раньше только права настривал

Это одноразовая задача?

да

Тогда лучше сделать с помощью mongodump/mongorestore. Они кажется доступны на все тех платформах, на которых доступна сама монга.

понял. спасибо большое!

в общем ограничил объем памяти для текущего процесса монго. Гоняю этот запрос. Перые разы, пока пямять не забъеться выделенная, запрос летает. Потом начинает тупить. То есть ситуация такая, что при запросе каждый раз он создает в памяти копию данных одинаковую, до тех пор пока оперативка не конциться, потом начинает тупить сама база. То есть можно ли после выполнения запроса задать, что бы он не хранил результат в кэше? Пототму, что таких сложных запросов будет много потом в долгом цикле. При таком раскладе он любое количество опретивы съест и не подавиться, а потом начнеться тот же тупняк

в общем ограничил объем памяти для текущего процесса монго. Гоняю этот запрос. Перые разы, пока пямять не забъеться выделенная, запрос летает. Потом начинает тупить. То есть ситуация такая, что при запросе каждый раз он создает в памяти копию данных одинаковую, до тех пор пока оперативка не конциться, потом начинает тупить сама база. То есть можно ли после выполнения запроса задать, что бы он не хранил результат в кэше? Пототму, что таких сложных запросов будет много потом в долгом цикле. При таком раскладе он любое количество опретивы съест и не подавиться, а потом начнеться тот же тупняк

еще раз, своп есть? каково использование? как сильно используются диски до заполнения памяти и после? ваше "начинает тупить" в чем выражается какие метрики замеряете?

В общем нашел откуда ноги растут у проблемы. Когда программа запрашивает данные, создается клиентский курсор. Если все данные, возвращенные курсором не были считаны до конца, то они повисают в базе. То есть если программа завершилась не штатным образом, из-за этого курсор "висит" в базе со всеми результатами запроса

Отлично :) Курсоры без maxTimeMS — очень плохая практика.

Странно что нет возможности задать глобальный тайм-аут для курсоров. Такие ситуации очень часто встречаются когда люди имеют прямой доступ в монгу. Человек кидает find({}).sort(a: -1) на коллекцию в терабайт, не получает ответа за пару минут, выходит из шелла

Но курсор остаётся висеть. Хуже всего если человек настойчивый и повторяет эту операцию несколько раз

вроде у питоновского пакета pymongo по умолчани 10000 равняется этот параметр

в других коннекторах я думаю тоже есть такие дефолтные значения?

привет, нужен совет по схеме, юзер модели допустим, нужно создать ещё юзера, у которых не будет телефона, а вместо него будет уникальный username, что делать при такой схеме? создавать новую, типа AnotherUserSchema? https://gist.github.com/DmitryGG/481e8fee84bffab71f5683bbbd88f87f зы: в доках этого нет :D

Странно что нет возможности задать глобальный тайм-аут для курсоров. Такие ситуации очень часто встречаются когда люди имеют прямой доступ в монгу. Человек кидает find({}).sort(a: -1) на коллекцию в терабайт, не получает ответа за пару минут, выходит из шелла

еще было б здорово, при выходи из шела кидать cancelation для запроса, интересно почему сразу такое не сделали

еще было б здорово, при выходи из шела кидать cancelation для запроса, интересно почему сразу такое не сделали

Потому что UB :)

привет, нужен совет по схеме, юзер модели допустим, нужно создать ещё юзера, у которых не будет телефона, а вместо него будет уникальный username, что делать при такой схеме? создавать новую, типа AnotherUserSchema? https://gist.github.com/DmitryGG/481e8fee84bffab71f5683bbbd88f87f зы: в доках этого нет :D

или может просто сделать поле телефона необязательным и добавить новое поле username?

Нет стандарта, по-умолчанию значение не задаётся.

Нет стандарта, по-умолчанию значение не задаётся.

это мне?

еще было б здорово, при выходи из шела кидать cancelation для запроса, интересно почему сразу такое не сделали

Шелл вообще мог бы показывать где-то открытые курсоры и призакрытии мог бы спрашивать что с ними делать. Но тут ещё такой момент: kill cursor не факт что сработает :)

это мне?

Нет. Это про maxTimeMS

Я искренне наивно полагал, что курсор умирает при разрыве соединения в течении какого-то адекватного срока. А тут безлимит из коробки

да тоже так думали, а потом ручками киляли

И я правильно понимаю, что глобально задать это никак не вариант? Только для каждого конкретного курсора?

да

но ваш драйвер может поддерживать, стоит порыться в доках

только что смотрел, собстенно поведения драйвера здесь копирует полностью поведение монго

Всем привет, посоветуйте mongodb хостинг для личных проектов (бесплатный) https://www.mongodb.com/cloud/ подойдет или есть более подходящие варианты? Если да, то почему?

Что нашел mlab.com mongodb.com остальные хотят денег

Логично хотят, потому что хранение данных стоит денег.

Если вас устраивает родной mongo cloud, берите его

а так, сейчас виртуалки стоят смешных денег, собрать себе тестовый стол для личных нужд можно по цене двух бокалов среднего пива в месяц

а так, сейчас виртуалки стоят смешных денег, собрать себе тестовый стол для личных нужд можно по цене двух бокалов среднего пива в месяц

Да, я в курсе. Просто хочу сделать сервис на raspberry pi, и не хочу морочиться с использованием своего инстанса монги локально или на своих виртуальных серверах. Ведь их придётся обновлять, Бекапить, следить за безопасностью. Остановился на mongo cloud. Спасибо

Да, я в курсе. Просто хочу сделать сервис на raspberry pi, и не хочу морочиться с использованием своего инстанса монги локально или на своих виртуальных серверах. Ведь их придётся обновлять, Бекапить, следить за безопасностью. Остановился на mongo cloud. Спасибо

Я вижу тут проблему посложнее в том, что тебе придётся ещё и оперативку монтировать внешнюю, если на малину поставишь монгу

Я вижу тут проблему посложнее в том, что тебе придётся ещё и оперативку монтировать внешнюю, если на малину поставишь монгу

Почему? Монга не заработает на ~800мб памяти?

,, заработает...

заработает, но так то монга вообще очень прожорлива к памяти.

Только до поры до времени пока запросов мало и они нетяжелые

Когда памяти мало то она просто в один момент может перестать работать. И это реально будет неожидано

заодно пока данных мало, пока индексов немного

Когда памяти мало то она просто в один момент может перестать работать. И это реально будет неожидано

Ого. А можно пример с логами? Чтобы я был подготовлен.

Ого. А можно пример с логами? Чтобы я был подготовлен.

Они остались на работе на прошлой. Но факт в том, что в логах ничего необычного нет!

Правда морга была 3.2

Монга*

Вы слишком много внимания памяти уделяете. На RPi монга заведётся, но производительность будет ограничена со всех сторон. Например там всего одна usb шина, на которой в том числе и Ethernet контроллер висит. Так что туда в принципе данных много не залить. Ну и все это на 32х битный ARM процессоре, которому уже десятый год. Если это не RPi3.

>Если это не RPi3. это рпи3 В домашних проектах(моих) особой производительности не будет.

Но спасибо за комментарий

Вы слишком много внимания памяти уделяете. На RPi монга заведётся, но производительность будет ограничена со всех сторон. Например там всего одна usb шина, на которой в том числе и Ethernet контроллер висит. Так что туда в принципе данных много не залить. Ну и все это на 32х битный ARM процессоре, которому уже десятый год. Если это не RPi3.

Ну так на двойке вообще странная идея заводить все это)

Ну так на двойке вообще странная идея заводить все это)

Почему странная?

Самое главное саму БД выносить на внешний носитель

Смысла это не имеет

Почему странная?

Старье

Меньше всего хотел я разжигать ненужный холивар

Я бы для таких целей заюзал бы sqlite. А к нему прикрутил бы либу питоновскую dataset

Я бы для таких целей заюзал бы sqlite. А к нему прикрутил бы либу питоновскую dataset

А какой смысл если я монгу и го хочу поизучать?

А какой смысл если я монгу и го хочу поизучать?

Если это с целью изучения, тогда забудь что я писал)

?

Ребятки, есть документ в монге, в нем n-ое количество элементов, у каждого из которых есть поле "rating". Как одним запросом/аггрегацией обновить поле "place" у каждого из элементов, показывающее порядковый номер в упорядоченном по полю "rating" списке? Не хотелось бы в питоне перебирать данные каждый раз

Ребятки, есть документ в монге, в нем n-ое количество элементов, у каждого из которых есть поле "rating". Как одним запросом/аггрегацией обновить поле "place" у каждого из элементов, показывающее порядковый номер в упорядоченном по полю "rating" списке? Не хотелось бы в питоне перебирать данные каждый раз

вот если честно, то у меня когнитивный диссонанс. Я не понимаю что ты подразумеваешь под элементом. А лучше приведи пример документа

https://stackoverflow.com/jobs/companies/kink кинку нужен мастер монги посоны

вот если честно, то у меня когнитивный диссонанс. Я не понимаю что ты подразумеваешь под элементом. А лучше приведи пример документа

надо из такого [ {"_id":123, "name":"name1", "rating":12}, {"_id":124, "name":"name2", "rating":45}, {"_id":125, "name":"name3", "rating":31}, ] получить такое [ {"_id":123, "name":"name1", "rating":12, "place": 3}, {"_id":124, "name":"name2", "rating":45, "place": 1}, {"_id":125, "name":"name3", "rating":31, "place": 2}, ] основываясь на величине "rating"

надеюсь, правильно написал

теперь понятно