Нет, это Феди Скуратова

и здесь этот собиратель метрик

Монгус использует нативный драйвер

Это да Но скорость то его ниже?

Статья на медиуме говорит что да Захотел узнать мнение пользователей тут

Просто при чтении файла только 60к в минуту записываеься в дб(updateone) Хочу ускорить, ищу варианты(в любом случае попробую, но мб кто знает еще варианты)

Это да Но скорость то его ниже?

Смотря что вы подразумеваете под скоростью. Монгус перед вставкой делает прогон документа по схеме для валидации или приведение типов. + выполняет хуки, если они есть. В принципе, если все это вам не нужно, можно не использовать монгус, но не думаю, что сильно медленнее. На чтение и удаление ничего такого, насколько я знаю не делается. Главное понимать, что когда вы делаете .exec() у вас данные кладутся в массив (аналог toArray, нативного драйвера). Это определенно даст вам просадку на больших выборках, как по оперативке так и по процессору, с другой стороны монгус предоставляет .cursor, который возвращает нормальный курсор, как и стандартный драйвер

Просто при чтении файла только 60к в минуту записываеься в дб(updateone) Хочу ускорить, ищу варианты(в любом случае попробую, но мб кто знает еще варианты)

Факторо много может быть: Если есть индексы, и они сложные, вставка будет дольше Еще может упираться в диск, optlog и т. п.

Смотря что вы подразумеваете под скоростью. Монгус перед вставкой делает прогон документа по схеме для валидации или приведение типов. + выполняет хуки, если они есть. В принципе, если все это вам не нужно, можно не использовать монгус, но не думаю, что сильно медленнее. На чтение и удаление ничего такого, насколько я знаю не делается. Главное понимать, что когда вы делаете .exec() у вас данные кладутся в массив (аналог toArray, нативного драйвера). Это определенно даст вам просадку на больших выборках, как по оперативке так и по процессору, с другой стороны монгус предоставляет .cursor, который возвращает нормальный курсор, как и стандартный драйвер

Нет ,все крайне просто 1 индекс dataField Поиск по dataField и апдейт dataTag в массив если такого нет. Диск читает в 50 раз быстрее чем запись в бд идет(line by line) Попробую нативный отпишу (:

Нет ,все крайне просто 1 индекс dataField Поиск по dataField и апдейт dataTag в массив если такого нет. Диск читает в 50 раз быстрее чем запись в бд идет(line by line) Попробую нативный отпишу (:

Получили прирост?

Господа, а не подкажите, как подключится именно к своей базе, а то у меня строка в формате mongodb://root:root@mongo:27017/admin и получается у меня модели создаются в базе admin, а мне нужно в своей базе?

Вместо admin сделайте имя вашей базы

Вместо admin сделайте имя вашей базы

я делал, тогда аутентификацяи не работает

?authSource=admin попробуйте добавить к строке

Еще root:root лучше не делать, а создавать пользователя/коллекцию авторизации под проект

?authSource=admin попробуйте добавить к строке

сенкс заработало.

сенкс заработало.

Не за что

Еще root:root лучше не делать, а создавать пользователя/коллекцию авторизации под проект

и еще маленький вопросик, но уже связанный с докером, можно при инициализации базы задать другой порт, не 27017 ?

вот мой конфиг докер-комоса mongo: image: mongo:latest volumes: - mongo:/data/db ports: - $MONGO_PORT:$MONGO_PORT environment: MONGO_INITDB_ROOT_USERNAME: $MONGO_INITDB_ROOT_USERNAME MONGO_INITDB_ROOT_PASSWORD: $MONGO_INITDB_ROOT_PASSWORD MONGO_INITDB_DATABASE: $MONGO_INITDB_DATABASE

Докер тут не причем, можно в файле конфигурации mongodb. Хотя если у вас докер — это должно быть неважно, потому что вы прокидываете порты

Ну вот в ports один у вас порт — это порт хостовой машины, а другой дочерней

Докер тут не причем, можно в файле конфигурации mongodb. Хотя если у вас докер — это должно быть неважно, потому что вы прокидываете порты

ну как бы прокидываю только наружный порт, а в компосе другие контейнера видят только внутренний порт

Порт хостовый поменяйте на тот, который вам нужен. В композе как раз контейнеры общаются по внешним портам, а не по внутренним

Порт хостовый поменяйте на тот, который вам нужен. В композе как раз контейнеры общаются по внешним портам, а не по внутренним

хм ... сейчас еще раз проверю

хм ... сейчас еще раз проверю

Суть контейнера в том, что вам все равно, в целом что там внутри, докер определяет какой порт изнутри будет смотреть на какой порт наружу

ports: - $MONGO_PORT:$MONGO_PORT Вот тут у вас должны быть разные переменные

ports: - $MONGO_PORT:$MONGO_PORT Вот тут у вас должны быть разные переменные

та я вкурсе

но вот не работает

так что получается, в компосе контейнера взаимодействуют через внутренние порта

так что получается, в компосе контейнера взаимодействуют через внутренние порта

Может быть, тогда посмотрите переменные контейнера

Может быть, тогда посмотрите переменные контейнера

не понял, какие именно переменные посмотреть?

окружения в контейнере

Возможно можно переопределить конфигурацию, также как вы задает логин/пароль

вот-вот, я уже гуглил на эту тему и нашел только эти 3 переменные: логин, пароль, база аутентификации. Вот и ищу как порт переопределить

ну при инициализации базы в докере

Customize configuration without configuration file — вот этот раздел тут: https://hub.docker.com/_/mongo/

вроде получилось, может кому-то будет полезно mongo: image: mongo:latest command: --port 27018

Всем спасибо, за помощь

и еще маленький вопрос, а какой есть норм viewer баз данных под Windows?

а то компас какой-то тормознуты, а Robo 3T - жутко неудобный

Mongoboost, studio 3Т ещё

Хотя я себе тоже нормальный клиент не нашел, пользуюсь robomongo ибо shell адекватно работает, а конструкторы мне нафиг не нужны

мне вот для реляционных БД Dbeaver очень понравился, он вроде поддерживает и NoSQL но уже в Enterprise версии за денюшку

а вот для Редиса, вообще ничего не нашел

Cli наше все

Я использую плагин для атома run-script. Mongo Hub ещё иногда, но не знаю есть ли он под винду

Я использую плагин для атома run-script. Mongo Hub ещё иногда, но не знаю есть ли он под винду

сенкс, а что за монго хаб? А то в гугле не могу найти, все ссылки на репозиторий монги

https://github.com/jeromelebel/MongoHub-Mac — но он всеже только для мака

Друзья, есть вопрос Не могу найти информацию, транзакции работают на асинхронном java драйвер или нет? И работают ли не на кластере, например, на бд из млаба?

Здравствуйте, а как в MongoDB сделать интеграцию с сервером?

Друзья, есть вопрос Не могу найти информацию, транзакции работают на асинхронном java драйвер или нет? И работают ли не на кластере, например, на бд из млаба?

На кластере не работают до версии 4.2, пока работают только на репликасете и на сингл-инстансе

Здравствуйте, а как в MongoDB сделать интеграцию с сервером?

Расскажите подробнее, пока не понятно

Товарищи, помогите разорбаться. Стала падать монго. Последнее, что остается в логах перед падением. 2018-08-04T20:22:48.376+0300 I NETWORK [conn751161] received client metadata from 127.0.0.1:35178 conn751161: { driver: { name: "PyMongo", version: "3.6.1" }, os: { type: "Linux", name: "Linux", architecture: "x86_64", version: "4.9.0-6-amd64" }, platform: "CPython 3.6.3.final.0" } 2018-08-04T20:22:48.378+0300 I NETWORK [listener] connection accepted from 127.0.0.1:35180 #751162 (134 connections now open)

Падения в преложении стали систематическими, но я не могу понять причину этого

после перезапуска долгое время все скрипты работают, все штатно. В данном случае упала спусться почти два дня работы

[Sat Aug 4 11:35:09 2018] [181993] 0 181993 11523 1433 25 3 0 0 systemd-journal [Sat Aug 4 11:35:09 2018] [182060] 506 182060 7895 461 19 3 0 0 pgrep [Sat Aug 4 11:35:09 2018] Out of memory: Kill process 259299 (mongod) score 290 or sacrifice child [Sat Aug 4 11:35:09 2018] Killed process 259299 (mongod) total-vm:31873268kB, anon-rss:22790924kB, file-rss:0kB, shmem-rss:0kB

нашел причину, тонее "убийцу"

OOM Killer настройте, чтобы у монги был самый низкий приоритет. Можно сделать это через systemd юнит монги, чтобы при запуске сразу ее пиду выдавались более низкие позиции в списке жертв OOM Killerа

Еще советую накинуть оперативки, на худой конец свопа, и найти запрос который выжирает вам оперативку

Вопрос, скрипты работают с монго через pymongo и бывает, что по каким-то причинам запрашивается большая выдача даных из базы, но в этот момент происходит сбой и не считанный курсор так и остается висеть в базе со всей выделенной под него оперативкой. У монго есть внутренний механизм убивать курсоры, которые долго весят?

Вообще по таймауту должна резать курсор

Вопрос, скрипты работают с монго через pymongo и бывает, что по каким-то причинам запрашивается большая выдача даных из базы, но в этот момент происходит сбой и не считанный курсор так и остается висеть в базе со всей выделенной под него оперативкой. У монго есть внутренний механизм убивать курсоры, которые долго весят?

Если у курсора не указан тайм-аут — нет

Вопрос, скрипты работают с монго через pymongo и бывает, что по каким-то причинам запрашивается большая выдача даных из базы, но в этот момент происходит сбой и не считанный курсор так и остается висеть в базе со всей выделенной под него оперативкой. У монго есть внутренний механизм убивать курсоры, которые долго весят?

да по дефолту в паймонго он не указан

таймаут

в данный момент ситуация такая, размер рабочей базы к которой идут запросы порядка 9 гб, но со временем работы она постепенно отжирает около 30 гб оперативной памяти и показывает, что всегда висит около 7-9 соединений даже когда активных скриптов нет и к базе, кроме меня через терминал ни кто не обращается

в данный момент ситуация такая, размер рабочей базы к которой идут запросы порядка 9 гб, но со временем работы она постепенно отжирает около 30 гб оперативной памяти и показывает, что всегда висит около 7-9 соединений даже когда активных скриптов нет и к базе, кроме меня через терминал ни кто не обращается

9Гб на диске?

мне помогла установка connectTimeoutMS

9Гб на диске?

База занимает 9, да

Это неверный метод оценки. Смотреть необходимо на collStats, на сумму size и indexSizes. https://docs.mongodb.com/manual/reference/command/collStats/#collStats.size

WT в кэше хранит некомпенсированные страницы

Если у вас хорошо сжимающиеся данные, на working set может потребоваться существенно больше памяти. По поводу «висящих» соединений. Используйте возможности маркировки курсоров https://docs.mongodb.com/manual/reference/method/cursor.comment/ Например, добавляйте туда точку вызова. Дальше через currentOp у вас будет возможность идентифицировать где в вашем приложении «текут» курсоры.

В остальном, если вы уже сталкивайтесь с нехваткой памяти, вам необходимо масштабироваться.

Даже если вы устраните текущие курсоры, это практически не повлияет на объём используемой памяти.

Если вас беспокоят цифры, то это повод перестать беспокоиться. Современные базы данных стараются максимально использовать оперативную память под свои нужды.

Внедрите средства контроля и следите за latency и количеством запросов по типу операций . Все остальные метрики имеют смысл только когда вы ищите проблемы, которые будут видны по росту latency.

я просто к тому, что при удельном весе всей базы в 9, оперативы в итоге уходит 29. Я правильно понимаю, что монго таким образом может кешировать запросы или какие-то еще операции?

я просто к тому, что при удельном весе всей базы в 9, оперативы в итоге уходит 29. Я правильно понимаю, что монго таким образом может кешировать запросы или какие-то еще операции?

«Вес базы» на диске — неинформативная метрика.

Она ничего не значит

я просто к тому, что при удельном весе всей базы в 9, оперативы в итоге уходит 29. Я правильно понимаю, что монго таким образом может кешировать запросы или какие-то еще операции?

скорллируй тогда - вес базы на диске 4 тб, а памяти тоже 29:D

ребяты, подскажите пожалуйста как в group: ... sum: '$column_name' приводить $column_name к числу?

Приводить к числу? Вы строки суммируете?

ребяты, подскажите пожалуйста как в group: ... sum: '$column_name' приводить $column_name к числу?

первая ссыль в гугле https://stackoverflow.com/questions/29487351/how-to-convert-string-to-numerical-values-in-mongodb :)