У девелопера пару раз упала монга с OutOfMemory. Посмотрел логи, такое ощущение, что по одному документу тянется из курсора долгое время, а потом разваливается. Хочу погонять и поискать какой запрос или какой долгоживущий курсор роняет монгу. В логах монги перед крашем куча подобного: COMMAND [conn2] command xxx.User command: getMore { getMore: 409911195575, collection: "User" } originatingCommand: { aggregate: "User", pipeline: [], cursor: {} } planSummary: COLLSCAN cursorid:409911195575

https://github.com/rueckstiess/mtools/wiki/mlogvis

плюс встроеный профайлер с большим порогом срабатывания

Понял, начну с этого, спасибо. А долгоживущие курсоры также можно потрекать в профайлере?

Понял, начну с этого, спасибо. А долгоживущие курсоры также можно потрекать в профайлере?

просто установить большой порог профилирования, типа 10с и смотреть какие запросы туда падают

У девелопера пару раз упала монга с OutOfMemory. Посмотрел логи, такое ощущение, что по одному документу тянется из курсора долгое время, а потом разваливается. Хочу погонять и поискать какой запрос или какой долгоживущий курсор роняет монгу. В логах монги перед крашем куча подобного: COMMAND [conn2] command xxx.User command: getMore { getMore: 409911195575, collection: "User" } originatingCommand: { aggregate: "User", pipeline: [], cursor: {} } planSummary: COLLSCAN cursorid:409911195575

как интересно

$projection: { myNewId: {$sum: 1} }

ммм, нет, так чот не катит

как интересно

Ага, прод не упал, но звоночек некрасивый, поэтому и расследую

Привет, есть список документов в агрегатке, как каждому добавить свое уникальное число? т.е. первому документу добавить поле {myNewId: 1} второму документу добавить поле {myNewId: 2} n документу добавить поле {myNewId: n}

есть подозрение что никак

ммм, нет, так чот не катит

У оператора unwind есть параметр добавления индекса элемента массива. Как вариант запихнуть доки в массив и потом развернуть с индексом. В реальности не пробовал :)

У оператора unwind есть параметр добавления индекса элемента массива. Как вариант запихнуть доки в массив и потом развернуть с индексом. В реальности не пробовал :)

да уже нашел) спасибо)

подходит)

У оператора unwind есть параметр добавления индекса элемента массива. Как вариант запихнуть доки в массив и потом развернуть с индексом. В реальности не пробовал :)

да, я об этом думал, но это совсем перебор

подходит)

вообще такое лучше сделать на клиенте, чем в монге

$unwind и потом обратно $group будет совсем не быстро

да, я об этом думал, но это совсем перебор

Согласен)

в AF сильно не хватает глобальных переменных, но к сожалению это не своместимо с текущей архитектурой. ну или оно не будет скейлиться совсем :(

например если таким образом считать нарастающий итог, я согласен наверное

Здравствуйте. Не подскажите пожалуйста, как запустить mongodb. С терминала

Скачал с официального сайта и в директории bin, есть mongo и mongodb.

С терминала указал эти команды:

mongod --directoryperdb --dbpath /home/alisher/Загрузки/mongodb/data/db --logpath /home/alisher/Загрузки/mongodb/log/mongo.log --logappend --rest --install

но пишет: Error parsing command line: unrecognised option '--rest'

Это с ubuntu 16.04.1

Добрый день. Подскажите пожалуйста, коллекции монги можно как нибудь хранить на разных дисках?

шардирование

или вам разные коллекции на разных дисках?

или вам разные коллекции на разных дисках?

да

сам не занимался, но чтото такое есть, вроде опция для каждая коллекция в своей папке. Ммож ктото внятно ответит

сам не занимался, но чтото такое есть, вроде опция для каждая коллекция в своей папке. Ммож ктото внятно ответит

это да, но подкаталоги для каждой коллекции тут опять же в одной папке на одном диске

а примаунтить нужный диск не?

а примаунтить нужный диск не?

без lvm, никак не расширить физический примари, только смаунтить более большой и на него копирнуть данные и затравить монгу на него, переименовав на дата каталог на старый. При этом придется монгу вкл/выкл делать(

тут лучше всетаки когонить знающего дождать с комментариями, а то не сильно сведущ

вот надыбали, что танцы все таки кое какие надо будет сделать после включения directoryPerDB http://qaru.site/questions/605209/mongodb-can-different-databases-be-placed-on-separate-drives

Коллекция это не база данных

Средствами монги коллекцию в отдельное место уложить нельзя

Есть отвратительный хак -- смотрим в каком файле лежит коллекция , уносим этот файл на нужный диск и делаем символическую ссылку.

Повторю - это кошмар и ужас и не production ready, и надо избегать этого дела. Но тем не менее

Есть отвратительный хак -- смотрим в каком файле лежит коллекция , уносим этот файл на нужный диск и делаем символическую ссылку.

Спасибо. Уперлись уже в разнос хотя бы БД

Есть вариант разложить коллекции в разные БД и их уже держать на отдельных дисках

разные бд отлично работают с directory per db, да сам такой вариант использовал

я еще включаю directoryForIndexes , чтобы и индексы отдельно были

а дальше директории уже можно mount-ить в различные диски.

а дальше директории уже можно mount-ить в различные диски.

то есть ведь предварительно не нужно ведь копировать их на новые подготовленные диски ? Просто не совсем понял строчку > Скопировать данные из отдельных каталогов баз данных на различные блочные устройства (диски, RAID-массивы, логические тома, цели iSCSI и т.д.). из http://qaru.site/questions/605209/mongodb-can-different-databases-be-placed-on-separate-drives

копировать нужно обязательно и базу обязательно тушить (полный бекап не забудьте). суть в чем: - смотрите на текущую структуру файлов и директорий - выясняйте, какой кусок данных решили перенести на другой диск. - копируйте эти данные на новый диск - подмонтируйте новый диск внутрь монги, *чтобы полностью сохранилась оригинальная структура*

лучше ставить опыты сначала на тестовом окружении. если у вас directory per db не включены, то надо будет делать полный переналив данных с нуля. или поднимать реплику с нужными настройками, чтобы в реплике данные на диске уже лежали в нужном виде

но пишет: Error parsing command line: unrecognised option '--rest'

Опции rest больше нет, уберите и попробуйте снова.

Есть вариант разложить коллекции в разные БД и их уже держать на отдельных дисках

извращение

Есть отвратительный хак -- смотрим в каком файле лежит коллекция , уносим этот файл на нужный диск и делаем символическую ссылку.

а коллекции в отдельных файлах лежат?

Да

извращение

полностью согласен.

Симлинки вполне себе спасение. Но есть нюансы

Опции rest больше нет, уберите и попробуйте снова.

Теперь ругается на --install

Её вообще никогда не было :)

копировать нужно обязательно и базу обязательно тушить (полный бекап не забудьте). суть в чем: - смотрите на текущую структуру файлов и директорий - выясняйте, какой кусок данных решили перенести на другой диск. - копируйте эти данные на новый диск - подмонтируйте новый диск внутрь монги, *чтобы полностью сохранилась оригинальная структура*

> - копируйте эти данные на новый диск > - подмонтируйте новый диск внутрь монги, *чтобы полностью сохранилась оригинальная структура* а можно здесь пример? ubuntu

то есть с копированием всего подкаталога БД на новый диск понятно (но в какой каталог? такой же структуры как было?)

покажите, что у вас внутри текущей директории с монгой и что именно вы хотите перенести на другой диск

Её вообще никогда не было :)

А😕

покажите, что у вас внутри текущей директории с монгой и что именно вы хотите перенести на другой диск

мин

кто нибудь ставил mongo 3.6.3 на debian 9?

Ставил

А не подскажете мануал? По докам монго не ставится, пишет: Reading package lists... Done Building dependency tree Reading state information... Done Some packages could not be installed. This may mean that you have requested an impossible situation or if you are using the unstable distribution that some required packages have not yet been created or been moved out of Incoming. The following information may help to resolve the situation: The following packages have unmet dependencies: mongodb-org : Depends: mongodb-org-shell but it is not going to be installed Depends: mongodb-org-server but it is not going to be installed Depends: mongodb-org-mongos but it is not going to be installed Depends: mongodb-org-tools but it is not going to be installed E: Unable to correct problems, you have held broken packages.

собственно попробовал поставить из репозитория Debian 8 “Jessie”

там надо вручную библиотеку поставить из 8го дебиана, libssl кажется. мин

Оно должно ругаться там на версию libssl, которую не может поставить. можно пойти руками на packages.debian.org, стянуть нужную либу из репозитория 8го дебиана и установить ее на 9й. после этого зависимости для монги будут удовлетворены и она нормально поставится.

Да, спасибо, так и есть

Нашел статейку, там как раз этот пакет был указан

только вы аккуратно с этим. на проде под нагрузкой такое не тестировал. у себя монгу оставил под debian 8

Hii is there any English group for mongo db?

Hii is there any English group for mongo db?

не известно

не известно

Please translate

Hii is there any English group for mongo db?

Unlikely

Ok

Hii is there any English group for mongo db?

Вроде видел её. Точно должна быть.

Привет. Подскажите, можно ли как то с минимальным простоем перенести монгу в новый кластер (с своей железки в атлас). Или только dump/restore?

Hii is there any English group for mongo db?

@mongo_db

Привет. Подскажите, можно ли как то с минимальным простоем перенести монгу в новый кластер (с своей железки в атлас). Или только dump/restore?

Привет, а какой у вас сетап: реплика сет, шард?

Привет, а какой у вас сетап: реплика сет, шард?

Репликасет

товарищи, может быть ктото сталкивался. есть расшардированая монга. есть шард, на шард идёт миграция. добавил в этот шард +1 сервер в репликасет. он засинкался, все в порядке, но если сделать новый сервер мастером в шарде - балансер перестает работать. монгос резко начинает считать, что коллекция is not sharded. если этому новому серверу сказать stepDown() - все балансер продолжает работать в обычном режиме. что я упустил?

монга 3.4.14