В чем может быть проблема? Не работает (пишет Invalid command: --auth): pm2 start mongod -- --dbpath /home/data/db -- --auth Все ок: mongod --dbpath /home/data/db --auth

В чем может быть проблема? Не работает (пишет Invalid command: --auth): pm2 start mongod -- --dbpath /home/data/db -- --auth Все ок: mongod --dbpath /home/data/db --auth

перед --auth не надо ещё раз --

первый -- отделяет собственные аргументы pm2 от аргументов команды которую он запускает

т.е. когда я хочу передать параметры скрипту самому, то нужно лишь один раз поставить -- перед всеми аргументами, верно?

видимо да, так получилось, спасибо

на дебиане службы не создаются при установке по гайду с доков

так и надо через всяекие pm2 запускать?

systemd можно использовать для автостарта

народ, а в монге есть транзакции?

хочу удалить пачку документов, но с возможностью роллбека

нашел только некий оператор $isolated

народ, а в монге есть транзакции?

в монге есть транзакции — отказать.

в монге есть гарантия атомарности работы с одним документом.

народ, а в монге есть транзакции?

Есть атомарные операции. Транзакций нет

? получается и откатить сделанное никак?

Откатить нет. Удалять не сразу, а по завершению операции от которой может потребоваться ролбек. Сделай по принципу https://docs.mongodb.com/manual/tutorial/perform-two-phase-commits/

Привет! Есть коллекция, в неё добавил поле с датой. Нужно обновить это поле у каждого каждого документа, чтобы дата была разной. Как это лучше всего сделать? Может есь какой то стандартный оператор?

Чтобы был не цикл

Перебирать курсор и обновлять документы, только так. Можно ещё $currentDate, но не думаю что это то, что ты хочешь

спасибо

https://telegram.me/joinchat/A2LexD9ABOY-KJhzKA4L3g

спс

Может знает кто, сделали dump-restore при переносе базы на другой сервер и теперь документы неправильно отсортированы по умолчанию. $natural порядок не совпадает с _id: 1. Как восстановить порядок документов по айдишникам? Айдишники ObjectId

На ум пришло только пройтись курсором с сортировкой по айди, записать в другую коллекцию и заменить исходную на полученную

Может знает кто, сделали dump-restore при переносе базы на другой сервер и теперь документы неправильно отсортированы по умолчанию. $natural порядок не совпадает с _id: 1. Как восстановить порядок документов по айдишникам? Айдишники ObjectId

Natural это порядок документов как они сохранены в хранилище. Надеятся на его консистентность — ошибка. Восстановить его скоре всего невозможно, кроме переноса файлов хранилища. Нужно ввести новый атрибут и по нему отсортировать.

Natural это порядок документов как они сохранены в хранилище. Надеятся на его консистентность — ошибка. Восстановить его скоре всего невозможно, кроме переноса файлов хранилища. Нужно ввести новый атрибут и по нему отсортировать.

А разве скорость доступа не замедляется, если я, например, сортирую по _id, а документы лежат физически в другом порядке?

У тебя сколько данных?

в одной коллекции гигабайт на 15

Ну вот сделай поле которое будет поддерживать нужную тебе сортировку и сделай по нему индекс в нужном направлении.

А если бы коллекция весила 1тб, то стоило бы о таком задумываться? Или предложенный тобой вариант сработает и в этом случае?

Не стоит вообще о таком задумываться, пока ты не знаешь в чём именно у тебя проблема с данными.

Окей, спасибо за разъяснение

Как обладатель коллекции в 800Гб могу сказать что стоит задумывать как можно раньше))) Иначе тупо нереально даже новый индекс простроить, не говоря уже по выборке с COLLSCAN и сортировкой

600кк доков если интересно

600кк доков если интересно

Триллионы документов, на прошлой неделе перестраивали индексы.

ну у тебя небось шардирвоание куча нод)))

Не очень куча

А у вас коллекции шардированы?

А, ну понятно

у меня нет хДДД

Да какая разница

Индексы нормально строятся на secondary

Так разве скорость перестроения индекса не зависит напрямую от кол-ва шардов?

Выводишь ноду в stand-alone, создаёшь индекс, возвращаешь ноду назад. Повторяешь со всеми нодами в реплике

0downtime

0downtime

там же есть флаг делать все на фоне кажется

чтобы самому не морочиться

там же есть флаг делать все на фоне кажется

Ты знаешь как оно работает?

на практике не пробовал

ну слышал что под 50% грузит :)

Оно на primary запускает background создание индекса, которое может легко тебе поставить раком ноду

собственно проблема в том что в один прекрасный момент реплика перестала догонять мастер, с тех пор осталось только одна примари нода. но это неважно, вскором времени планируется полностью реорганизовать базу

И реплицирует такое создание только после завершения на primary

Вывод ноды — безопасно и контролируемо

ясно, буду знать

Так разве скорость перестроения индекса не зависит напрямую от кол-ва шардов?

Нет

Я правильно понимаю, что для вывода ноды и возврат обратно еть временной лимит связанный с оплогом?

Я правильно понимаю, что для вывода ноды и возврат обратно еть временной лимит связанный с оплогом?

Да. Oplog window должен покрывать время создания индекса с запасом. Желательно двойным

спасиб

ну слышал что под 50% грузит :)

я пробовал. всё проклял. примари в момент востановления из бекапа стоит раком. но пока он не простроит индекс секондари и не начнут. вся система стоит колом. la заоблачный. колво операций в очереди за гранью разумного. все запросы уходят на colscan. отваливается ssh. есть сильное желание нчать заниматься чем то другим. например уборкой снега.

я пробовал. всё проклял. примари в момент востановления из бекапа стоит раком. но пока он не простроит индекс секондари и не начнут. вся система стоит колом. la заоблачный. колво операций в очереди за гранью разумного. все запросы уходят на colscan. отваливается ssh. есть сильное желание нчать заниматься чем то другим. например уборкой снега.

+, вчера в деве еще и оплог провалился до минимальных значений

я пробовал. всё проклял. примари в момент востановления из бекапа стоит раком. но пока он не простроит индекс секондари и не начнут. вся система стоит колом. la заоблачный. колво операций в очереди за гранью разумного. все запросы уходят на colscan. отваливается ssh. есть сильное желание нчать заниматься чем то другим. например уборкой снега.

Так мы уже это тут обсуждали. Не надо индекс в бекграунде на больших коллекциях делать. Лучше в standalone

В смысле давно обсуждали

да да. я как раз про тогда и рассказываю

я тогда вас не послушал и бахнул по свойму с бекграундом. ну чтоже... ошибся поделись опытом. делюсь.

:)

Триллионы документов, на прошлой неделе перестраивали индексы.

А сколько по объему коллекция на одном серваке и примерное время за сколько проиндексировало? И что за диски стоят?

Скажите, а есть ли простой способ переместить документ в другую коллекцию? Чтобы не делать find/insert/remove по отдельности

на ум пришло только findAndRemove + insert

А сколько по объему коллекция на одном серваке и примерное время за сколько проиндексировало? И что за диски стоят?

SSD, TB's

8 часов кажется

на ум пришло только findAndRemove + insert

что ты будешь делать если insert сломается?

что ты будешь делать если insert сломается?

поэтому и спрашиваю

сначала вставить, потом удалить

выбрать, пометить как «удаляемый», вставить, пометить как удалённый

выбрать, пометить как «удаляемый», вставить, пометить как удалённый

и потом разруливать проблему "а он еще вставляется или вставка обламалась и нужно его заново вставить"

или просрать данные, да

ну да трейдофф при отсутвии транзакций

Там минорное обновление экспортера, оно теперь умеет в SSL (и вероятно в X509, но я ещё не проверял)

(И жарка стала варкой, плюс похудела в три раза)

а выбор неймспейсов ?

Пока не добрался

Как доберусь закрою ишуй, тебе письмо упадёт

Ок пасиб

Я, блядь, хочу в глаза посмотреть тем людям которые придумали дизайн аутентификации в монге. И заставить их, сука, деплоить x509 на кластере из ста нод, пока до них не дойдёт какой феноменальный пиздец они сотворили