Вдруг кому поможет: было 2 шарда. В сумме 1,3 терабайта данных. Остановил оба, настроил авторизацию по ключу. Запускаются только конфиг и mongos, а шарды никак. Проблема была в том, что wiredTiger при каждом запуске желает удостовериться, что все хорошо с данными и что-то там пытается восстановить. На таких объемах он не укладывается в стандартный таймаут. Поэтому надо добавить таймаут в >600 секунд в файл mongod.service

Вопрос возможно ли решение - обновления размазана по функции и нескольким таблицам, следовательно получается repeated-read, как это избежать в монге не очень знаю

Смотря на чем кодишь. В го драйвере транзакции сделаны через контекст, и можно в разных модулях работать в рамках 1 транзакции

Да, как раз го, не знал про это - спасибо. Но думаю тут всё хуже - хотят несколько инстансов пускать - я так понимаю вариантов это оставляет немного: - или какой-нибудь оптимистичный лок (но хотят чтобы параллельные запросы не падали) - тогда это дополнительный спинлок, что совсем плохо - или, ну хз, надо на mysql переезжать видимо

Не понял про параллельные инстансы. Сервис скейлить что ли? И как это мешает?

да, тогда я не понял. ну по идее один инстанс создаёт одну транзакцию, другой другую. если я правильно понимаю они же не будут лочить друг-друга, в монге же такого нет

А зачем сервисам лочить друг друга? Монга обеспечит acid над данными

А зачем сервисам лочить друг друга? Монга обеспечит acid над данными

я значит что-то не понимаю, буду рад если поясните: мне казалась она не может это обеспечить. т.е. грубо говоря: - есть функция f1: прочитать что-то, посчитать (в коде) и обновить этот же документ - есть параллельный такой же f2. => он и оба прочитают вариант изначальный, но я бы хотел чтобы f1 залочилась пока f2 не отработает. Ну т.е. в рамках одного инстанса это как mutex.Lock

я значит что-то не понимаю, буду рад если поясните: мне казалась она не может это обеспечить. т.е. грубо говоря: - есть функция f1: прочитать что-то, посчитать (в коде) и обновить этот же документ - есть параллельный такой же f2. => он и оба прочитают вариант изначальный, но я бы хотел чтобы f1 залочилась пока f2 не отработает. Ну т.е. в рамках одного инстанса это как mutex.Lock

Так, транзакция обеспечит атомарность. Правда читать в транзакции можно только с primary. Если тебе модифицировать только надо то юзай inc push и тд

сорян, я что-то не догоняю, но ведь в монге нету юзерных локов . т.е. параллельный код будет видеть старые данные (пока не обновлены)

Задачу опиши. Не понимаю толи ты не в курсе как в целом транз работают в любой бд, толи тебе очередь нужна (скорее)

Задачу опиши. Не понимаю толи ты не в курсе как в целом транз работают в любой бд, толи тебе очередь нужна (скорее)

Если тебе нужно распараллелить обработку документов, что параллельно разные обрабатывались, используй очередь (кафка реббит и тд). Чтобы обеспечить атомарность изменения одного документа и защититься от грязных чтений - используй транзакцию

есть функция: func add(x): startTransaction() find(id = 1) newCount := calc() update(total = count) // например update(items.add(count + 1)) commitTransaction() return newCount+1 есть документ, например {id:1, total: 3, items:[1,2,3]} соответственно: два параллельный запуска fb(4) читают документ, получают одинаковый считают например items, получают 3 потом оба обновляют и оба возвращают 3

ну тут всё же не в глязных чтения дело (транзакция от этого спасает) А тут именно об паралелльной работе двух транзакциях на старых данных

А то у тебя все N кронов будут лопатить одни и те же данные

да, так о том и речь, но по идее, mysql и лок на read тут же поможет?

Как тебе лок размажет разные задания по разным воркерам?

он не даст сделать find(id = 1) (select) пока другая транзакция активна. ну т.е. по сути как mutex, но на уровне базы

В чем профит нескольких воркеров которые залочены одним мьютексом?

Тогда последовательно делай в одном инстансе. Результат будет тот же с такой же скоростью. Надо параллельно- бери очередь

очередь - всмысле очередь которая опять же идёт в один инстанс? т.е. тут суть не в очереди, а опять же в одной точке обработки по сути

Нет, из очереди каждый воркер (консумер) читает свой id документа на обработку например

А пишет в очередь 1 продюсер, айдишники которые надо обработать

Есть ли такая возможность в монге, чтобы документ "A" заимствовал определенные поля у документа "Б" ?

lookup