Может в монге кто хорошо разбирается или в Spring MongoDB и может подсказать, как заставить ее не сохранить вот такие пустые массивы. Делать поле как null

в логах секондари только это выходит: {"t":{"$date":"2022-07-13T09:57:10.967+06:00"},"s":"I", "c":"NETWORK", "id":22989, "ctx":"conn67","msg":"Error sending response to client. Ending connection from remote","attr":{"error":{"code":6,"codeName":"HostUnreachable","errmsg":"Connection reset by peer"},"remote":"ipadress","connectionId":67}}

Вопрос такой, как оценить время, думаю шардировать коллекцию, условно 100 млн записей, сколько времени может занять?

Это сетевая проблема, так как host unreachable это ошибка от сетевого стека ОС. Вероятно у вас «мерцает» линк между нодами в кластере

тоже на это грешил. но сетевики и вмварщики посмотрели, никакой проблемы нет и потери по сети тоже не нашли(

"вмварщики"? напоминает мне случай полугодовой давности у друга, когда вмварщики тоже говорили ему что все ок и сеть стабильна, но после долгих разбирательств выяснилось что патчика не хватало и сеть мигала на очень долгих коннектах ( больше 2 часов)

сделать стенд, нагенерить данные по вашему виду хотя бы приближенно напоминающие те что будут в проде, накидать запросы какие будут в проде и все это дело запустить - на объемах в 100кк кроме как созданием тестового стенда получить адекватную оценку по времени не удастся

вот как доказать им)))

Эта запись в логе однозначно указывает на сетевые проблемы :) Пусть смотрят на свои метрики в районе момента отказа. Если у вас ESXi, с сетевым блочным хранилищем, то там тоже могут быть сюрпризы, особенно если на одном физическом хосте больше одной ноды монги и явно не запровижены iops

Да, скорее всего апдейт попал на момент создания чекпоинта, так бывает

а если так записей в логах много при апдейте документов, о чем может свидетельствовать?

О том что такие запросы попадают под порог временя выполнения который активирует профайлер :)

спасибо, так и думал, просто думал есть некая приближенная формула, исходя из размера документа и количества

спасибо, так и думал, просто думал есть некая приближенная формула, исходя из размера документа и количества

Много вводных, но редко бывает больше пары гигабайт в час :)

:) от 500 часов...мда...:)

Если у вас около террабайта данных, то несколько дней точно

Теоретически можно сначала порезать коллекцию на очень больше чанки, например по 128мб, а после завершения первичной балансировки уменьшить размер чанков. Балансировщик нарежет существующие на части, но так как на каждом из шардов чанков будет примерно одинаковое количество, то повторная балансировка будет уже не такой большой по объему

Привет. А подскажите можно ли сделать поле _id авто-инкермент?

или ты просто хочешь инт?

Привет. А подскажите можно ли сделать поле _id авто-инкермент?

стандартными способами нельзя сделать, делайте в коде как вам угодно. В общем случае автоинкремент всегда не нужен и является привычкой из SQL мира и нужно от него отказываться и использовать нормальные идентификаторы

А то что в url странный хеш это норм?

Ребят, если мы какое-то поле пометим как индекс - это автоматически ко всем энтити в бд примениться? Миграцию например не надо делать? (не кидайте тапком плиз)

Всем привет! Может кто подскажет как подключиться локально базе( mongo) внутри докер контейнера, не используя опцию network_mode: host?

кем подключиться? зайти можешь таким способом простым $ docker exec -it MONGO_CONTAINER_ID mongo можешь настроить слушать mongodb по всем портам (mongod.conf bindIp 0.0.0.0) и далее сделать inspect контейнера и посмотреть какая сеть вариантов масса в целом

кем подключиться? зайти можешь таким способом простым $ docker exec -it MONGO_CONTAINER_ID mongo можешь настроить слушать mongodb по всем портам (mongod.conf bindIp 0.0.0.0) и далее сделать inspect контейнера и посмотреть какая сеть вариантов масса в целом

кем подключиться? зайти можешь таким способом простым $ docker exec -it MONGO_CONTAINER_ID mongo можешь настроить слушать mongodb по всем портам (mongod.conf bindIp 0.0.0.0) и далее сделать inspect контейнера и посмотреть какая сеть вариантов масса в целом

на хост машине есть база, а эта база она для проверки идёт

Если из хоста и вы не прокинули порт, то вы никак не достучитесь. Если из другого контейнера, убедитесь, что вы находитесь в одной подсети с контейнером монги.

Если ты сейчас из одного контейнера в другой пытаешься стукнуться, то первое хочу понять, как эти отдельные контейнеры запущены, и второе, это как ты пытаешься стукнуться из одного к другому. Прям покажи кусок кода, строки где происходит подключение.

он хочет бд с контейнера подключить условно в компасе с хост машины