mongos

это не балансер, это роутер. но всё сложнее. шардирование требует специального реплика сета для хранения карты данных и конфигурации и mongos

наверное надо опять почитать

спасибо!

и одного и более реплика сета

каждый реплика сет будет хранить кусок данных

а мастер так же один останется?

в каждой реплике будет свой праймари

в каждой реплике будет свой праймари

еще раз спасибо!

12 не оптимально. Большие потери на заись. РЕкомендуется 3 максимум 5

вот здесь "зашитые" ограничения: A replica set can have up to 50 members but only 7 voting members. Но, видимо, @b0om4ik нужна не реплика, а шардинг.

ребят, объясните мне, пожалуйста, что делать, если у меня в процессе вставки методом insertOne() в строчке Document found = database.getCollection("collection").find().first(); вылетает ошибка https://ghostbin.com/paste/rx9rs?

я посмотрел решение с учетом ошибки com.mongodb.MongoSocketReadException: Prematurely reached end of stream здесь https://stackoverflow.com/questions/42150578/mongodb-com-mongodb-mongosocketreadexception-prematurely-reached-end-of-strea, но как решить проблему у себя не пойму

если у меня подключение к кластеру вообще

ребят, объясните мне, пожалуйста, что делать, если у меня в процессе вставки методом insertOne() в строчке Document found = database.getCollection("collection").find().first(); вылетает ошибка https://ghostbin.com/paste/rx9rs?

интересно то, что у меня в бд 36 документов и из них 23 успешно вставляется постоянно, а на 24м стабильно вылетает ошибка

Извините, не в курсе. Джавайские стактрейсы повергают в уныние :)

Привет! Что ведёт к росту файлов журнала? Монга в реплике, не мастер.

и есть ли какие-то рекомендации к размеру раздела под journal? Может быть в % от базы? Я не нашёл

Ребят, а кто подскажет, если у меня в БД лежит строка и в ней число, и я сделаю поиск с $gte, монга приведет типы и сравнит как число?

Ребят, а кто подскажет, если у меня в БД лежит строка и в ней число, и я сделаю поиск с $gte, монга приведет типы и сравнит как число?

нет

нет

Понял, спасибо

но если вы знаете все варианты типов, то можете использовать$or например вот так db.getCollection('t1').find({ $or:[ {ddd:"-1"}, {ddd:-1} ] })

При запросе через aggregation теряется курсор. Ошибка "cursor not found". У реплика сета настройка SecondaryPreferred . Если поставить Primary, то все ок. Подскажие пожалуйста что за фигня?

но если вы знаете все варианты типов, то можете использовать$or например вот так db.getCollection('t1').find({ $or:[ {ddd:"-1"}, {ddd:-1} ] })

понял, спасибо ??

Привет! Что ведёт к росту файлов журнала? Монга в реплике, не мастер.

какая версия?

Если шлётся 20-30 aggregation запросов в секунду достаточно жирных с lookup, group, sort, cond. Это может стать причиной того что монга съедает всю доступную оперативную память? Я понимаю что очень общий вопрос без конкретики, но все-таки.

Или можно по другому сформулировать. aggregation запросы требовательны к памяти?

Если шлётся 20-30 aggregation запросов в секунду достаточно жирных с lookup, group, sort, cond. Это может стать причиной того что монга съедает всю доступную оперативную память? Я понимаю что очень общий вопрос без конкретики, но все-таки.

Если много разных коллекций и индексов задействовано, то вполне нормально

Или можно по другому сформулировать. aggregation запросы требовательны к памяти?

не более чем файнды, вроде

Или можно по другому сформулировать. aggregation запросы требовательны к памяти?

монга будет стараться всю память задействовать

ту часть, которую монга использует для кешированния данных вы можете подкрутить, если у вас wt

другую часть не можете

но и смысла нет

монга будет стараться всю память задействовать

Так ладно если бы просто использовала. Так она съедает всю память и крашит.

вот видите, формулировака проблемы уже изменилась :)

отключите oom для монги

если кроме монги на этой ноде есть другие сервисы, их лучше вынести куда-то ещё. или монгу подвинуть на ноду, где ей не надо бороться за память

если такой возможности нет, попробуйте на 1/4 уменьшить размер кеша для WT

но это уже может иметь последствия в виде увеличения latency у запросов

какая версия?

3,6

Тем более там данных-то мало. Но съедает 8гб . db.stats() { "collections" : 8, "views" : 0, "objects" : 6214295, "avgObjSize" : 187.630542804936, "dataSize" : 1165991544.0, "storageSize" : 664494080.0, "numExtents" : 0, "indexes" : 20, "indexSize" : 348192768.0, "fsUsedSize" : 25555324928.0, "fsTotalSize" : 210999894016.0, "ok" : 1.0 }

yopp а чем плох вариант ограничить размер памяти отдельной ручкой?

но это уже может иметь последствия в виде увеличения latency у запросов

^

потом эта ручка ограничивает кеш wt

я не уверен что память для сортировок и прочего туда входит

отключите oom для монги

А это нормальная практика? Мне админы говорили что лучше так не делать. На ноде кроме монги важных сервисов нет.

А это нормальная практика? Мне админы говорили что лучше так не делать. На ноде кроме монги важных сервисов нет.

с админской точки зрения и говорю) лучше не отключать. Я использовал --wiredTigerCacheSizeGB + ограничение памяти в контейнере

Тем более там данных-то мало. Но съедает 8гб . db.stats() { "collections" : 8, "views" : 0, "objects" : 6214295, "avgObjSize" : 187.630542804936, "dataSize" : 1165991544.0, "storageSize" : 664494080.0, "numExtents" : 0, "indexes" : 20, "indexSize" : 348192768.0, "fsUsedSize" : 25555324928.0, "fsTotalSize" : 210999894016.0, "ok" : 1.0 }

одна аггрегация может использовать толи 64 толи 128 мегабайт памяти под свои цели

30 агрегаций в секунду по 128 мегабайт, это уже близко к 4 гб

с админской точки зрения и говорю) лучше не отключать. Я использовал --wiredTigerCacheSizeGB + ограничение памяти в контейнере

тут вопрос, что хуже: пристрелленая монга или тормозящаяя монга :)

Вообще раньше все ок было. Монга жила спокойно на 4гб. Потом было обновление нашей API в который часть запросов были переведены на aggregation. И началось. Видимо зря это было сделано (

добавьте памяти, делов то

Вообще раньше все ок было. Монга жила спокойно на 4гб. Потом было обновление нашей API в который часть запросов были переведены на aggregation. И началось. Видимо зря это было сделано (

скорее не "зря", а безлаберно

тут вопрос, что хуже: пристрелленая монга или тормозящаяя монга :)

хороший индеец -мертвый индеец =)

хороший индеец -мертвый индеец =)

индеец может умереть вместе с каким-то важными данными :)

скорее не "зря", а безлаберно

В смысле криво было реализовано? Возможно.

Вообще раньше все ок было. Монга жила спокойно на 4гб. Потом было обновление нашей API в который часть запросов были переведены на aggregation. И началось. Видимо зря это было сделано (

у Вас непрогнозируемый рост потребления ресурсов виной =) это планировать нужно

В смысле криво было реализовано? Возможно.

да, непродуманные запросы. Посмотрите в сторону оптимизации, может переделать какие индексы UPD могу конечно ошибаться, но раз такие симптомы, не плохо бв проверить, explain-ы погонять

да, непродуманные запросы. Посмотрите в сторону оптимизации, может переделать какие индексы UPD могу конечно ошибаться, но раз такие симптомы, не плохо бв проверить, explain-ы погонять

этот вывод на основании чего сделан-то?

В смысле криво было реализовано? Возможно.

скорее всего добавить памяти самый дешевый и простой выход в вашей ситуации

индеец может умереть вместе с каким-то важными данными :)

я про то же ) поэтому паковал в докер-контейнер и ограничивал ему память + кеш WT в два раза меньший чем у контейнера, полёт нормальный, при тормозах добавить памяти. OOM не шелохнётся ниразу

этот вывод на основании чего сделан-то?

Согласен, смелый вывод, поправился

скорее всего добавить памяти самый дешевый и простой выход в вашей ситуации

Это можно конечно. Но просто при размере базы чуть больше 1гб съедать 8гб оперативы чет как-то не очень перспектива. К тому же мне нужно именно проблему решить, а не просто сделать так чтоб сейчас по быстрому работало. Я думаю все таки переписать с aggregation на обычные запросы и затестить.

это вполне реальная перспектива

Спасибо за ответы)

переписать обратно это десятки человекочасов, лишние 8 или 16 гигабайт памяти того совершенно не стоят

использование памяти субд это не проблема

если у вас много трансформаций в AF, это нормально

монге нужен буффер для трансформированных документов

если вы хотите быстро что-то решить, то как уже сказали — ограничьте размер кеша WT. По-умолчанию это половина памяти. Вручную выставьте лимит в 3/8 например

Хорошо. Я понял.

Добрый день. Есть реплика сет из 3х нод и 2х арбитров. Упала одна реплика. Хочу запустить полную репликацию. Но опыта работы с репликами почти нет. Я правильно понял, что я должен вычистить содержимое директории с базами, стартануть ноду. После чего, запустится копирование на эту реплику, а затем долгий процесс индексации?

Добрый день. Есть реплика сет из 3х нод и 2х арбитров. Упала одна реплика. Хочу запустить полную репликацию. Но опыта работы с репликами почти нет. Я правильно понял, что я должен вычистить содержимое директории с базами, стартануть ноду. После чего, запустится копирование на эту реплику, а затем долгий процесс индексации?

Не обязательно вычищать, просто запустите эту ноду, она дотянет изменения. Процесс индексирования зависит от версии

вот полезно ознакомиться: https://docs.mongodb.com/manual/reference/method/rs.add/

Не обязательно вычищать, просто запустите эту ноду, она дотянет изменения. Процесс индексирования зависит от версии

не уверен, что она дотянет слишком большое время простоя

привет! первый раз создаю кластер на монгодб кластере - подскажите какую версию монги лучше выбрать 3.6 или 4 ? На что это влияет (цена/стабильность?)?

4

4

спасибо!

4

не подскажете, куда копать с моей ошибкой?

я посмотрел решение с учетом ошибки com.mongodb.MongoSocketReadException: Prematurely reached end of stream здесь https://stackoverflow.com/questions/42150578/mongodb-com-mongodb-mongosocketreadexception-prematurely-reached-end-of-strea, но как решить проблему у себя не пойму

имеется ввиду

¯\_(ツ)_/¯

возможно сокеты

может быть они у вас там текут, и в после N запроса тупо нехватает дескрипторов или что-то в этом духе.

у меня на одном и том же месте при вставке вылетает это исключение

да, именно по этому

у меня на одном и том же месте при вставке вылетает это исключение

а если руками вставлять а не из кода?

и кстати как насчет обновить драйвер?

а если руками вставлять а не из кода?

руками вставить можно, но тут именно в коде ошибка

и кстати как насчет обновить драйвер?

у меня 3.7.1 стоит

не самый старый вроде бы

ну да

моё предположение что из-за database.getCollection("collection") у вас текут сокеты

моё предположение что из-за database.getCollection("collection") у вас текут сокеты

а как решается проблема с сокетами?

почитать внимательно документацию к драйверу

кстати как вариант, просто вынесите database.getCollection("collection") в переменную