Как задать лимит для внутреннего массива? Например есть у меня объект { "_id": "123", "field": "qwerty", "strings": [ "1", "2", // Тут ещё 100 строк ] } Как сделать в одном запросе чтобы вернуло вот так { "_id": "123", "field": "qwerty", "strings": [ "1", "2" ] } То есть обрезать массив, в данном примере до 2 вхождений

Ну или $slice или $unwind как говорили раньше сегодня

Ну или $slice или $unwind как говорили раньше сегодня

Спасибо, то что нужно

Спасибо, то что нужно

you're welcome!

вы где-то их открываете и не закрываете

А как их закрывать?

elemMatch всегда только 1 возвращает

а, да, вам два надо. можно через $filter выражение aggregate([ { $addFields: { strings: { $filter: { input: "$strings", as: "item", cond: { $in: [ "$$item", ["1", "2"] ] } } } } } ])

А как их закрывать?

Как в сбербанке: «Где открывали, там и закрывайте» ;) Изучите документацию к своему драйверу

К драйверу "хероку")

Боты то там

ваши боты вероятно написаны на каком-то языке, этот язык используя какой-то драйвер ходит в монгу

А как их закрывать?

Выключите все ваши приложения, подключенные к базе и проверьте

Уменьшилось число коннектов или нет

Перед этим я еще советую проверить авторизацию, все ли с ней хорошо

Какая вероятность того, что вас могли расковырять и прямо сейчас куча плохих ботов что-то делает с вашей базой?

в атласе и так авторизация по-умолчанию

не нужно сложных теорий строить, с вероятностью 90% это где-то в приложении проблема

либо в деплое

в зависимости что за тариф на хероку, там может так быть, что несколько контейнеров с приложениями запускаются

не нужно сложных теорий строить, с вероятностью 90% это где-то в приложении проблема

В данном случае я бы всё таки предостерег нашего уважаемого Алиса, так как подход «Кому я нужен» чреват боком :)

да

Подскажите, а как можно посмотреть чему равно это значение в самой монге?

Подскажите, а как можно посмотреть чему равно это значение в самой монге?

db.serverStatus().wiredTiger.cache["maximum bytes configured"]

db.serverStatus().wiredTiger.cache["maximum bytes configured"]

спс

db.serverStatus().wiredTiger.cache["maximum bytes configured"]

его можно передать как аргумент при запуске? Где то видел инфу по этому поводу, но что то не могу найти

mongod --help

mongod --help

ок чекну

@dd_bb подскажи, есть шардирвоанный кластер, count() с условием выдает что на одном из шардов есть доки, на остальных нет. Но find их не видит, ни черег стандартный шел, ни через софтовый драйвер если цеплятсья через mongos. Если прицепитсяь напрямую к репликасету, то там find выдает данные

кто-то записал данные мимо mongos?

что за хрень может быть и как лечится. версия 3.4.14

нет, только через него

проверь что есть чанки которые покрывают такие документы

данные записаны на прошлой неделе, для заливки и обработки через стандартны жавадайвер

и что чанк указывает на тот шард, на котором на самом деле находятся документы

это в конфиг.chunks?

да, где-то там

потому что если видно в shard-local и не видно через mongos — значит проблема где-то на уровне карты шарда

проверь что монгосы видят все шарды ещё

спасибо за наводку, была первоначальная разбивка на чанки и их миграция скриптом, пока не было данных

ну легко могли ошибиться в настройке драйвера, могли что-то нахимичть с чанками

может быть с топологией проблемы: не все ноды друг другу видны

Привет, народ. А расскажите про борьбу с jumbo чанками. Скажем, есть jumbo чанки...есть ли способ посмотреть их размеры?

берём чанк с флагом jumbo. берём диапазон ключа этого чанка, делаем find с этим диапазоном и считаем размер bson :)

эм...а как считается размер bson?)

Object.bsonsize?

Object.bsonsize?

Да

The mongodb+srv option will fail if there is no available DNS with records that correspond to the hostname identified in the connection string. In addition, use of the +srv connection string modifier automatically sets the ssl option to true for the connection. You can override this behavior by explicitly setting the ssl option to false with ssl=false in the query string. https://docs.mongodb.com/manual/reference/connection-string/#dns-seedlist-connection-format

?

потому что если видно в shard-local и не видно через mongos — значит проблема где-то на уровне карты шарда

допустим я нашел, что док находит в чанке, который по мнению монгоса находится на другом шарде, какие действия?

а вот такой вопрос...Для того, чтобы перенести эти jumbo чанки на другие шарды надо на конфигсерверах поднять chunkSize, в этом случае надо помечать jumbo как "уже не jumbo" или монга сама их пометит при следующей попытке смигрить?

если у вас каждый «бот» это отдельное приложение, проблема может быть и в случае с connection pool. например если ваш драйвер использует пул из 16 соединений, то на 7 приложений это уже 112 штук

Спасибо всем, кто помогал) вопрос решён. Этот ответ оказался верным, так как какой-то один мой неиспользуемый бот забивал все 100 подключений. Видимо, зациклился

Выключил ненужных - стало 7 коннектов

Так что всё-таки моя база никому не нужна)

Если у кого-то внезапно возникает такая ошибка, то это, видимо, из-за забитых коннектов

Спасибо всем, кто помогал) вопрос решён. Этот ответ оказался верным, так как какой-то один мой неиспользуемый бот забивал все 100 подключений. Видимо, зациклился

а вы какой версии драйвер используете для кластера ботов? Вы используете питоновский?

а вы какой версии драйвер используете для кластера ботов? Вы используете питоновский?

Питон использую, да

Питон использую, да

а версия у вас 3.6+?

3.6.1

3.6.1

у меня тоже, не могу подключиться никак к нему

кидает исключение

до 3.6 нет +srv и таких проблем не возникало, а тут пишет, что нельзя

3.6.1

Вы кроме того, что прописываете client = pymongo.MongoClient("mongodb+srv://kay:myRealPassword@cluster0.mongodb.net/test") db = client.test что-то еще настраивали?

Нет

может еще что-то нужно

может еще что-то нужно

А в чем проблема?

проблема с подключением

пишет, что +srv не должно быть, хотя я использую 3.6.1 драйвер

А, java Извини, но тут я бессилен

Знаю питон)

А, java Извини, но тут я бессилен

у нас с подключением принцип по идее один и тот же

Возможно Могу скинуть весь код подключения своего

Для сравнения

Возможно Могу скинуть весь код подключения своего

давайте, буду благодарен

client=MongoClient(os.environ['database']) db=client.mydb users=db.users

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

ну легко могли ошибиться в настройке драйвера, могли что-то нахимичть с чанками

эм, получается чтото веселое, на разных шардах есть доки принадлежащие одному чанку

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

3 реплики? Это разве не старые версии так подключаются?

3 реплики? Это разве не старые версии так подключаются?

Вроде старые, но я всегда юзаю их - работает)

допустим я нашел, что док находит в чанке, который по мнению монгоса находится на другом шарде, какие действия?

действия УПС

искать как так вышло

вероятность заливки данных мимо монгоса повышается

а не было с балансером чтонит ьсвязанное что он не домигрировал бы данные?

всё может быть, но я ставлю на заливку мимо

потому что балансировка там многоступенчатая

балансер сейчас в каком состоянии?

то есть я Вас правильно понимаю, Вы используя драйвер 3.6+ прописали подключение старого образца?

client=MongoClient(os.environ['database']) db=client.mydb users=db.users

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

балансер сейчас в каком состоянии?

сейчас балансит вторую коллекцию, его отключал на время первой разметки.

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

у меня с 3мя репликами тоже работает, с +srv только проблемы начинаются

сейчас балансит вторую коллекцию, его отключал на время первой разметки.

там чанки здоровые по гигу, он их почти по часу перекидывает

то есть я Вас правильно понимаю, Вы используя драйвер 3.6+ прописали подключение старого образца?

Видимо да

Но это не столь важно

Попробуй оба варианта, один должен заработать обязательно

Но это не столь важно

важно, потому что могут возникнуть проблемы потом с несовместимостью

Попробуй оба варианта, один должен заработать обязательно

со старым 3.4 работает как и у Вас, с новым нет +srv вообще никак

действия УПС

допустим даже была лажа, или касячк монги, всетаки старая уже, вопрос как мне починить данные? пока вижу только напрямую цепляться к шардам и оттуда данные тянуть и заново их заливать

со старым 3.4 работает как и у Вас, с новым нет +srv вообще никак

Тогда используй старый

допустим даже была лажа, или касячк монги, всетаки старая уже, вопрос как мне починить данные? пока вижу только напрямую цепляться к шардам и оттуда данные тянуть и заново их заливать

да, именно так

печальбеда