я их боюсь они появились после переезда на 3.6, и я часто вижу их в слоулоге, причем в достаточно ужасном виде

2019-01-30T09:10:18.989-0800 I COMMAND [conn1934831] command config.$cmd command: update { update: "system.sessions", bypassDocumentValidation: false, ordered: false, updates: 34, shardVersion: [ Timestamp(1, 0), ObjectId('5c2dd1184ef40a010c55d89e') ], writeConcern: { w: "majority", wtimeout: 15000 }, $clusterTime: { clusterTime: Timestamp(1548868203, 21681), signature: { hash: BinData(0, A03D5C3BDB733F3D0C6A963E632A5FB7EAA1BC25), keyId: 6642193839824047513 } }, $configServerState: { opTime: { ts: Timestamp(1548868203, 21400), t: 45 } }, $db: "config" } numYields:0 reslen:1387 locks:{ Global: { acquireCount: { r: 68, w: 68 } }, Database: { acquireCount: { w: 68 } }, Collection: { acquireCount: { w: 34 } }, oplog: { acquireCount: { w: 34 } } } protocol:op_msg 15010ms

я их боюсь они появились после переезда на 3.6, и я часто вижу их в слоулоге, причем в достаточно ужасном виде

потому что в 3.6 появились сессии и в этой _системной_ коллекции хранится список открытых

пологаю её нельзя удалть

вообще system.* неймспйс не стоит трогать

эт да думал мож крутилки есть, которые я не заметил :)

пишут, что do not drop it manually значит както можно не manually :)

зачем

а зачем она делает долгие операции? 15010ms чем-то заниматься надо. я ее боюсь :)

со страхами это к психотерапевту, очень помогает!

поэтому я и здесь :))

не, у нас тут плохая терапия

как вас послушаю - почти всегда отпускает. ну, не знаю мне обычно помогает :)

опять-же, проблема судя по всему не в коллекции, а в том, что writeConcern: { w: "majority", wtimeout: 15000 },

а majority похоже отстаёт больше чем на 15с

это легко может быть 15 секунд - вообще ни о чем рестарт сервера - и можно отставать долго-долго.

вон даже сейчас - выключение secondary уже скоро час будет идти. ну вот как такое может быть? где я накриворучил?

вон даже сейчас - выключение secondary уже скоро час будет идти. ну вот как такое может быть? где я накриворучил?

это не накриворучено, это нехватка capacity

вероятно сумарной ёмкости хватает, но нагрузка неравномерно размазана

все проблемы с праймари шардом?

все проблемы с праймари шардом?

да, нагрузка большей частью именно на нём.

зонирование и ребалансировка, и будет лучше

и вот сейчас primary в одиночку трудится, то есть из оплога никто не читает, но диск "вставлен" посмотрел в процессы внутри базы - ктото умудрился запустить поиск по коллекции а там минимальный индекс - 35 гиг кто хочешь с ума сойдет

зонирование и ребалансировка, и будет лучше

да, понимаю спасибо уже тут совет назначил, буду форсить.

Ребята, может кто разбирается в Digital Ocean, хочу разделить бд на разные дроплеты, но не знаю с чего начать. Есть сервис Spaces, правильно ли будет к нему привязать, как место хранения данных? Если да, то как это должно выглядеть в идеале? Интересует отказоустойчивость при падении одного сервера, если что.

То-есть, я думаю правильно будет хранить файлы в сервисе Spaces, так как его память расширяется легко, а на "жёстких дисках" серверов ничего не хранить кроме конфигов

То-есть, я думаю правильно будет хранить файлы в сервисе Spaces, так как его память расширяется легко, а на "жёстких дисках" серверов ничего не хранить кроме конфигов

Spaces для базы плохая идея

а, это даже не подключаемый диск, это просто объектное хранилище, оно даже теоретически не может работать с монгой

То-есть, я думаю правильно будет хранить файлы в сервисе Spaces, так как его память расширяется легко, а на "жёстких дисках" серверов ничего не хранить кроме конфигов

Вам нужны https://www.digitalocean.com/docs/volumes/

Spaces это аналог s3

То-есть, я думаю правильно будет хранить файлы в сервисе Spaces, так как его память расширяется легко, а на "жёстких дисках" серверов ничего не хранить кроме конфигов

проще всего будет найти дроплет с нужным объемом диска и сделать, например, реплика сет между 3мя такими дроплетами

Всем спасибо за ответы, volumes должны подойти, я ещё почитаю позднее

Запилили вторую версию плейграунда. Теперь кроме агрегаций, доступен ещё и find. И можно форкать и шарить с друзьями! Ломайте ещё сильнее: https://play.db-ai.co Если вам чего-то в плейграунде не хватает — пишите. Очень хочется сделать удобный инструмент

Привет, вот такая фигня, если вкратце: https://serverfault.com/questions/951640/wiredtiger-storage-engine-reports-a-large-number-of-rollbacks-in-mongodb

Привет, вот такая фигня, если вкратце: https://serverfault.com/questions/951640/wiredtiger-storage-engine-reports-a-large-number-of-rollbacks-in-mongodb

кроме психологического эффекта, цифры какой-то реальный оказывают?

кроме психологического эффекта, цифры какой-то реальный оказывают?

Пока непонятно

скорее всего это роллбэк при конфликте записи

findAndModify какойнибудь, который куча клиентов одновременно по похожим документам делают

Да у нас нет такого количества записей

так это не 1 к 1 с операциями монги же

на уровне коллекции есть метрика transaction.update conflicts

а, тьфу, на уровне сервера тоже есть

Угу Их там 578

На весь сервер на весь период

А роллбэков за то же время 2.5 миллиарда

это перкона я так понимаю?

это перкона я так понимаю?

Да

@dd_bb подскажите, пожалуйста, если ничего не путаю, то вы рассказывали что mongo умеет слать callback вызовы мониторя вставку или обновление данных в коллекции? если я не сошел с ума, ткните, пожалуйста, носом в доку где можно почитать подробнее? а если сошел, то ткините носом в мое сумашествие)))

@dd_bb подскажите, пожалуйста, если ничего не путаю, то вы рассказывали что mongo умеет слать callback вызовы мониторя вставку или обновление данных в коллекции? если я не сошел с ума, ткните, пожалуйста, носом в доку где можно почитать подробнее? а если сошел, то ткините носом в мое сумашествие)))

С ограничениями, да. https://docs.mongodb.com/manual/changeStreams

Да

Заведи у них тикет. Скорее всего это они напатчили там

спасибо огромное, ушел читать

Здравствуйте подскажите как в конфиг файле указать диапазон айпи адресов?

Роллбэки в wt это нормально. Если что-то логически пошло не так, изменение роллбэчится и потом операция повторяется. Постой пример это конфликт при записи. Если других эффектов на систему нет, то это не дефект. Нужно больше данных чтоб понять приникну, но я ставлю на то что это плата за преконовсокое бесплатное ;) и не удивлюсь если они начнут поддержку впаривать за деньги.

Здравствуйте подскажите как в конфиг файле указать диапазон айпи адресов?

Повесить на 0.0.0.0. Ну или через запястную перечислить все адреса

Повесить на 0.0.0.0. Ну или через запястную перечислить все адреса

можно по подробней объяснить что значит провести на 0.0.0.0

Это значит указать в bindIp адрес 0.0.0.0

В этом случае монга будет слушать на всех адресах

это значит слушать все?

ага, понял

Да

Если IPv6 то надо ещё :: добавить

а конкретно указать диапазон нельзя никак ?!

Или использовать bindIpAll

Через запятую каждый адрес

например 192.168.1.0 - 192.168.1.10

Зачем вам диапазон?

У вас на хосте целая подсеть адресов?

да

Но зачем

тестовая

0.0.0.0 ваш выбор

Либо ручками вбивать адреса

ок, спасибо

понял

{ type: [Schema.Types.ObjectId] }

максимально тупой вопрос, но могут ли в разных коллекциях быть одинаковые ObjectID? :D

максимально тупой вопрос, но могут ли в разных коллекциях быть одинаковые ObjectID? :D

Да

Да

отлично, спасибо :)

Доброго веремени суток. Есть вопрос по восстановлению бд из дампа реплика сета. Кто-нибудь может подсказать из-за чего восстановление может зависать наглухо и без всяких логов?

Доброго веремени суток. Есть вопрос по восстановлению бд из дампа реплика сета. Кто-нибудь может подсказать из-за чего восстановление может зависать наглухо и без всяких логов?

хм, локально нашел решение. При восстановлении из архива —archive=./dump.gz знак равенства обязателен. Но вот при попытке отдать туда стрим, все равно зависает