точнее как, выйдет конечно, но не факт что надёжно

Ну вообще они сами рекомендуют бекапы на уровне фс.

а сама база лочится во время шардинга?

даунтайм и вот это все есть?

там по ссылке всё есть

https://docs.mongodb.com/manual/reference/limits/#Sharding-Existing-Collection-Data-Size

во, нашел

короч пошардится лушче до того как коллекция станет террабайтной

ага. спасибо

а вот по конфиг серверам вопрос. Их какого размера делать? сколько на 1 терабайт, скажем, в основной базе приходится место на конфиг серверах?

Ну вообще они сами рекомендуют бекапы на уровне фс.

нет, они рекомендуют за бабки их Backup Agent использовать :)

а вот по конфиг серверам вопрос. Их какого размера делать? сколько на 1 терабайт, скажем, в основной базе приходится место на конфиг серверах?

они хуйню занимают

нет, они рекомендуют за бабки их Backup Agent использовать :)

Хз, в University не было ничего про backup agent

ну тоесть на 4Тб у меня кажется гига нет

Хз, в University не было ничего про backup agent

я университетов не кончал! :D

1 к 4 получается конфиг сервера расчитываются?

примерно

конфиг-сервера это теперь наконец тоже репликасет

количество конфигов влияет в основном на доступность, а не на производительность кластера

монгосы хранят карту шарда в памяти

из конфигов они читают только оплог изменений метаданных

в конфиги что-то пишется когда чанки меняются

интересует больше размер данных под конфиг сервера и насколько они к памяти требовательны?

яж говорю

то есть размер данных НА конфиг серверах

ну то есть 1 к 4 примерно?

не требовательны: дай им пару гигов памяти и гигов десять диска

1 чего к 4 чего?

ну ты написал, что у тебя 4тб и нет даже 1тб на конфиг серверах

даже нет 1гб 5)

ща проверю

а...точно. невниматеьно посмотрел)

Data Size: 78.1 MiB :D

а памяти? сколько?

На 7.9 TiB

На диске 3.31Тб

а памяти? сколько?

4 гига выделено на каждого

ок. ясно

Но надо учитывать что это не размер данных в кластере, а сумарный объём кластера

данных наверное тб

с гаком

или два

не знаю!

так а вот еще вопрос. Скажем у меня есть большая база, я ее удаляю, на месте нее дырка образуется. В нее потом дописыватся или придется дефрагментировать все вот это?

в wt нет дырок

или ты про фс?

это от фс зависит :)

про wt

есть там дырки, но он более умно с ними работает

когда ты дропаешь всю коллекцию — дырок нет :)

там просто файлы удаляется

не быть их не может

а, ну так-то да)

если мы про именно drop

но речь видимо про фс

нет. именно про wt. Если просто файл удаляется, то соответственно на фс место уменьшается

это хорошо

когда ты удаляешь коллекцию в wt удалются файлы. в wt сами данные и индексы в отдельных файлах хранятся

тоесть на каждую коллекцию обычно два файла: документы и _id индекс

если именно дефрагментировать диск, то наверно это через монгодамп делаеть надо

монгдамп на базе в 3 ТБ?

точнее не монгодамп, а удалением данных с репликасета и синхронизацией

если именно дефрагментировать диск, то наверно это через монгодамп делаеть надо

зачем?

чтоб последовательно лить в диск

не надо решать проблемы которой у тебя нет :)

наверно)

всем привет

а кто нибудь юзал redash под монгу?

@dd_bb а как запустить экспортер на mongod без sharded ?

# Only sharded is currently supported меня растраивает в конфиге

Это страшилка. Просто укажи один сервер в списке шардов

а три можно ? :)

Можно

а куда логопасы пихать ?

ох

ща скажу

в URI нотации писать

а

это я могу

там то что указано в массиве as-is в драйвер передаётся

возможно надо будет с указанием протокола писать (mongodb://...)

ок ок

Но у меня кажется плохая/хорошая новость

ой у меня такой трейс, какой только в жаве бывает

гистани

https://gist.github.com/freeseacher/80f96b6f0890bf0d734663b3f500c2a1

Этот экспортер я/мы развивать не будем, а сделаем из него отдельный hosted продукт. Пока с ценником не понятно, но думаю что базово будет $9/mo/node + настраиваемый по желанию ретеншен и архивация за деньги погигабайтно

а, да

говно трейс!

но его можно игнорировать :)

[TorqueBox::Web::Server] (main) Listening for HTTP requests on 0.0.0.0:8080

curl http://127.0.0.1:8080/metrics

Завершая мысль про продукт. Вобщем стало очевидно что дальше варианта два: нанимать ещё людей и делать из них dba ауторсеров или делать роботов, которые когда-то совсем заменят dba.

Решили пойти по второму пути и автоматизировать постепенно используемые подходы, чтоб это скейлилось на много заказчиков.

Но на первое время мы просто хотим сделать более глубокий и менее дорогой аналитический инструмент для монги.

эх. опять abandonware

жаль