оплог надо учеличивать на каждом хосте отдельно же

Но не обязательно на всех иметь равный размер

и у монги есть мануал про это

Но не обязательно на всех иметь равный размер

довольно хитрый способ стрельнуть себе в ногу

Чем стрельнуть то?

Даже полностью утерянный оплог не приводит к потере данных. Единственное что будет результатом — полная синхронизация любого нового участника.

В смысле не нового что пустого, а выпавшего из кластера.

хм. я всегда считал что порядок применения оплога сначала скачали себе потом проиграли. к тому же есть рекомендации в продуктовой среде держать journal и index на отдельных раздела для ускорения оных. поэтому я выделяю раздел некоторого объема скажем 30 гигов под журнал. и если на одной из нод он будет 200 гигов то возможна ситуация когда раздел будет переполен.

так вот соображаю я

Журнал и оплог — разные вещи.

Журнал он про сторадж, а оплог он про репликацию

хм. да ?

я всегда был уверен что это две стороны одной медали

Они пересекаются конечно, но по своей сути это разные вещи.

Ну вот в write concern два флага. Один про журнал, второй по сути про оплог

В wt вообще без журнала можно спокойно и репликация никуда не денется.

Собственно вопрос в том, насколько больше от увеличения оплога будет использоваться оперативная память и, как следствие вытесняться индексы и тп

Собственно вопрос в том, насколько больше от увеличения оплога будет использоваться оперативная память и, как следствие вытесняться индексы и тп

если у тебя там не сотни нод, то никак

из коллекции в нормальном состоянии читается только хвост, так что никаких видимых изменений не будет

если бы оплог как-то существенно мешал, то на 50 гигабайтах его уже было бы видно

Ясно, понятно

эти 50 гигабайт — лимит размера capped collection

увеличение размера влияет только на то, когда из начала коллекции данные удаляются

увеличение размера влияет только на то, когда из начала коллекции данные удаляются

Мне как раз и нужно увеличить время даунттайма если что

короч ответ на твой вопрос: значительно на всё остальное не повлияет, будет занимать больше места на диске, за счёт увеличения размера коллекции и как следствия индекса, может на уровне погрешности измерений увеличится время необходимое для поиска и удаления документов в начале коллекции.

в памяти футпринт не изменится

Ок. Спасибо

и чот мне кажется 50 гигов не дефолт

дефолт там какой то процент от диска

это предел по дефолту

5% но не более 50гб

(с 5% могу врать)

https://docs.mongodb.com/manual/core/replica-set-oplog/#oplog-size

Ваще очень печалит что нельзя динамически увеличивать размер оплога. Например перед выводом ноды на обслуживание, ставишь unlimited и спокойно выводишь. После завершения обслуживания, ставишь по дефолту и ненужное отбрасывается.

О

https://jira.mongodb.org/browse/SERVER-22766

Ничоси

Прям в 3.6 какие-то неземные количества свэга будут

даешь 3,5,10 в продакшон

230 additions and 84 deletions.

А для монги есть что-то, чтоб миграции делать? Юзаю mongoose.

Ну вот поменял я модель. Перезапускаю приложение и что будет с данными в БД?

Сменил тип со стринга на булеан. Как мне без миграции быть?

Щас с телефона, но вечером попробую. Спасибо.

Сменил тип со стринга на булеан. Как мне без миграции быть?

Идти по простому принципу: «ничего не удаляется, только добавляется». Создаёшь новый атрибут, в существующих моделях значение генерируешь из старого.

Идти по простому принципу: «ничего не удаляется, только добавляется». Создаёшь новый атрибут, в существующих моделях значение генерируешь из старого.

Есть модель user. Есть свойство id тип number. Меняю тип, но имя оставляю id. Что откуда генерировать?

Суть в том, чтоб НЕ трогать старые атрибуты вообще.

Т.е. ты делаешь новый атрибут sid

Как его наполнить в существующих документах: от одного запроса с $set, до перебора всех документов и последовательным update каждого — в зависимости от условий и сложности.

Менять тип существующих атрибутов — путь к граблям глубокого залегания.

Напомню что к документным субд понятное схемы не применимо на уровне субд. «Схема» делегируете полностью в бизнес логику.

Привет всем. Внезапно моргнуло железо, получил hard reset. Монга при старте уже несколько часов висит вот с этим в логах: 2017-08-26T17:58:34.404+0300 W - [initandlisten] Detected unclean shutdown - /mnt/data/mongodb/mongod.lock is not empty. 2017-08-26T17:58:34.404+0300 W STORAGE [initandlisten] Recovering data from the last clean checkpoint. 2017-08-26T17:58:34.404+0300 I STORAGE [initandlisten] wiredtiger_open config: create,cache_size=150G,session_max=20000,eviction=(threads_max=4),config_base=false,statistics=(fast),log=(enabled=true,archive=true,path=journal,compressor=snappy),file_manager=(close_idle_time=100000),checkpoint=(wait=60,log_size=2GB),statistics_log=(wait=0), Это она что-то восстанавливает? или уже все и надо ресинхронизировать ноду? или просто удаление локфайла решит проблему?

в документации сказано не использовать repair, если это репликасет

Отвечу сам себе. В это время происходит все-таки восстановление. Нода прочихалась и запустилась...в общей сложности так висела 6ч с одним перезапуском по SIGTERM.

Отвечу сам себе. В это время происходит все-таки восстановление. Нода прочихалась и запустилась...в общей сложности так висела 6ч с одним перезапуском по SIGTERM.

А что за диск где у монги данные лежат? И какой размер данных? 6ч это огого

Напомню что к документным субд понятное схемы не применимо на уровне субд. «Схема» делегируете полностью в бизнес логику.

Есть где подробней почитать об этом?

У ноды есть IPv6 и IPv4, есть ли возможность добавить её в репликасет под ОБОИМИ ip одновременно (видимо не как 2 ноды, а как одна с 2 ip) ? Если - нет, получается реплика сет м.б. только чисто под IPv6 или чисто под IPv4 - в чём идея такой одноадресности в условиях плавного перехода к Ipv6?

спасибо

У ноды есть IPv6 и IPv4, есть ли возможность добавить её в репликасет под ОБОИМИ ip одновременно (видимо не как 2 ноды, а как одна с 2 ip) ? Если - нет, получается реплика сет м.б. только чисто под IPv6 или чисто под IPv4 - в чём идея такой одноадресности в условиях плавного перехода к Ipv6?

Не надо по IP добавлять. Идея в том, что в документации много раз подчёркнуто что надо DNS использовать. А там две записи A и AAAA

понял, спасибо, понятно

я в DNS не люблю серваки добавлять... что бы боты не стучались

они как на моём домене видят третий уровень, так начинают всё долбить обдалбывать

А что за диск где у монги данные лежат? И какой размер данных? 6ч это огого

Диски 7200 в Raid10. Данных 2.5 тб

Как-то долго все равно. А дисками только монга пользуется или кто-то еще?

Если она висела в STARTUP2, то ничего удивительного

Как-то долго все равно. А дисками только монга пользуется или кто-то еще?

Только монга. Я смотрел дисковую активность во время восстановления. Она была никакая. Что-то в килобитах...

Если она висела в STARTUP2, то ничего удивительного

не, она ж не может быть в стартап. в это время демона даже нет, к нему не подключиться вроде так

Если она висела в STARTUP2, то ничего удивительного

Она висела в "not available" или как-то так...

А, она на этой части лога так и висела?

Она висела в "not available" или как-то так...

это ее так мастер видел. точнее, "не видел" :) я бы, конечно, попытался такое повторить, если есть возможность. 6 часов! чем она занята-то такое время

А покажи что в итоге в логе?

Монга какой версии?

Во время восстановления я этот процесс завершил по SIGTERM, чтобы включить verbose 5 логах. Но это никак не дало ничего. Сообщение было такое же. Только потом когда поднялась, посыпался дебаг. Монга версии 3.2.9

Лог позже покажу если там что-то будет.

3.2.9 это очень старая версия. Но багу с журналом поправили где-то немного раньшеь

это ее так мастер видел. точнее, "не видел" :) я бы, конечно, попытался такое повторить, если есть возможность. 6 часов! чем она занята-то такое время

А зачем? Если бы она что-то писала хотя бы, так она висела как партизан 6 часов. Я даже strace'ом к процессу цеплялся, но там тоже ничего такого про процесс восстановления.

А зачем? Если бы она что-то писала хотя бы, так она висела как партизан 6 часов. Я даже strace'ом к процессу цеплялся, но там тоже ничего такого про процесс восстановления.

идея в том, что 6 часов - это оч много, как на мой взгляд. И никогда я даже близко таких значений не видел, хотя своими кривульками укладывал ее не единожды если она диском не крутила, то чем же она занималась-то? Вот это и интересно.

идея в том, что 6 часов - это оч много, как на мой взгляд. И никогда я даже близко таких значений не видел, хотя своими кривульками укладывал ее не единожды если она диском не крутила, то чем же она занималась-то? Вот это и интересно.

Интересно, но как определить что она там делает? Verbose 5 ничего не показывает.

логи бы. если оно диском не крутит и проц не юзает - то чего-то же ждёт чудес не бывает.

Интересно, но как определить что она там делает? Verbose 5 ничего не показывает.

Оно жевало журналы