и что там ? :)

там узнаешь много нового

как то такого желания раньше не возникало =)

Как получить записи из базы данных за определённый период?

ты имеешь в виду, что у тебя есть поле с датой и нужно отфильтровать документы по этому полю?

ты имеешь в виду, что у тебя есть поле с датой и нужно отфильтровать документы по этому полю?

Да

$gte и $lt

Покажешь на примере?

items.find({ created_at: { $gte: ISODate("2010-04-29T00:00:00.000Z"), $lt: ISODate("2010-05-01T00:00:00.000Z") } })

=)

https://stackoverflow.com/questions/2943222/find-objects-between-two-dates-mongodb

Спасибо

ISODate is not defined

ты на ноде чтоль пишешь?

Ну да

new Date('2014-01-22T14:56:59.301Z')

Окей

Спасибо, заработало

привет все. а расскажите про oplog. размера по дефолту 50gb уже мало и время между репликами хотелось бы увеличить. Какие плюсы минусы, подводные камни? oplog Живет в оперативной памяти? будет вытеснять индексы? или можно увеличивать сколько влезет?

Это capped коллекция, не помню чтоб у неё принципиально отличалось поведение от других. Если нужно увеличить — увеличивай. Можно попробовать увеличить только на отдельной скрытой ноде, но я не помню могут ли остальные участники читать оплог со скрытых нод. Но это просто проверятся на тестовом столе.

оплог надо учеличивать на каждом хосте отдельно же

Но не обязательно на всех иметь равный размер

и у монги есть мануал про это

Но не обязательно на всех иметь равный размер

довольно хитрый способ стрельнуть себе в ногу

Чем стрельнуть то?

Даже полностью утерянный оплог не приводит к потере данных. Единственное что будет результатом — полная синхронизация любого нового участника.

В смысле не нового что пустого, а выпавшего из кластера.

хм. я всегда считал что порядок применения оплога сначала скачали себе потом проиграли. к тому же есть рекомендации в продуктовой среде держать journal и index на отдельных раздела для ускорения оных. поэтому я выделяю раздел некоторого объема скажем 30 гигов под журнал. и если на одной из нод он будет 200 гигов то возможна ситуация когда раздел будет переполен.

так вот соображаю я

Журнал и оплог — разные вещи.

Журнал он про сторадж, а оплог он про репликацию

хм. да ?

я всегда был уверен что это две стороны одной медали

Они пересекаются конечно, но по своей сути это разные вещи.

Ну вот в write concern два флага. Один про журнал, второй по сути про оплог

В wt вообще без журнала можно спокойно и репликация никуда не денется.

Собственно вопрос в том, насколько больше от увеличения оплога будет использоваться оперативная память и, как следствие вытесняться индексы и тп

Собственно вопрос в том, насколько больше от увеличения оплога будет использоваться оперативная память и, как следствие вытесняться индексы и тп

если у тебя там не сотни нод, то никак

из коллекции в нормальном состоянии читается только хвост, так что никаких видимых изменений не будет

если бы оплог как-то существенно мешал, то на 50 гигабайтах его уже было бы видно

Ясно, понятно

эти 50 гигабайт — лимит размера capped collection

увеличение размера влияет только на то, когда из начала коллекции данные удаляются

увеличение размера влияет только на то, когда из начала коллекции данные удаляются

Мне как раз и нужно увеличить время даунттайма если что

короч ответ на твой вопрос: значительно на всё остальное не повлияет, будет занимать больше места на диске, за счёт увеличения размера коллекции и как следствия индекса, может на уровне погрешности измерений увеличится время необходимое для поиска и удаления документов в начале коллекции.

в памяти футпринт не изменится

Ок. Спасибо

и чот мне кажется 50 гигов не дефолт

дефолт там какой то процент от диска

это предел по дефолту

5% но не более 50гб

(с 5% могу врать)

https://docs.mongodb.com/manual/core/replica-set-oplog/#oplog-size

Ваще очень печалит что нельзя динамически увеличивать размер оплога. Например перед выводом ноды на обслуживание, ставишь unlimited и спокойно выводишь. После завершения обслуживания, ставишь по дефолту и ненужное отбрасывается.

О

https://jira.mongodb.org/browse/SERVER-22766

Ничоси

Прям в 3.6 какие-то неземные количества свэга будут

даешь 3,5,10 в продакшон

230 additions and 84 deletions.

А для монги есть что-то, чтоб миграции делать? Юзаю mongoose.

А для монги есть что-то, чтоб миграции делать? Юзаю mongoose.

А зачем там миграции?

А зачем там миграции?

Ну вот поменял я модель. Перезапускаю приложение и что будет с данными в БД?

Сменил тип со стринга на булеан. Как мне без миграции быть?

Я не сразу понял, про что ты.

https://github.com/balmasi/migrate-mongoose Я знаю вот такую штуку, но сам не пользовался.

https://github.com/balmasi/migrate-mongoose Я знаю вот такую штуку, но сам не пользовался.

Щас с телефона, но вечером попробую. Спасибо.

Щас с телефона, но вечером попробую. Спасибо.

Я когда-то тоже искал, из всех вариантов этот единственный хранит статус миграции. Может уже новые есть, я не знаю.

Сменил тип со стринга на булеан. Как мне без миграции быть?

Идти по простому принципу: «ничего не удаляется, только добавляется». Создаёшь новый атрибут, в существующих моделях значение генерируешь из старого.

Идти по простому принципу: «ничего не удаляется, только добавляется». Создаёшь новый атрибут, в существующих моделях значение генерируешь из старого.

Есть модель user. Есть свойство id тип number. Меняю тип, но имя оставляю id. Что откуда генерировать?

Суть в том, чтоб НЕ трогать старые атрибуты вообще.

Т.е. ты делаешь новый атрибут sid

Как его наполнить в существующих документах: от одного запроса с $set, до перебора всех документов и последовательным update каждого — в зависимости от условий и сложности.

Менять тип существующих атрибутов — путь к граблям глубокого залегания.

Напомню что к документным субд понятное схемы не применимо на уровне субд. «Схема» делегируете полностью в бизнес логику.

Привет всем. Внезапно моргнуло железо, получил hard reset. Монга при старте уже несколько часов висит вот с этим в логах: 2017-08-26T17:58:34.404+0300 W - [initandlisten] Detected unclean shutdown - /mnt/data/mongodb/mongod.lock is not empty. 2017-08-26T17:58:34.404+0300 W STORAGE [initandlisten] Recovering data from the last clean checkpoint. 2017-08-26T17:58:34.404+0300 I STORAGE [initandlisten] wiredtiger_open config: create,cache_size=150G,session_max=20000,eviction=(threads_max=4),config_base=false,statistics=(fast),log=(enabled=true,archive=true,path=journal,compressor=snappy),file_manager=(close_idle_time=100000),checkpoint=(wait=60,log_size=2GB),statistics_log=(wait=0), Это она что-то восстанавливает? или уже все и надо ресинхронизировать ноду? или просто удаление локфайла решит проблему?

Привет всем. Внезапно моргнуло железо, получил hard reset. Монга при старте уже несколько часов висит вот с этим в логах: 2017-08-26T17:58:34.404+0300 W - [initandlisten] Detected unclean shutdown - /mnt/data/mongodb/mongod.lock is not empty. 2017-08-26T17:58:34.404+0300 W STORAGE [initandlisten] Recovering data from the last clean checkpoint. 2017-08-26T17:58:34.404+0300 I STORAGE [initandlisten] wiredtiger_open config: create,cache_size=150G,session_max=20000,eviction=(threads_max=4),config_base=false,statistics=(fast),log=(enabled=true,archive=true,path=journal,compressor=snappy),file_manager=(close_idle_time=100000),checkpoint=(wait=60,log_size=2GB),statistics_log=(wait=0), Это она что-то восстанавливает? или уже все и надо ресинхронизировать ноду? или просто удаление локфайла решит проблему?

Мне кажется, тебе нужен --repair.

У меня такое было на standalone, на реплике наверное другая процедура.

в документации сказано не использовать repair, если это репликасет

Да, я не написал сразу, что я про standalone.

Отвечу сам себе. В это время происходит все-таки восстановление. Нода прочихалась и запустилась...в общей сложности так висела 6ч с одним перезапуском по SIGTERM.

Отвечу сам себе. В это время происходит все-таки восстановление. Нода прочихалась и запустилась...в общей сложности так висела 6ч с одним перезапуском по SIGTERM.

А что за диск где у монги данные лежат? И какой размер данных? 6ч это огого

Напомню что к документным субд понятное схемы не применимо на уровне субд. «Схема» делегируете полностью в бизнес логику.

Есть где подробней почитать об этом?

У ноды есть IPv6 и IPv4, есть ли возможность добавить её в репликасет под ОБОИМИ ip одновременно (видимо не как 2 ноды, а как одна с 2 ip) ? Если - нет, получается реплика сет м.б. только чисто под IPv6 или чисто под IPv4 - в чём идея такой одноадресности в условиях плавного перехода к Ipv6?

спасибо

У ноды есть IPv6 и IPv4, есть ли возможность добавить её в репликасет под ОБОИМИ ip одновременно (видимо не как 2 ноды, а как одна с 2 ip) ? Если - нет, получается реплика сет м.б. только чисто под IPv6 или чисто под IPv4 - в чём идея такой одноадресности в условиях плавного перехода к Ipv6?

Не надо по IP добавлять. Идея в том, что в документации много раз подчёркнуто что надо DNS использовать. А там две записи A и AAAA

понял, спасибо, понятно

я в DNS не люблю серваки добавлять... что бы боты не стучались

они как на моём домене видят третий уровень, так начинают всё долбить обдалбывать

А что за диск где у монги данные лежат? И какой размер данных? 6ч это огого

Диски 7200 в Raid10. Данных 2.5 тб

Как-то долго все равно. А дисками только монга пользуется или кто-то еще?

Если она висела в STARTUP2, то ничего удивительного