из ерора ясно что в configdb нужен конфиг для реплики

но где и как указать не могу понять

хелп пожалуйста

и как тогда поднимать конфиг сервер ?

https://docs.mongodb.com/manual/tutorial/deploy-shard-cluster/

Пошагово руководство же

окей, реплика - копия, а можно шардировать колекцию без реплик ?

Можно.

https://docs.mongodb.com/manual/tutorial/deploy-sharded-cluster-hashed-sharding/#deploy-hashed-sharded-cluster-shard-collection оно ?

Просто в етом руководстве тоже надо реплики настраивать

Hello

Просто в етом руководстве тоже надо реплики настраивать

А можете поделиться рецептами, как обеспечивается отказоустойчивость в sharded кластере? По реплике на каждый шард? Нет варианта поднять, скажем, 1-2 толстые реплики с hdd для нескольких небольших шардов на ssd?

Если вопрос адресован мне, то я сам пока разбираюсь

@dd_bb не подскажешь?

Просто в етом руководстве тоже надо реплики настраивать

Можно только одну настроить

А можете поделиться рецептами, как обеспечивается отказоустойчивость в sharded кластере? По реплике на каждый шард? Нет варианта поднять, скажем, 1-2 толстые реплики с hdd для нескольких небольших шардов на ssd?

Да, увеличением числа нод а шарде

предположим он повредился по каким либо причинам, будет ли как в кассандре из-за этого проблема с базой?

Повреждение журнала это нештатная ситуация

В целом на целостность самого хранилища это не должно влиять. Хранилища можно из без журналов эксплуатировать. Но эффекты могут непредсказуемые.

Да, увеличением числа нод а шарде

А есть какие-нибудь готовые схемы распределения нод по n серверов?

Так нода и есть сервер с монгой

есть ли в методе mongo.sort вещь схожая с найти value больше n, найти value меньше n у определенного ключа?

просто есть коллекция с n-нным количеством объектов(может быть 100,200,1000) и в каждом объекте 4 ключ-значение И вот допустим надо из этой коллекции в другую коллекцию копировать некоторых объекты у которых определенный ключ будет больше или меньше n

и вот как бы доставать весь массив и уже потом парсить весьма долгая идея, поэтому по хорошему бы делать это еще в монге

Есть массив в элементе коллекции. У каждого элемента есть _id:{version:num, uuid:uuid}. Можно ли как-то вытащить элемент только с максимальной версией?

В идеале - без unwind, который мне не нравится (не хочу еще раз писать все мапперы )

Так нода и есть сервер с монгой

А варианты со сдвигом слейвов? На одной ноде мастер и слейв от другой

А варианты со сдвигом слейвов? На одной ноде мастер и слейв от другой

В чём смысл?

Смысл в жизни как таковой

Ребят, привет. Кто-нибудь решал вопрос архивирования монги? сейчас бд почти 100гб, проблематично ее эксплуатировать становится.

может есть какие то мануалы или бэст практисы

Что значит «архивирование»?

Добрый день! Есть вопрос. Есть 3 сервера с монгой. Два в локальной сети, один во внешней. Задача добавить ещё один в реплику (четвёртый). Базы большие, больше 150гб. Хочеться понять как пойдёт трафик на новую реплику, с ближайшего или с primary?

Добрый день! Есть вопрос. Есть 3 сервера с монгой. Два в локальной сети, один во внешней. Задача добавить ещё один в реплику (четвёртый). Базы большие, больше 150гб. Хочеться понять как пойдёт трафик на новую реплику, с ближайшего или с primary?

https://docs.mongodb.com/manual/tutorial/configure-replica-set-secondary-sync-target/

По-умолчанию выбор происходит автоматически. Обычно оно ориентируется на задержку между нодами и выбирает источник с меньшей задержкой. Но это не гарантирует что источник не поменяется. Если нужно сделать чтоб начальная синхронизация была с какой-то конкретной ноды, то по ссылке выше инструкция.

Добрый день! Есть вопрос. Есть 3 сервера с монгой. Два в локальной сети, один во внешней. Задача добавить ещё один в реплику (четвёртый). Базы большие, больше 150гб. Хочеться понять как пойдёт трафик на новую реплику, с ближайшего или с primary?

150 гб большая база??

Хотя на мой взгляд проще сделать снепшот с реплики и из него восстановить новую. 150 гигов хоть и ничтожно мало, но через initial sync будут медленно литься.

Oplog window должно быть достаточно чтоб из снепшота поднять

Хотя на мой взгляд проще сделать снепшот с реплики и из него восстановить новую. 150 гигов хоть и ничтожно мало, но через initial sync будут медленно литься.

а в кассандре реплика быстро делалась и в hbase

а в кассандре реплика быстро делалась и в hbase

Тут чят про монгу. Письками можно в другом месте мерятся

Тут чят про монгу. Письками можно в другом месте мерятся

я не про это, просто странно, WT везде и много схожих вещей

https://docs.mongodb.com/manual/tutorial/configure-replica-set-secondary-sync-target/

т.е. последовательность действий такая: 1. Добавить монгу на новом сервере в реплику у primary, 2. Запустить на новом сервере rs . syncFrom ( "hostname <: port>" );

я не про это, просто странно, WT везде и много схожих вещей

Нет никакого смысла сравнивать разные решения на базе wt. wt просто сторадж

т.е. последовательность действий такая: 1. Добавить монгу на новом сервере в реплику у primary, 2. Запустить на новом сервере rs . syncFrom ( "hostname <: port>" );

Нужно убедиться что новая реплика не начала синхронизироваться перед выполнением второго пункта.

Нужно убедиться что новая реплика не начала синхронизироваться перед выполнением второго пункта.

Может можно как-то назначить с чем проводить первоначальную синхронизацию?

Если ничего не изменилось, то нет. iptables или игра «выстрели одновременно». На мастере rs.add и сразу стрелять syncFrom на вторичном

Если ничего не изменилось, то нет. iptables или игра «выстрели одновременно». На мастере rs.add и сразу стрелять syncFrom на вторичном

А если после добавления ноды, потушить primary?

Но зачем

Я ещё раз порекомендую из снепшота восстановить

Чтоб пошёл на тот что ближе, с primary канал <20 mbit, а с другой нодой 1000

Остановить реплику, сделать копию или снепшот dbPath и запустить реплику обратно. Дальше dbPath перенести на новый сервер и там настроить реплику уже с готовым dbPath. Начальная синхронизация не потребуется

Там скорее всего replication window несколько дней, если не недель

С гигабитом это займёт меньше часа

http://www.oracle.com/technetwork/security-advisory/alert-cve-2017-10151-4016513.html ?

The vulnerability is that the Oracle Identity Manager system user account (OIMINTERNAL) can be accessed using the default password through the Oracle WebLogic server. As this is a highly privileged user, the entire Identity Manager environment can be completely compromised via an unauthenticated network attack.

Что значит «архивирование»?

выпиливание данных допустим больше 6 мес на архивный монго сервер

Читай про шардирование по зонам.

Правда у этого есть подводные камни, так как придётся делать дату префиксом ключа и если данных льётся много, надо будет руками предразбивать и балансировать чанки

а если на шардированная монга ? ?

все очень плохо ?)))))))))

Ты спрашивал про best practice, я тебе ответил. Если не шардированая, то делай на уровне приложения как хочешь.

спасибо. ?

Я тут внезапно в Москве

надолго ?

Недели три

@dd_bb https://docs.mongodb.com/manual/release-notes/3.4/ вышел 3.4.10

Stable: 3.4.10 (Oct 31, 2017), Bugfix: 3.2.17 (Sep 28, 2017) 3.4.10: https://docs.mongodb.com/manual/release-notes/3.4/#oct-31-2017 3.2.17: https://docs.mongodb.com/manual/release-notes/3.2/#sept-28-2017 Пришло время обновляться до 3.4.1+: https://aphyr.com/posts/338-jepsen-mongodb-3-4-0-rc3

В следующий раз можешь просто скопировать это сообщение, обновить там всё и я припиню

окей

второй раз попал =)

на самом деле бота бы, чтоб он сам

А в ДС есть какие-то площадки где можно, простихосподи, МИТАП провести?

ща спрошу

а то собрались бы, а я бы про монгу рассказал

коворкинг телеграф, вроде там можно

яб сходил, да я в регионе =(

это там где слон/республика сидит?

возможно, я не в курсе( он вот тут Address: Tverskaya St, 7, Moskva я правда был там всего лишь один раз, но вроде коворкинг как коврогин

там зал на 400 человек за 200к

а в самом коворкинге там нет места под встречи. но можно уточнить

а стрим будет?

надо сначала понять где вообще места есть

ща ссылку дадут =)

а, у них там поменьше на 50 человек за 36к есть

Недели три

о, я буду на след недели возможно в МСК

даешь москоу монго митап )

а то собрались бы, а я бы про монгу рассказал

а чо а чо

сколько человек

какие сроки

мы в кроке два раза хостили авс митап

а, у них там поменьше на 50 человек за 36к есть

я тебе в Хабаровске могу изи площадку организовать забесплатно

наверное можно и монгу