@MongoDBRussian
Alex02.11.2016
18:35:15
18:35:15
Да тоже не всегда просто, когда база 700гигов.
[Anonymous]02.11.2016
18:35:37
18:35:37
var col = "transactions_original";
var bulk = db.getCollection(col).initializeUnorderedBulkOp();
var i = 0;
var pipe = [{$match: {}}];
db.getCollection(col)
.aggregate(pipe, {allowDiskUse: true})
.forEach(function(item) {
var a = item.tr_datetime
.split(" ")[1]
.split(":");
var seconds = (+a[0]) * 60 * 60 + (+a[1]) * 60 + (+a[2]);
bulk.find({ "_id" : item._id })
.updateOne(
{ $push: {
"train_set.input" : {
$each: [
item.customer_id/1000000000,
item.tr_datetime.split(" ")[0]/1000,
seconds/100000,
item.mcc_code/10000,
item.tr_type/10000,
(item.amount+145984525.17)/300000000
]
}
}
}
);
});
bulk.execute();
Так я не понял, почему просто не обновить все поля в базе? db.collection.update() и $set?Да тоже не всегда просто, когда база 700гигов.
Кстати, я уже спрашивал, но когда-то давно - а что делать, если на реплике заканчивается место?Alex02.11.2016
18:36:57
18:36:57
Кстати, я уже спрашивал, но когда-то давно - а что делать, если на реплике заканчивается место?
а какие варианты? или расширять место или выносить данные :)Google[Anonymous]02.11.2016
18:37:07
18:37:07
Вот, а куда их можно "вынести"? Можно подробнее?
Добавить места - это понятно. Но и там до разумных пределов.
Alex02.11.2016
18:39:02
18:39:02
Вот, а куда их можно "вынести"? Можно подробнее?
Ну. Мы выносили по коллекциям на другие сервера с монгой. Не шардинг, а прямо отдельный инстанс. Ну и самописный шайтан- демон , который знает где какие данные лежат. Но это шаманство. ?
Serg02.11.2016
18:39:41
18:39:41
это прям хз
Alex02.11.2016
18:39:58
18:39:58
Вертикально расширяться никак
в сервере нет места под диски
А монговский шардинг больно дохрена дорогой выходит
[Anonymous]02.11.2016
18:41:05
18:41:05
Я вот думал, если бы можно было рекурсивно шардить реплики создавая им маленькие кластеры со своими репликами?
Это конечно бред.
Alex02.11.2016
18:41:33
18:41:33
Реккрсивно шардить??
[Anonymous]02.11.2016
18:42:02
18:42:02
Но меня вот очень волнует, например, что делать с базой (точнее с репликой), которая не влезает на сервер.
Serge02.11.2016
18:42:06
18:42:06
Я вот думал, если бы можно было рекурсивно шардить реплики создавая им маленькие кластеры со своими репликами?
Шардинг линейный же. Сиди добавляй шарды[Anonymous]02.11.2016
18:42:10
18:42:10
Предположим, что места больше уже не докинуть.
GoogleSerge02.11.2016
18:42:23
18:42:23
Serg02.11.2016
18:42:32
18:42:32
что значит дорогой
Alex02.11.2016
18:42:38
18:42:38
[Anonymous]02.11.2016
18:42:42
18:42:42
Я просто реально вот этот момент не понимаю.
Serg02.11.2016
18:42:44
18:42:44
там же в комьюнити версии полноценный шардинг
Serge02.11.2016
18:42:44
18:42:44
Alex02.11.2016
18:43:16
18:43:16
дорогой - значит, что каждый шард это репликасет это минимум 2 сервера
[Anonymous]02.11.2016
18:43:31
18:43:31
А 3 конфиг-сервера?..
Alex02.11.2016
18:43:39
18:43:39
эээ
[Anonymous]02.11.2016
18:44:00
18:44:00
Но минимально рекомендуется три, если я не ошибаюсь...
Alex02.11.2016
18:44:02
18:44:02
Можно больше , да :))
Serge02.11.2016
18:44:23
18:44:23
Ну, там есть хитрые сетапы как повесить это всё на 4 сервера, но место больше не станет от этого.
Alex02.11.2016
18:45:01
18:45:01
и каждый сервер в реплике должен быть по мощности примерно равный
Google[Anonymous]02.11.2016
18:45:02
18:45:02
Ну они же одинаковые
Стоп, вот у меня есть три конфиг-сервера (не важно какой конфигурации) и три мощных сервера под кластер. Я их подготовил, но ещё не задействовал.Serge02.11.2016
18:45:05
18:45:05
Шардинг как раз чтобы равномерно распределить. Одновременно везде закончится
[Anonymous]02.11.2016
18:45:08
18:45:08
Сейчас на одном из них крутится база в single instance.
Там везде по 1 TB.
С шардами понятно - я буду добавлять новые шарды в кластер и данные (чанки) будут разбазариваться между ними по ключу.
А реплика, что делать с репликой? Она же будет бесконечно расти.
Или она тоже размазывается по шардам? Тогда зачем она нужна?
Я пока запускал без реплики, игрался на виртуалках.
Serge02.11.2016
18:46:25
18:46:25
А реплика, что делать с репликой? Она же будет бесконечно расти.
Один шард - это сам в себе отдельный репликасет[Anonymous]02.11.2016
18:46:59
18:46:59
Кластера. Я кажется, оперирую немного другими терминами.
Я просто на практике не применял ещё, но мне очень скоро предстоит.
Вот изучаю, что придётся делать и разворачивать.
Serge02.11.2016
18:47:52
18:47:52
https://goo.gl/images/n4J968
[Anonymous]02.11.2016
18:47:53
18:47:53
А так-то с MongoDB работаю очень давно, просто первый проект с большим набором данных.
https://goo.gl/images/n4J968
Ну т.е. если я добавлю места в shard 1, то должен и добавить в shard 2 и в shard 3.Я правильно же понимаю?
GoogleSerge02.11.2016
18:48:53
18:48:53
Ну т.е. если я добавлю места в shard 1, то должен и добавить в shard 2 и в shard 3.
Не обязательно, но желательноА вот внутри реплики одинаковые
Turning MongoDB Replica Set to a Sharded Cluster | Severalnines
http://severalnines.com/blog/turning-mongodb-replica-set-sharded-cluster
[Anonymous]02.11.2016
18:49:44
18:49:44
Я, кажется, что-то понял, в любом случае, большое спасибо за информацию.
Настя02.11.2016
18:50:21
18:50:21
А напишите, вновь прибывшие, кто как MongoDB использует, если не сложно.:)
На работе все данные с бекенда проекта в монге)[Anonymous]02.11.2016
18:50:56
18:50:56
А мы аналитику на ней собираем.
Alex02.11.2016
19:26:15
19:26:15
Реплика - повышает надежность/доступность, шардинг - расширяет размеры данных. Если вы возьмете свою базу и поделите между двумя шардами, но не сделаете каждую шарду - репликой, то вероятность отказа увеличиться в 2 раза.
Т.к если хоть одна из шард "ляжет", то не работает вся шардированная база
если вы разделите базу на 3 шарды, не делая их репликами, то вероятность отказа утроится по сравнению с 1 сервером
и тд
Поэтому каждая шарда должна представлять собой репликасет, т.е дублироваться на 2 разных серверах
Serge02.11.2016
19:28:25
19:28:25
Поэтому каждая шарда должна представлять собой репликасет, т.е дублироваться на 2 разных серверах
Желательно на трёхОдин можно медленный и не давать становится праймари
Serge02.11.2016
19:30:44
19:30:44
Насчет медленный - не понял
Можно использовать более дешевое железо и пихать реплики от нескольких шардов на него. И в нем писать на raid1. Last resort типаGoogleAlex02.11.2016
19:32:26
19:32:26
Речь за минимальную конфигурацию. Получается, что самая маленькая шарда - это 4 примерно равносильных сервера
Т.е 2 шарды в репликасете
Я это имел в виду, когда говорил, что монговский шардинг из коробки дохрена дорогой
Serge02.11.2016
19:33:33
19:33:33
Т.е 2 шарды в репликасете
Беда в том, что когда сдохнет одна реплика, то замена появится не сразу и шард станет очень уязвимAlex02.11.2016
19:34:00
19:34:00
Когда сдохнет репликасет или одна реплика?
Alex02.11.2016
19:34:15
19:34:15
1 реплика не страшно - секондари становится праймари и погнали
Serge02.11.2016
19:34:31
19:34:31
Alex02.11.2016
19:35:07
19:35:07
1 шард должен быть в репликасете, т.е быть на 2 физических разных железках
Serge02.11.2016
19:35:15
19:35:15
А железо куплено одновременно
yopp02.11.2016
19:36:00
19:36:00
Alex02.11.2016
19:36:01
19:36:01
репликасет состоит из 2 реплик на разных физ машинах. Одна дохнет, вторая берет инициативу
тут всё нормально
Открыть в Telegram