а данные прилетают намного быстрее и впринципе через пару недель место кончится, так что решением стало расширение дискового пространства под этим двумя шардами, благо рейды и контроллеры подзволяют

и это на размере в 7Тб суммарно

а вы это как то в связке с hadoop или иным софтом ?

и запросы только по ключу без всяких агрегаций

конкретная задача просто хранить данные и флаги пересылки в смежную систему

средний поток 500 рпс с средним размером дока 1.5кб

обычные хдд справляются, но любой запрос не по индексам убьет кластер

вообще если разделить данные на горячие и холодные и первые кинуть ан ссд какойнить и чтоб рбаота с данными была с учетом этого, то все будет ок. Но это должно быть сто раз перепродумано на этапе разработки, когда накопите первый Тб назад дороги уже может не быть

и еще сейчас у нас индексы не помещаются в память на одной машине (66Гб индексов на 64Гб рам) поэтмоу даже запросы по индексу могут сильно аффектить нагрузку на диски

и да из инедксов два обязательных по _id и шард ключу и два собственно под задачи, один из которых по услвоию и почти пустой

больше 1 петабайта

а что за задачи такие на петабайты данных?

Крупный процессинг онлайн платежей

Вспоминаю шутки про монгу и транзакции

Ну этого пока нет , но боюсь что может

скажу сразу что на обычном HDD при непродуманной структуре и навешанных разных запросах особенно ворочащие без индексов или вообещ всем данным, испытаете первые проблемы на 100Гб и либо около 100мультов доков

привет всем. парни подскажите, почему после установки монги я создаю базу и если монгу рестартнуть то база исчезает?

привет всем. парни подскажите, почему после установки монги я создаю базу и если монгу рестартнуть то база исчезает?

Она же в файлы пишет

Она же в файлы пишет

... иии?

на одном серваке всё ок, на другом вот такая шляпа

версия 3.6.3

на одном серваке всё ок, на другом вот такая шляпа

grep dbPath /etc/mongod.conf и проверить эту папку на доступность записи монгой

я там установил своб папку и у неё права 777

Крупный процессинг онлайн платежей

Петабайт у процессинга?

grep dbPath /etc/mongod.conf и проверить эту папку на доступность записи монгой

если дефолтной папке дать 777 то же самое, базы исчезают при рестарте

если дефолтной папке дать 777 то же самое, базы исчезают при рестарте

После рестарта чего? Монги или сервера?

монги

А в логах что?

не могу выявить особо ничего по поиску названия бд нет ничего

ерроров нет

Смотреть надо на то, что монга делает при загрузке

Если бы монга не могла из-за прав создать или обновить файлы хранилища, она бы сразу валилась.

там есть базы admin config local

но создаваемой руками базы нету

Что значит «создаваемой»?

ну это значит что я создаю базу

добавляю коллекции

Как?

потом монго рестарт и хлоп- базы нету

я создаю через studio 3T

В монге ленивая инициализация. Если вы просто сделали use и потом не добавили ни одного документа в коллекцию базы может и не быть.

хмм..

ща проверю

бинго! я создал базу, и видимо то ли коллекция не добавилась а я это прошляпил, то ли что и при рестарте монги пустая база исчезла и я затем экспериментировал только с пустой базой

спасибо за наводку )

?

Есть команда create с помощью которой можно явно создать нецймспейс. Ну или создать индекс и его удалить.

https://docs.mongodb.com/manual/reference/command/create/

Петабайт у процессинга?

я не ответсвеннен за то что кладут в монгу, но с одной транзашки кладут много и она уже достаточно большая, да

я не ответсвеннен за то что кладут в монгу, но с одной транзашки кладут много и она уже достаточно большая, да

Достаточно большая это сколько?

2 тб и скоро убдет резкий всплеск трафика постоянный

хостинг - aws

1Пб за год это 35 мегабайт в секунду.

я эту цифру назвал, понимая что это будет не так скоро, но это возможно

Почти 300 мегабит непрерывного потока данных

хочу естественно изначально правильно архитектурно построить кластер

хочу естественно изначально правильно архитектурно построить кластер

Тогда не о петабацтах надо думать, а о жизненном цикле данных

Составить флоучарт, проанализировать хотелки бизнеса на будущее.

тут еще дело в том, что надо обязательно хранить все данные, даже самые старые, в быстром доступе

Прозонировать данные. Выделить узкие места в дизайне документов.

И потом строить план как с этим жить уже.

тут еще дело в том, что надо обязательно хранить все данные, даже самые старые, в быстром доступе

Так не бывает.

Потому что это стоит ОЧЕНЬ дорого.

Хранить горячий петабайт это сотни тысяч долларов

вот и я это же говорю )

а как правильно, ты считаешь? куда выгружать данные ?

ERROR: S client not available

Никак не считаю, тут всё от задач зависит. Наймите меня, я вам помогу. :)

?

На полном серьёзе. Если у вас уже есть данные и стоит задача масштабирования — давайте работать вместе. Я вам кучу денег, времени и нервов могу спасти.

я предложу СТО

На полном серьёзе. Если у вас уже есть данные и стоит задача масштабирования — давайте работать вместе. Я вам кучу денег, времени и нервов могу спасти.

вот человек, научившийся все эти бесконечные чаты в телеграме использовать для чего-то полезного ) надо мне брать пример

@dd_bb сорри за личный вопрос - подскажи, пожалуйста, по поводу убирания шарда с коллекции. есть дока - https://jira.mongodb.org/browse/SERVER-9845 , ориентировался на нее. как я понимаю, тут в конфигсервере полностью удаляются все упоминания чанков для определенной коллекции. Это безопасно или лучше так не делать? в моем случае все подготовительные процедуры окончены, все чанки смигрированы. вопрос в том, насколько опасен именно такой финт - убеждение конфигсервера вручную, что у него нет чанков, м?

на тестовом стенде отработало нормально, но тестовый стенд и коллекция с кучей записей... несколько стрёмно.

Я не вижу смысла этого делать вообще

Если нужно совсем отказаться от шардинга, то есть смысл просто отбалансировать всё на primary shard

Вывести остальные шарды из эксплуатации, после чего переключить клиентов на подключение к реплике напрямую

после верификации работоспособности — убрать конфиги и монгосы

Если нужно «расшардить» только одну коллекцию и оставить шардед кластер, то опять-же сбалансировать коллекцию на конкретный шард

http://joxi.ru/5mdLl8qHvEVQDm

Именно так сейчас и сделано - все переехало на primary shard, и неиспользуемый шард вообще отключен. полностью переключать все на replica set необходимости нет - рядом собирается еще один шард, который будет использоваться. вопрос в том, что коллекцию, которую хочу unshard, использовали с Label-ами. теперь в этом необхоидмости нет и она будет шардиться по другому ключу. отсюда и желание - сделать unshard , а дальше - опять включить шардинг но по другому ключу

Большая коллекция?

237172781 документов

я про размер в гигабайтах

http://joxi.ru/5mdLl8qHvEVQDm

добавить directoryPerDB: true в конфиг

"storageSize" : 612, "totalIndexSize" : 102, Это в гигабайтах

Нда

слабоумие и отвага!:)

индексы можно дропнуть, но 612 гигов это конечно тяжко

потому что единственный «правильный» вариант — dump и restore

добавить directoryPerDB: true в конфиг

Так и есть

Понял, спасибо.

True тоесть

но dbpath dbPath: "/var/lib/mongodb"

True тоесть

в ошибке написано что false

но dbpath dbPath: "/var/lib/mongodb"

http://joxi.ru/D2P9aWLUd3zNDA не получается менять путь

вам надо одновременно указывать и --dbpath и --directoryperdb

в ошибке написано что false

http://joxi.ru/EA4BJMotDeN8xm

тут другой параметр