Возможно на каждой ноде надо будет как shard local выполнять

Добрый день. Подскажите пожалуйста, есть ли способ используя достучаться к своей базе данных(mlab) через прокси? То есть можно ли его как-то настроить?

afaik, нет

Использую mongoose. Но судя по тому что в гугле я вообще даже намеков не нашел, то подойдет любой вариант рабочий

но можно попробовать прокинуть ssh тоннель

но можно попробовать прокинуть ssh тоннель

Спасибо. пойду погуглю

Bounce

всем привет. вопрос. есть колекция с 500к документов, небольших. через aggregate делаю выборки с group примерно по 13ти полям. изначально падало по памяти, добавил allowDiskUse, теперь не падает, но очень долго выполняется (около 30 секунд). если добавляется match, то ускоряется, но он не всегда есть. кто то сталкивался? есть возможность ускорить?

Тяжело сказать не видя ни агрегации, ни примера документов.

Ошибка "Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in." добавляю allowDiskUse и она пропадает вот пример pipeline: https://gist.github.com/vchizi/2cf57ea6725ba18337335482333207fa пример документа: https://gist.github.com/vchizi/9955dbfd19999ff75e979f873c71370e

Точно можно из 5 полей с датой сделать одно

можно, но и не учитывая дату оно долго, количество группировок меняется

порядка 30 секунд и с увеличением коллекции время увеличивается)

Но в целом с таким количеством измерений есть два варианта: либо шардить, либо оффлайн агрегация, либо преагрегация

ясно, спасибо

Можно попробовать сразу сделать проекции

До шага с группировкой

а что за проэкции?

$project или redact, выпилив лишение данные

Всегда лучше сокращать количество документов от шага к шагу

И их размер

а я вроди как добавил индекс на datetime только хз используется ли он в данном случае=( причем добавил 2 db.collection.createIndex({datetime: 1}) и db.collection.createIndex({datetime: -1}). я что то вообще не вьехал в индексы в монге

Маловероятно что тут проблема в индексах.

то понятно

Это легко проверяется, в 3.6 есть уже explain

Можно убрать сортировку

Я бы начал с приведения даты к одному полю

И потом убрал сортировку

И посмотрел влазит ли оно в лимит по памяти

Но это не будет скейлится, в любом случае.

не будет оно влезать=(

Тогда надо менять подход

это да, и всеравно спасибо=)

Можно ссылки на преагрегацию и оффлайн ?

Hello everybady

Hello everybady

Helo evribody

everybody *

Hi how are you

https://docs.dotmesh.com/concepts/what-is-a-datadot/

Как можно искать документы по частичному соответствию одного из полей? На стековерфлоу пишут что вот такой регуляркой { name_ru: new RegExp('^'+ text +'$', "i") } Но я наверное где-то допустил ошибку

Вопрос снят, убрал у регекспа начало и конец ввода и нормально ищет

Hello

connection 4 to **** timed out на heroku это исправить можно?

Парни, подскажите, пожалуйста, есть ли возможность переехать с шардинга обратно на репликасет? в доке монги пишут, что надо dump + restore, что вообще не выход :) Чисто теоретически можно же поменять ключи и все чанки переедут на один шард, а дальше - ходи уже не в монгос а именно в репликасет Дальше - рестарт без shardsvr Будет работать, нет?

А зачем?

я опыты ставлю пока незачем.

Тогда почему из дампа невозможно восстановить?

очень много данных, восстановление будет занимать недели, думаю.

Опыты на продуктивной системе?

сейчас тестируем шардинг на тестовых данных скоро будет нагрузочное тестирование, и дальше это все в прод. но есличтот будет не так - хочу уметь откатиться обратно.

если не секрет, то много это сколько?

прод сейчас на репликасете ставим опыты с переходом с репликасета на шардинг, разнесённый по странам.

Балансировка большого числа чанков на один шарж займёт вечность. 3.4 мог балансировать около не больше 2-3 чанков в секунду.

если не секрет, то много это сколько?

Вам в каких единицах? :) 9 тер данные на диске + 550 гиг журналы + база local + 1.5 тер индексов Это если просто смотреть на то, сколько занимает данных

Поздравляю, вы очень поздно задумались о шардинге :)

Балансировка большого числа чанков на один шарж займёт вечность. 3.4 мог балансировать около не больше 2-3 чанков в секунду.

У нас тестируется вариант, когда на новый шард сначала только маленький кусок данных едет. по сути - это гео шардинг и мы только маленькую страну тестируем с выносом. чисто как PoC Вот вернуть бы это взад

Поздравляю, вы очень поздно задумались о шардинге :)

мне тут нечего сказать задумались давно, но бизнесу,как обычно, пофик, пока жареный петух не клюнет

короче, все как обычно. :(

на 3.6 пока не тестируем - в текущей версии нельзя с shardsvr запуститься

Значит вы с бизнесом разговаривать не умеете ;) но это другая проблема

В вашем случае «надежный вариант» это как в доке написано

Значит вы с бизнесом разговаривать не умеете ;) но это другая проблема

Согласен я и монгу не сильно-то умею, но делаю, что могу.

В вашем случае «надежный вариант» это как в доке написано

я понял спасибо жаль, конечно, что даже при шардинге одной коллекции для тестов не будет пути обратно.

Вам в каких единицах? :) 9 тер данные на диске + 550 гиг журналы + база local + 1.5 тер индексов Это если просто смотреть на то, сколько занимает данных

а в штуках документов это сколько, для самой большой коллекции

Если вы хотите вынести только небольшую часть, то проведите тестирование. Залейте данных в два раза больше чем будете выносить, зашардите, проставьте зоны, заметьте сколько займёт балансировка. А потом зоны сведите на один шард и посмотрите сколько оно будет литься назад. Умножите потом на 20 и будет примерное понимание прокатит ли вариант с балансировкой

а в штуках документов это сколько, для самой большой коллекции

данные привязаны к коллекции по месяцам в январе насобиралось 2915132366 документов

Если вы хотите вынести только небольшую часть, то проведите тестирование. Залейте данных в два раза больше чем будете выносить, зашардите, проставьте зоны, заметьте сколько займёт балансировка. А потом зоны сведите на один шард и посмотрите сколько оно будет литься назад. Умножите потом на 20 и будет примерное понимание прокатит ли вариант с балансировкой

спасибо есть незнакомые слова, пошёл изучать

но все-таки — при условии, что все чанки переедут на один шард - его потом в обычном режиме можно будет в репликасет перевести? тушим secondary, убираем shardsvr, поднимаемся, ждём синк, делаем его праймари, и то же самое потом с другими серверами или я гоню?

Ещё надо учитывать от это https://docs.mongodb.com/manual/reference/limits/#Sharding-Existing-Collection-Data-Size

Ещё надо учитывать от это https://docs.mongodb.com/manual/reference/limits/#Sharding-Existing-Collection-Data-Size

И опять спасибо прошло мимо меня, пошел считать

но все-таки — при условии, что все чанки переедут на один шард - его потом в обычном режиме можно будет в репликасет перевести? тушим secondary, убираем shardsvr, поднимаемся, ждём синк, делаем его праймари, и то же самое потом с другими серверами или я гоню?

Думаю что на этапе убрать shardsrv и подключиться назад к кластеру план ждёт фиаско

Но это проверяется за полчаса

Можно ли в агрегатке убрать поле если это поле пустой объект

Т.е. если задача стоит как сделать это всё без даунтайма, то в общем виде она не решается

только бекап и восстановление. понял.

В итоге на выходе в консоли получаю id, которого вообще нет в базе, а todo = undefined

ObjectId я делаю потому что без него выдаётся ошибка Error: Argument passed in must be a single String of 12 bytes or a string of 24 hex characters

Вопрос, как правильно мне указать req.params.id=)

тебе в чат по ноде

продублирую туда