Постобраткой, в смысле где результаты работы тасок хранить?

Ага

У вас их сколько?

Примерно 1-3м в месяц может больше и постоянный прирост

Даже если у вас там будет что-то по 4кб и таскок будет 4м в месяц, это не больше 100гб в год

Храните в чём хотите :)

Ну тут как раз и боль в том что никак не могу нагуглить адекватную реализацию очереди под монгу, а у celery ее вроде даже в экспериментальном не увидел, хотя может я зря к ней прицепился))

Не надо монгу как очередь использовать

Даже после того как в 3.6 появится нативная история для подписок, монга не будет брокером

Потому что гарантированно выдать задачу одному консьюмеру это очень нетривиальная задача и я очень надеюсь что монга никогда не будет её пытаться решить :)

Возьмите celery и rabbitmq или другого брокера с которым у вас есть опыт и использутей брокера. В монгу можно складывать артефакты обработки или статистику

Но делать на монге очереди — к больной попе и потраченным ни на что деньгам и времени

Под таким углом я не смотрел)) Спасибо большое)) буду дальше копать в сторону кролика и прочих танцев с бубном)

@dd_bb направь, пожалуйста, в нужную сторону по такому вопросу: пытаюсь понять cross datacenter репликацию в монге https://docs.mongodb.com/manual/tutorial/deploy-geographically-distributed-replica-set/ тут описан, по сути, обычный репликасет, который в моём случае не справится. правильно ли я понимаю, что мне путь в монго мультимастер с шардированием по датацентрам?

Эм, а какую проблему нужно решить?

ну если совсем издалека - как объяснить начальству, что они сильно ошибаются. Суть в том, что географический кусок клиентов отодвинуть в определенный ДЦ - из азии ходить в сша долго и медленно. пока предлагается подключаться напрямую к базе, и это работать не будет. тесты я прогоню, но будет стоятьвопрос, как кусок монги перенести в другой дц.

в идеале там своя отдельная монга должна быть и потом какаято программная аггрегация данных, но до этого надо набить пачку шишек.

Не очень понимаю что значит «географический кусок клиентов отодвинуть в определенный ДЦ»

Если нужно их вообще изолировать в одном дц, то конечно, шардинг

Если нужно просто положить контент к ним поближе, то можно как выше

как выше - это репликасет с полной копией данных?

Условно: read-only решается простым реплицированием и чтением с secondary, а read-write только шардированием

вот, спасибо Шардирование неизбежно.

а по опыту - как это переживает падение линка между дц, то есть - между кусками шарда?

Если вы будете делать как написано в мануале и не будете изобретать велосипеды типа «в идеале там своя отдельная монга должна быть и потом какаято программная аггрегация данных», то просто не будут доступны данные из других регионов

См: https://docs.mongodb.com/manual/tutorial/sharding-segmenting-data-by-location/

спасибо!

Только не забудьте mongos и config положить в каждом из дц

В самом плохом случае, если регион отвалится от остальных — могут быть проблемы со вставкой

я запомню, но до этого еще дойдет явно очень не скоро

Коллеги, можете подсказать готовые, желательно out-of-box решения для мониторинга монги? Кроме облачных и zabbix'а

можно попробовать prometheus + экспортер метрик

как в агрегатке сделать дерево? т.е. есть колекция category(_id, name, parent) Нужно построить дерево. т.е. сначала категории которые без parent потом у каждой из этих категорий, подкатегории... и т.д.

Или это в js лучше сделать?

Если индекс не background, то таблица может блокироваться сама по себе?

При перестройке индекса?

что вы имеете в виду под "сама по себе"? в коллекцию не пишут\читаю, а она лочится?

как в агрегатке сделать дерево? т.е. есть колекция category(_id, name, parent) Нужно построить дерево. т.е. сначала категории которые без parent потом у каждой из этих категорий, подкатегории... и т.д.

Для деревьев эффективнее всего будет materializied path

Всё дерево или его ветвь можно в один запрос собрать

Коллеги, можете подсказать готовые, желательно out-of-box решения для мониторинга монги? Кроме облачных и zabbix'а

из коробки есть перконовский мониторинг, но лучше отдельно собрать все же

Если индекс не background, то таблица может блокироваться сама по себе?

Построение индекса без background залочит коллекцию на чтение и запись до окончания построения индекса.

Коллеги, можете подсказать готовые, желательно out-of-box решения для мониторинга монги? Кроме облачных и zabbix'а

Какие задачи перед «мониторингом» стоят?

Какие задачи перед «мониторингом» стоят?

Собирать стандартные метрики, opcounters, replicationLog size, операции по коллекциям и как-то удобно показывать

https://github.com/db-ai/mongo_collection_exporter

А есть какой-нибудь живой пример того, как это будет выглядеть в Prometheus?

В графане скорее. Нету, надо будет скрмншотов приложить

А, данные отображаются в графане? Тогда подойдет, спс

Как в node.js получить модель mongoose по текстовому значению. Например код const model = req.query.model var query = model.find({}); в model приходит имя модели var query = model.find({}); в таком виде естественно не работает

А, данные отображаются в графане? Тогда подойдет, спс

Да. Там даже шаблоны двух дешбордов есть в репозитории

Как в node.js получить модель mongoose по текстовому значению. Например код const model = req.query.model var query = model.find({}); в model приходит имя модели var query = model.find({}); в таком виде естественно не работает

const modelName = req.query.model; const model = mongoose.model(modelName) model.find({})

Как монге проще искать по key: 'channel_id:post_id' Или channel_id: 12, post_id: 23 ?

Если совападение полное то первое

А почему вы так переживаете за "проще"? Монга настолько медленная? Или таааак мноооого запросов?

А почему вы так переживаете за "проще"? Монга настолько медленная? Или таааак мноооого запросов?

Много запросов, нужно из { cid: message.chat.id, 'posts.sent_id': message.message_id } Сделать кеширование, а то этот запрос улаживает сервер и все умирает

Пнятненько 😊

А индексы есть?

А индексы есть?

Есть, не спасают И как на такое вообще индексы ставить?

Compound index сделать

Если не спасают, то покажите explain с executionStats

Есть, не спасают И как на такое вообще индексы ставить?

индексы покажи какие есть сейчас

индексы покажи какие есть сейчас

первое, что приходит в голову это как посоветовали выше: compound index по chat id и post id, причем я бы для обоих ключей указал обратную сортировку

если айди монотонно растет, то последние ключики будут поближе в поиске

первое, что приходит в голову это как посоветовали выше: compound index по chat id и post id, причем я бы для обоих ключей указал обратную сортировку

Как сделать такой индекс?

Так нет индекса который поддерживает твой запрос

если айди монотонно растет, то последние ключики будут поближе в поиске

Нет

А что в posts?

Массив?

А что в posts?

Да

1-10 элементов

Отлично вообще

Сортировка есть?

Да, поэтому и хочу при первом таком запросе вытаскивать инфу и добавлять в другую коллекцию Чтобы потом доставать по ключу

Как сделать такой индекс?

{ cid: 1, "post.post_id": 1} что-то такое будет

Сортировка есть?

Нет, не нужна Запрос limit 1

{ cid: 1, "post.post_id": 1} что-то такое будет

^ вот такой индекс тогда

тогда отлично

index_keys_examined:1, docs_examined: 0 будет

идеал

не будет