Можно ли через mongodb compass делать aggregation? Если нет то какие альтернативные GUI приложение вы используете для mongodb?

Robo3t

Добрый день, помогите пожалуйста. [conn187] end connection 14.134.3.4:32760 (14 connections now open) в логах монги, кто-то ломится ко мне, как-то можно его забанить?

у меня открыт порт и включена авторизация. Когда я подключась к mongo меня встречает консоль управления много. Почему так? В MySQL пока не авторизуешься, никто тебя не пустит

Куда подключаетесь и что за консоль?!

rus@asterisk:~$ mongo x.x.x.x:27017 MongoDB shell version: 2.4.10 connecting to: x.x.x.x:27017/test Error while trying to show server startup warnings: not authorized on admin to execute command { getLog: "startupWarnings" } >

fail2ban?

rus@asterisk:~$ mongo x.x.x.x:27017 MongoDB shell version: 2.4.10 connecting to: x.x.x.x:27017/test Error while trying to show server startup warnings: not authorized on admin to execute command { getLog: "startupWarnings" } >

Ммм. А что db.runCommand( { connectionStatus: 1, showPrivileges: true } ) говорит?

> db.runCommand( { connectionStatus: 1, showPrivileges: true } ) { "authInfo" : { "authenticatedUsers" : [ ] }, "ok" : 1 } >

Прикрыть доступ к монге из внешней сети

Прикрыть доступ к монге из внешней сети

а других вариантов нет?

В каком смысле — других?

Если у вас в логах нет сообщения об успешной аутентификации, то чего вы ещё хотите? :)

Можно начать с того, что наружу должны торчать только те сервисы, которые являются публичными. Остальные сервисы должны по хорошему вообще находиться в изолированной сети, которая наружу не маршрутизируется. Для обслуживания поднять vpn шлюз в изолированню сеть или другую сеть, в которой есть маршрутизация с сетью сервисов.

а других вариантов нет?

fail2ban, port-knock, vpn

все решаемо, но не средствами самой монги

fail2ban, port-knock, vpn

fail2ban и подобные сервисы убер плохая идея

это мнимая безопасность вообще

если монгу для обслуживания случайно перезапустят без авторизации и не прикроют её из внешнего мира, fail2ban ничем вообще не поможет

ну это суровый пример стрельбы в ногу

это реальность

увы, да

не увы, это нормально

именно для этого нужно заводить сервисы в изолированных сетях, а ещё лучше когда у каждого сервиса своя сеть (здравствуй sdn) и между сетями ходит только разрешенный трафик

Олег, [Jan 16, 2018 at 4:29:15 PM]: Привет всем. Как get запросом вытянуть список всех Collections из MongoDB? Юзаю mongoose. getCollectionList(req,res) { console.log('getCollectionList') try { var showCollections = function(db, callback) { mongoose.db.listCollections().toArray(function (err, names) { console.log(names) }); } console.log(list) res.send("showCollections") } catch (err) { res.status(500).send({ error:err }) } } что то такое делаю, но результата нет

Можно начать с того, что наружу должны торчать только те сервисы, которые являются публичными. Остальные сервисы должны по хорошему вообще находиться в изолированной сети, которая наружу не маршрутизируется. Для обслуживания поднять vpn шлюз в изолированню сеть или другую сеть, в которой есть маршрутизация с сетью сервисов.

Я честно говоря не знаю, зачем он ко мне коннектится если он ничего сделать не может. Я вот думаю что может и по хорошему его бы в fail_to_ban

Я честно говоря не знаю, зачем он ко мне коннектится если он ничего сделать не может. Я вот думаю что может и по хорошему его бы в fail_to_ban

опять же не понятно, по каким параметрам я его банить буду

Я честно говоря не знаю, зачем он ко мне коннектится если он ничего сделать не может. Я вот думаю что может и по хорошему его бы в fail_to_ban

Чисто проверить наличие авторизации, а если её нет дропнуть базу и попросить выкупа

не встречал ни одного кейса где база на публичном айпишнике была бы оправдана

а вот кейсов слива данных из-за довнов-дба история помнит достаточно

подскажите плиз, в чем разница? db.users.save( { 'name':'user 2', 'level':2 } ) db.users.insert( { 'name':'user 3', 'level':3 } )

https://docs.mongodb.com/manual/reference/method/db.collection.save/ https://docs.mongodb.com/manual/reference/method/db.collection.insert/

{'_id': ObjectId('5a5e04c1040702033857f393'), 'query': 'bitcoin', 'type': 'bloomberg', 'url': 'https://www.bloomberg.com/news/articles/2017-11-16/bitcoin-exchange-wants-to-be-digital-safe-house-for-hedge-funds'} мне надо save делать получается

получается, что надо понять что нужно сделать логически, потом прочитать чем отличаются методы и выбрать подходящий под твою задачу

получается, что надо понять что нужно сделать логически, потом прочитать чем отличаются методы и выбрать подходящий под твою задачу

ок, пошел читать

ну или задать вопрос по нормальному, например, мне нужно вставить док, но если там есть уже такой, то выдать ошибку

Подскажите, пожалуйста, почему при использовании subCategoryBulk.find({id: subCategory.id}).upsert().updateOne({$set: subCategory}) я все равно получаю дублирование данных в базе? По логам добавление этой записи делается только один раз на элемент.

По задаче: у меня есть массив подкатегорий, я пробегаюсь по каждому - если подходит по условиям, то пытаюсь либо обновить, либо вставить в базу. Так как элементов много, использую bulk. Но обнаружили, что даже если база пустая, то некоторое дублирование все равно присутствует.

Подскажите, пожалуйста, почему при использовании subCategoryBulk.find({id: subCategory.id}).upsert().updateOne({$set: subCategory}) я все равно получаю дублирование данных в базе? По логам добавление этой записи делается только один раз на элемент.

Что дублируется?

Что дублируется?

Записи в базе, то есть после выполнения функции словно некоторые из подкатегорий несколько раз вставились. Находили до 5 вставок подряд одной и той же подкатегории.

всем привет, помогите пожалуйста db.articles.update({query : "bitcoin"}, { $set: { body : "" }}, false, true) добавляю body, для всех query "bitcoin" , а если я хочу добавить для всех результатов где body нет. Как мне это сделать

Как в моем вчерашнем вопросе, $exists в помощь)

Как в моем вчерашнем вопросе, $exists в помощь)

db.articles.update({body: { $exists: false}},{$set: { body : "" } }, false, true) так?

Да, очень похоже на правду.

Не советую использовать $exists на ключевых полях, если выборка постоянная, лучше это поле держать в схеме с каким-то пустым значением типа null. $exists перебирает всю коллекцию игнорируя индексы

$exists: false перебирает

ребята, нужна помощь

знаком в монго два дня. Как вывод результатов сделать красивым или построчным

.pretty() есличто

Не нашел профильного чата! Накидайте клевых хостингов забугорных, пожалуйста. Для небольшой VPSки

ovh, digitalocean, servers com

еще можно рассмотреть hetzner

Не нашел профильного чата! Накидайте клевых хостингов забугорных, пожалуйста. Для небольшой VPSки

а это что такое?

ну это пожалуй самый близкий к теме чат, да =)

из моего набора чатов

фришный амазон на год

ну это пожалуй самый близкий к теме чат, да =)

Нет, нне близкий. Есть devops чаты. Например @devops_ru

коллеги, а что можно почитать по анализу планов запросов в 3.x?

Записи в базе, то есть после выполнения функции словно некоторые из подкатегорий несколько раз вставились. Находили до 5 вставок подряд одной и той же подкатегории.

Сделайте или атомарный запрос или уникальный индекс на поле.

Нет, нне близкий. Есть devops чаты. Например @devops_ru

Спасибо, гляну

Сделайте или атомарный запрос или уникальный индекс на поле.

Спасибо за ответ. Проблема решилась заменой initializeUnorderedBulkOp на initializeOrderedBulkOp. Видимо при разбивке на группы происходило дублирование.

коллеги, а что можно почитать по анализу планов запросов в 3.x?

Мне кажется вы свою проблему решаете не совсем корректными инструментами.

Мне кажется вы свою проблему решаете не совсем корректными инструментами.

Промахнулся с реплаем ;) это @yarudo было

коллеги, а что можно почитать по анализу планов запросов в 3.x?

https://docs.mongodb.com/manual/core/query-plans/

В чём вопрос?

Промахнулся с реплаем ;) это @yarudo было

Оу. А почему вы так думаете?

Оу. А почему вы так думаете?

Потому что если данные, которые не должны дублироваться, дублируются при неупорядоченной вставке, значит у вас какая-то проблема с запросами.

Потому что если данные, которые не должны дублироваться, дублируются при неупорядоченной вставке, значит у вас какая-то проблема с запросами.

А это может быть проблема ORM?

Скорее это проблема в использовании ODM. Вероятно subCategoryBulk.find({id:subCategory.id}).upsert().updateOne({$set: subCategory}) собирает два запроса. Но если честно я вообще не понимаю что эта строка делает, так что смотри в логи.

И если вы более подробно опишете свою задачу, можно будет что-то предложить

Задача импорта: я забираю массив данных (у них есть свой id, по которому я сравниваю новые данные и хранящиеся у меня локально). Затем я пытаюсь либо обновить свою запись в базе, либо создать новую. Так как элементов много, то была попытка использовая bulk функции. Я делала вывод - каждый элемент в коде обрабатывался один раз, то есть должна быть только одна запись.

На этот id нужно создать уникальный индекс. И проконтролировать что у вас действительно генерируется один upsert запрос. Думаю что в вашем ODM это не так

На этот id нужно создать уникальный индекс. И проконтролировать что у вас действительно генерируется один upsert запрос. Думаю что в вашем ODM это не так

Да. Если создать такой индекс, падает в ошибку.

ребята, а чем можно просматривать монго кроме компаса и рокмонго ?

studio 3t

studio 3t

вот да, только что нашел) отличный гуи

как по мне, так он самый лучшый

как по мне, так он самый лучшый

из него руками тоже нельзя выгрузить бекап базы?

руками - нет

но там есть много опций для бекапа