2

Привет. Распарсил длинный .csv файл в массив объектов. Существует метод для отправки в Mongo всего массива с последующим сохранением вместо пробегания по массиву и сохранения объектов в БД поштучно?

bulkWrite, но в целом разницы большой не будет Лучше наверное чанками по несколько тысяч объектов bulkWrite'ить

bulkWrite, но в целом разницы большой не будет Лучше наверное чанками по несколько тысяч объектов bulkWrite'ить

Использую mongoose. Чанками это как? Там всего около 300 000 объектов.

Ну вот проходиться не по каждом объекту а выбирать чанки по 10000 объектов например и делать вставку через insertMany

это разовая задача?

Разовая.

сразу не отправишь ты или по одному вставляешь или делаешь https://docs.mongodb.com/manual/reference/method/Bulk/

тогда тут нет проблемы пройтись поштучно, 300к это не так много

Разовая.

По одному делай прост и все

ну если разовая то и париться не стоит по дному и все

С mongoose постинг в БД выглядит так? collectiоnName.insertMany([<мой_массив>]).

там только ограниечение

в 100к если я правильно помню

а не посмотрел в доку оно вроде само решает

в 100к если я правильно помню

Да,в доке читаю "As of MongoDB 3.6, this value is 100,000". Там же написано, что при превышении драйвер сам делит на группы по 100к.

Ребята, что возвращает Find если он ничего не нашел?

Ребята, что возвращает Find если он ничего не нашел?

null

thx

Ну вот проходиться не по каждом объекту а выбирать чанки по 10000 объектов например и делать вставку через insertMany

В этом сценарии создаём массив из исходного в 300 000, в новом массиве будут массивы по 10 000 ?

В этом сценарии создаём массив из исходного в 300 000, в новом массиве будут массивы по 10 000 ?

Вы можете вычитывать файл построчно если это csv, вычитали n строк в массив, отправили запрос в монгу, и так по кругу

Использую csv-parser, он читает сразу весь файл.

Mongoose сейчас нормально соединяет с MongoL ? { MongoNetworkError: failed to connect to server [ds239928.mlab.com:39928] on first connect [MongoNetworkError: connect ECONNREFUSED connectURI верная, вроде.

Хе, тут же Монго не установлена. Сейчас сделаю, проверю и удалю сообщения.

Запускаю MomgoDB сервер на Ксубунте 16. mongod --dbpath=/home/user/Job/fullstack/mongo_db В консоли сообщение о порте уже в использовании: ERROR: listen(): bind() failed errno:98 Address already in use for socket: 0.0.0.0:27017. При этом попытка посмотреть, кто использует порт не выводит ничего: lsof -i:27017 -> пусто. Что это? Как освободить порт?

Запускаю MomgoDB сервер на Ксубунте 16. mongod --dbpath=/home/user/Job/fullstack/mongo_db В консоли сообщение о порте уже в использовании: ERROR: listen(): bind() failed errno:98 Address already in use for socket: 0.0.0.0:27017. При этом попытка посмотреть, кто использует порт не выводит ничего: lsof -i:27017 -> пусто. Что это? Как освободить порт?

Юзани другой порт и все

Запускаю MomgoDB сервер на Ксубунте 16. mongod --dbpath=/home/user/Job/fullstack/mongo_db В консоли сообщение о порте уже в использовании: ERROR: listen(): bind() failed errno:98 Address already in use for socket: 0.0.0.0:27017. При этом попытка посмотреть, кто использует порт не выводит ничего: lsof -i:27017 -> пусто. Что это? Как освободить порт?

sudo ss -nlp | grep 27017 Что показывает?

Запускаю MomgoDB сервер на Ксубунте 16. mongod --dbpath=/home/user/Job/fullstack/mongo_db В консоли сообщение о порте уже в использовании: ERROR: listen(): bind() failed errno:98 Address already in use for socket: 0.0.0.0:27017. При этом попытка посмотреть, кто использует порт не выводит ничего: lsof -i:27017 -> пусто. Что это? Как освободить порт?

Сделай lsof с sudo

Локальная Монга бегает хорошо, MLab меня отвергает. Подал в Mongoose URI от старого проекта, соединился сразу. Подал URI от только что созданной базы, то timeout соединения, то connection refused.

Всем привет. Подскажите, пожалуйста, использую монгу и гридфс, чтобы хранить в монге аудио файлы, но после того, как файл побывал в монге становится сломаным. Кто-нибудь сталкивался с такой проблемой?

Локальная Монга бегает хорошо, MLab меня отвергает. Подал в Mongoose URI от старого проекта, соединился сразу. Подал URI от только что созданной базы, то timeout соединения, то connection refused.

Трабл был в ирландской Монге. Американская завелась вечером сразу. Всем спасибо за участие.

Трабл был в ирландской Монге. Американская завелась вечером сразу. Всем спасибо за участие.

Ирландская монга?)

Их сервер в Ирландии. Он не пинговался.

Как добавлять доки в коллекцию, только если их там не было ранее? ID у каждого есть.

unique: true в схеме.

Как добавлять доки в коллекцию, только если их там не было ранее? ID у каждого есть.

Просто инсертом

unique: true в схеме.

В случае дубля просто получите ошибку с определенным кодом, по не можно будет явно определить что это ошибка дубликата, а не какаято другая

По идее при одинаковом id дупликаты не вставляются. Нo у меня в качестве id некое рукотворное поле (name).

По идее при одинаковом id дупликаты не вставляются. Нo у меня в качестве id некое рукотворное поле (name).

Это неважно, ошибка будет изза уникального индекса. Проверьте что в базе он создался и что он уникальный

У меня в коде nodemon при каждом сохранении отправлял 10 объектов. id каждый раз уникален - для каждого объекта, несмотря на дупликатность самих объектов.

https://pastebin.com/HWEJ5uv7

У меня в коде nodemon при каждом сохранении отправлял 10 объектов. id каждый раз уникален - для каждого объекта, несмотря на дупликатность самих объектов.

Вы про поле _id?

Думаю, да.

Это нормально, т.к. Это обязательное поле и оно генерируется автоматически для любого нового документа, если не проставлено явно

Тру. Mongoose позволяет проверять на дупликаты в самой схеме, до отправки массива в MLab.

Тру. Mongoose позволяет проверять на дупликаты в самой схеме, до отправки массива в MLab.

Не понял к чему это сказано

Мы говорили о разного рода уникальности.

Митап: MongoDB и Яндекс.Облако в Москве 14 ноября в гости к Яндекс.Облаку приедет команда MongoDB: старший архитектор Виктор Кесслер и руководитель корпоративной и облачной стратегии Захир Абделухаб. MongoDB представит новые возможности СУБД и поделится планами на будущее, а разработчики управляемых БД в Яндекс.Облаке расскажут о Managed Service for MongoDB. Участие бесплатное. Мест в зале не много, поэтому нужно зарегистрироваться и дождаться подтверждения об участии. Регистрация и подробности Хотите выступить на митапе и рассказать о вашем сценарии использования MongoDB, как вы приняли решение использовать именно её, с какими проблемами встречались и как их решали? Пришлите @annapesh короткое описание своего кейса и несколько слов о себе и вашей компании. Длительность доклада 20 минут. Заявки принимаются 31 октября, 15:00.

У чятика появился канал :)

У чятика появился канал :)

У чятика появился канал :)

Запись то хоть будет?)

Коллеги, вопрос по перфомансу. Как можно обьяснить что, запросы на запись то пробегают за 150мс а иногда за 15к мс? Понимаю, вопрос не полный, но у нас шла нагрузка на бд, ввиду запросов на запись И иногда запросы подскакивали до 15к мс С чем это может быть связано? ПРоблем с io или памятью не наблюдались

На монго мастер-мастер вообще возможно? Или лучше другое использовать?

На монго мастер-мастер вообще возможно? Или лучше другое использовать?

Была где то в гугле статья про это

Была где то в гугле статья про это

Там как то муторно было...

там вроде при условии 3 датацетров

можно как то организовать

На монго мастер-мастер вообще возможно? Или лучше другое использовать?

нет

зачем вам мастер-мастер?

Коллеги, вопрос по перфомансу. Как можно обьяснить что, запросы на запись то пробегают за 150мс а иногда за 15к мс? Понимаю, вопрос не полный, но у нас шла нагрузка на бд, ввиду запросов на запись И иногда запросы подскакивали до 15к мс С чем это может быть связано? ПРоблем с io или памятью не наблюдались

15к мс по чьей версии опять-же? :)

у вас там похоже какой-то очень плохой линк

15к мс по чьей версии опять-же? :)

в логах монги)

по чьей версии «ПРоблем с io или памятью не наблюдались»?

по чьей версии «ПРоблем с io или памятью не наблюдались»?

По нашей sar -d не показал никаких аномальных показателей Ну иу нас настроен алертинг если были бы проблемы

точно ли временная отметка slow лога соотвествует «ПРоблем с io или памятью не наблюдались» в этой системе измерений?

что у вас считается «проблемой»? :)

точно ли временная отметка slow лога соотвествует «ПРоблем с io или памятью не наблюдались» в этой системе измерений?

да За тот промежуток, что были высокие время ответа ОС в норме была

@dd_bb Приветствую. Ну, судя по всему, хотят ставить серверы в разные офисы. Зачем нужен сервер прямо в офисе - я не знаю, там какие то бизнес-ограничения, не в плоскости программирования. Само приложение построено так, что или только читает и создает документы в коллекциях. А если апдейт/удаление - то это делает один определенный сервис и последовательно. Вообще, я тут гуглил про мастер-мастер, нашел CouchDB, который может мастер-мастер, при этом можно даже часть бд на клиент засунуть (что мне бы ну очень понравилось)

что у вас считается «проблемой»? :)

Высокий уровень iowait, выскоий уроверь использования ЦПУ и тд стандартные метрики для линукса

@dd_bb Приветствую. Ну, судя по всему, хотят ставить серверы в разные офисы. Зачем нужен сервер прямо в офисе - я не знаю, там какие то бизнес-ограничения, не в плоскости программирования. Само приложение построено так, что или только читает и создает документы в коллекциях. А если апдейт/удаление - то это делает один определенный сервис и последовательно. Вообще, я тут гуглил про мастер-мастер, нашел CouchDB, который может мастер-мастер, при этом можно даже часть бд на клиент засунуть (что мне бы ну очень понравилось)

зачем вам именно «мастер-мастер» то?

зачем вам именно «мастер-мастер» то?

Может он Active-Active хочет?

Высокий уровень iowait, выскоий уроверь использования ЦПУ и тд стандартные метрики для линукса

смотрите графики внимательнее

@dd_bb Увлекся. Серверы в разных офисах, инет с перебоями. И офисы могут быть значительно разнесены по стране. (Чем отличается master master от Active Active не знаю, но хорошо бы чтобы можно было писать в любую базу и они потом синкались.)

«хорошо бы чтобы можно было писать в любую базу» — ОЧЕНЬ плохо

Почему?

Почему?

Из-за конфликтов, банально

Написал же

Почему?

потому что у вас не будет single source of truth

"Само приложение построено так, что или только читает и создает документы в коллекциях. А если апдейт/удаление - то это делает один определенный сервис и последовательно."

вы хотие multi-dc deployment с local writes

Если они потеряют связь, потом очень тяжело будет доказать что правда, а что нет