Так у тебя вопрос перфоманса, нет?
Просто сейчас я уже не могу записать остальные файлы в монго (((
JASWGO
Anonymous
Просто сейчас я уже не могу записать остальные файлы в монго (((
Если надо быстро и качественно, то тебе легче развернуть koa+multer или express multer
JASWGO
Если надо быстро и качественно, то тебе легче развернуть koa+multer или express multer
Мне не надо постоянно записывать файлы, мне надо их просто хранить и отдавать
Anonymous
JASWGO
Не вижу проблемы.
Проблема в том что я не могу сейчас уже записать остальные файлы. У меня проект связанный с аудио файлами. всего у меня 11 альбомов(эпосов), в каждом альбоме от 2 до 8 файлов, и каждый файл весит в среднем 50МБ
Anonymous
Сорри, но я не вижу решения без построения апи на будущее что бы сервить файлы
JASWGO
Сорри, но я не вижу решения без построения апи на будущее что бы сервить файлы
Можно по подробнее, я в основном iOS разработчик
JASWGO
Да
Anonymous
Написал тебе в пм
Yaroslav
Мне не надо постоянно записывать файлы, мне надо их просто хранить и отдавать
Отдавай через nginx (аутентификацию если нужна делай через ноду). Записывай через ноду+multer.
Отдавать через ноду не более накладно.
JASWGO
Yaroslav
не эксперт в GOLANG. только изучаю. но думаю отдавать быстрее чем через nginx вряд ли выйдет.
записывать файлы в GOLANG насколько я знаю даже проще чем в ноде, но как именно не подскажу - на практике не делал.
Yaroslav
но если ты nginx в принцыпе не применяешь то отдавай через GOLANG. снова таки - работать будет лучше чем через ноду (хоть и хуже чем через nginx).
yopp
Всем привет. Я тут запусти свой мини проект на Parse Server + MongoDB. Но оказалось что у MongoDB проблемы с хранением больших файлов. У меня файлы по ~50МБ и их примерно 30 штук. Они должны храняться и отдаваться клиенту. Записываться будут только 1-2 раза. И сейчас я не могу записывать другие файлы. Версия 2.6. Что посоветуете сделать?
https://docs.mongodb.com/manual/core/gridfs
yopp
Это стандарт хранения файлов в монге. Проверьте, возможно ваш драйвер умете из коробки.
JASWGO
Это стандарт хранения файлов в монге. Проверьте, возможно ваш драйвер умете из коробки.
У меня установлена монга 2.6. Никак не могу его обновить (((
yopp
Gridfs от версии монги не зависит
JASWGO
Я вот почистил файлы, теперь заново все заливаю
Юрий
а как мне в mongodb. Atlas добавить в мою колекцию мои данные?
yopp
а как мне в mongodb. Atlas добавить в мою колекцию мои данные?
mongoimport, вручную в mongo-shell, через GUI типа RoboMongo
Даня
всем доброго времени суток, кто нибудь может поделиться статейкой касательно менеджмента памяти на секондари нодах в репликасете?
есть проблема с выеданием 100% ram и последующим вываливанием сервера из реплики.
3.0.13, wiredtiger
драйвера: Mongo Driver, Casbah и Reactive Mongo
Даня
я так понимаю, что монга заберет себе в кеш только памяти, сколько сможет
yopp
всем доброго времени суток, кто нибудь может поделиться статейкой касательно менеджмента памяти на секондари нодах в репликасете?
есть проблема с выеданием 100% ram и последующим вываливанием сервера из реплики.
3.0.13, wiredtiger
драйвера: Mongo Driver, Casbah и Reactive Mongo
3.0.13 это очень старая версия, обновитесь до 3.6 или 4.0
yopp
Там и не такое было
Даня
по историческим причинам не можем :(
yopp
Почему?
Даня
девы сказали, что один из драйверов не подерживает версии монги выше 3.0.13
yopp
Они вам врут
Даня
reactive mongo, если я не ошибаюсь
Даня
🤔
yopp
До 3.4 вообще никаких изменений в протоколе не было
Даня
еще есть проблема с тем же драйвером, что при отвале одной из секондари нод - они перестают писать в реплику
yopp
Писать в реплику?
yopp
3.0 очень плохая версия чтоб на ней оставаться.
yopp
Вы с ней наедитесь
tenni
попинай девов, хотя бы до 3.2.хх обновитесь
Даня
да она у нас уже давно, еще с 2015 года, если не ошибаюсь.
легаси проект...
Юрий
mongoimport, вручную в mongo-shell, через GUI типа RoboMongo
а через shell я могу весь файл залить?
Даня
боюсь что так просто обновить не получится, можно проверить на дев энве, но вот для прода. мне честно говоря не верится, что дадут апрув)
yopp
С вероятностью 99% до 3.4.18 вы обновитесь без каких либо проблем.
yopp
Но ваш reactivemongo для скалы уже поддерживает 4.0 в последней версии
Юрий
Для импорта из json/csv файлов — mongoimport.
лучше запустить shell в папке с файлом или просто относительный путь указывать при импорте?
Даня
С вероятностью 99% до 3.4.18 вы обновитесь без каких либо проблем.
я так понял, что мы же можем по частям реплику обновлять
Даня
сейчас как раз неделя-две выходных и можно будет покошмарить один из энвайронментов
yopp
лучше запустить shell в папке с файлом или просто относительный путь указывать при импорте?
а в каком формате у вас данные?
yopp
я так понял, что мы же можем по частям реплику обновлять
да, но только в рамках соседних минорных версия. 3.0 до 3.2 и потом 3.2 до 3.4
Даня
угу
Даня
общался вот с девами, у нас реактивмонга 0.11.14
Юрий
да, но только в рамках соседних минорных версия. 3.0 до 3.2 и потом 3.2 до 3.4
теперь у меня вопрос, как мне мою базу подключить к проекту, и реализовать sign-in, register к db, а не к json как было ранее
Даня
попинай девов, хотя бы до 3.2.хх обновитесь
как раз таки получается, что можем до 3.2 обновиться
First
Всем привет, подскажите столит ли закрывать подключение к базе данных каждый раз после вызова или драйвер всем рулит под капотом и задумывать об этом не нужно особо, драйвер java ?
JASWGO
но если ты nginx в принцыпе не применяешь то отдавай через GOLANG. снова таки - работать будет лучше чем через ноду (хоть и хуже чем через nginx).
Мне надо сделать файловую систему? или что то подобное?
Yaroslav
Мне надо сделать файловую систему? или что то подобное?
не совсем понял вопрос.
в том варианте который я описывал, файлы конечно нужно хранить в файловой системе.
если вопрос о сихронизации файлов на разных серверах при наличиии нескольких реплик, то там возможны разные решения, зависящие от операционки.
JASWGO
Yaroslav
выдели папку и настрой сохранение в неё.
у меня на ноде бек-енд и сохраняет и хостит файлы из разных подпапок одной большой папки, котораю можно считать чем то вроде стореджа.
Anonymous
Есть доки с постами и другая с комментами(получается надо хранить id поста), как связать в монгусе, чтобы получать пост, в нем массив комментов
yopp
Всем привет, подскажите столит ли закрывать подключение к базе данных каждый раз после вызова или драйвер всем рулит под капотом и задумывать об этом не нужно особо, драйвер java ?
для открытия соединения клиенту требуется несколько запросов, плюс если используется TLS обмен ключами может тоже занимать время.
современные монговские драйвера обычно используют connection pool и и сами управляют жизненным циклом соединений. закрывать соединение стоит когда ваше приложение/тред завершается
не знаю что там в java драйвере, но вы можете почитать документацию
yopp
не совсем понял вопрос.
в том варианте который я описывал, файлы конечно нужно хранить в файловой системе.
если вопрос о сихронизации файлов на разных серверах при наличиии нескольких реплик, то там возможны разные решения, зависящие от операционки.
зачем всё это, если для gridfs есть модули к тому-же nginx
First
спасибо)
Yaroslav
зачем всё это, если для gridfs есть модули к тому-же nginx
я просто описал свой опыт.
когда изучал вопрос (два года назад) пришел к выводу что использование gridfs чревато проблемами. возможно я ошибся, но теперешняя реализация работает отлично.
yopp
какого рода проблемами?
Yaroslav
какого рода проблемами?
это было два года назад. сейчас не вспомню. тогда потратил день на изучение проблемы и пришел к решению gridfs не использовать.
yopp
gridfs это не фича монги, это банальный набор соглашений как распиливать файлы на чанки и хранить их в монге. мне кажется там никаких изменений в спецификации от рождения не было :)
yopp
а это уже 10 лет
yopp
люди там хранят петабайты файлов и ничего
Yaroslav
возможно. я просто встретил несколько негативных отзывов на форумах. может там криворукие програмеры были.
ну и была необходимость связаная со спецификой нашей системы иметь доступ к некоторым файлам напрямую из файловой системы (вроде копировать их не через бек-енд).
посчитав все вместе решил gridfs не использовать.
yopp
gridfs очень тупое, достаточно производительное и отлично масштабируемое решение
Yaroslav
у меня опыта с монго тогда было полгода-год. так что может решение и не оптимальное, но пока неплохо работает. с тех пор с gridfs связываться не было необходимости.
Yaroslav
ок
Yaroslav
но как я сказал там комплекс причин был. в том числе возможность в будущем загнать файлы в какой-нибуть S3.
вобщем спорить не буду и никого не агитирую gridfs не использовать.
yopp
вот с причин и начинайте
Yaroslav
вот с причин и начинайте
там люди заговорили об express multer, а я как раз его и использую. просто захотел помочь.
ну и, может снова ошибаюсь, но хостить статику через nginx без монги будет быстрее чем с монгой, а JASWGO именно хостингом статики и интересовался.
если я неправ, то прошу прощения за неправильные советы.
Юрий
ребят, нужен хелп, подключил db, хочу реализовать регистрацию
app.get("/register", (request, response) => {
const {email, password} = request.query;
const newUser = new User({email, password});
console.log('saved');
newUser.save();
response.json({user: 'created '})
});
написал такой код, делаю с постмана post запрос и передаю log, pasw, но ничего не работает
Nick
а что именно ен работает?