так удобнее код туда-сюда таскать

у меня обычно это выглядит как-то так

Это бранчи?)

неа

это эксперименты

в гите нет нормального поиска, по этому так удобнее

т.е. это просто отдельные проекты или эксперименты внутри одного проекта?)

Просто смущает версионность которую я вижу, но может я себе это придумал

это эксперименты в рамках одного проекта

Необычно, обычно просто либо бранчами организуют, либо тагами делят)

я повторю: в гите нет поиска нормального

потом очень часто надо сравнивать результаты

потом очень часто надо сравнивать результаты

А git diff не помогает? Или вы про какое-то другое сравнение, а-ля бенчмарки?

7 и 8 декабря в Москве состоится мастер-класс «MongoDB: Практическая схемотехника 2» Мастер-класс позволит за два дня прокачать навыки в дизайне документов и начать применять их на практике: — выявлять и анализировать проблемы с производительностью — формулировать задачи и подбирать подходящую схему — внедрять изменения в продакшене Поговорим о том, когда нужно и когда не нужно думать о схеме. Разберём основные паттерны проектирования документов: когда имеет смысл, когда нет, какие сильные и слабые стороны. Проверим паттерны на практике. Обсудим, что можно делать и что лучше не делать, когда нет схемы. Мастер-класс рассчитан на инженеров, архитекторов, системных аналитиков и руководителей разработкой. Для участников нашей группы по промокоду TGMNGRU1219 специальная цена: 24,500₽. Торопитесь, осталось всего 10 мест Прочитать программу и купить билеты

теоретически ничто не мешает иметь в каждой такой папке отдельный бранч одного и того же репозитория

и называть их не числами, а конкретно названиями экспериментов

теоретически ничто не мешает иметь в каждой такой папке отдельный бранч одного и того же репозитория

Мешает. Мне будет неудобно. Сейчас мне очень удобно, я могу быстро решать свои задачи, я могу одновременно запускать разные эксперименты, могу таскать между ними код без очень муторного и требующего кучи лишних движений переключения между гитом. Но это обсуждение не для этой группы.

мозг сломал... надо сгруппировать по полю все документы колелкции и выбрать из группы самый старый

мозг сломал... надо сгруппировать по полю все документы колелкции и выбрать из группы самый старый

group unwind sort limit

Я подумал сразу сорт по всем пройтись а потом группировать

$reduce

привет - словил Connections % of configured limit has gone above 80 cluster0-shard-00-01-phjcp.mongodb.net:27017 in Cluster0-shard-0 как можно почистить пул?

db.runCommand( { killAllSessions: [ ] } ) ?

Никак

Ищите где у вас текут соединения

Ищите где у вас текут соединения

https://stackoverflow.com/questions/57368288/force-close-connections-on-mango-db-that-runs-in-atlas-cloud

это разовая акция)

маленький разовый скрапер который дапмит данные в монгу

диплом пишу)

Ограничьте количество соедениний которые ваш скраппер устанавливает

диплом под угрозой

Ограничьте количество соедениний которые ваш скраппер устанавливает

да я понимаю, сейчас так и сделаю,,, но блин такое чувство что монга их настакала и не дисконектила несколько месяцев)

Нет

Монга не может «стакать», это обычные сокеты

Закрыли сокет, закрылось соединение

понял, значит у pymongo есть дефолтное значение для пула коннектов

Да, скорее всего что-то около 5

обычно с монгузом работаю - ему если явно не скажешь что юзать конекшен пул, он кажись будет юзать 1 конекшен

хотя может я ошибаюсь

У вас скрапперы как запускаются?

У вас скрапперы как запускаются?

ручками, разово... видно когда дебажил, запускал подряд много раз

потому и вылез за пул

Schedule кейс есть у кого под рукой?

У меня есть массив с объектами, мне нужно сделать поиск по одному ключу таким образом: человек ввёл часть кода и ему отдались все подходящие объекты. Вопрос: как такое сделать? Знаю про вариант брать всё и уже фильтровать, но имеет ли данная реализация смысл? 1 скрин - объект 2 скрин - то, как я пытаюсь сделать

Если нужна будет ещё инфа - могу добавить

У меня есть массив с объектами, мне нужно сделать поиск по одному ключу таким образом: человек ввёл часть кода и ему отдались все подходящие объекты. Вопрос: как такое сделать? Знаю про вариант брать всё и уже фильтровать, но имеет ли данная реализация смысл? 1 скрин - объект 2 скрин - то, как я пытаюсь сделать

find({ "code": /k3bds.*/ })

Это как $regex

.* это любые символы Работает как string.StartsWith("k3bds")

find({ "code": /k3bds.*/ })

а regexp не дурной тон?

или в данном случае - никак?

или в данном случае - никак?

Других способов не знаю

Других способов не знаю

в любом случае - спасибо за уделённое время :)

Всем доброй ночи кто не спит, разрабатываю backend на nodejs + mongoose, и пишу довольно обычный express маршрут, app.get('/user/:id') Валидацию пишу на уровне mongo shema. И вдруг потянуло посмотреть что использует под собой монгусовский метод user.findOne. Оказалось что обычный find. Пошел я в GUI и выполнил такой запрос. И чет так страшно стало... Я конечно нагуглил что можно защиться от этого вот так. mongoose.Types.ObjectId.isValid(id); Но блин, все равно страшно, сколько я еще чего не заметил и тд. Как вообще нормально валидацию делать на монге? Особенно опыт nodejs интересен. Статьи гуглил, особо ответа на свой вопрос не нашел.

Валидация входящих к параметров кмк к монге не имеет особого отношения

mongoose провалидирует входящий параметр в findOne и попытается закастить его к objectid, если у него не получится, то выкинет ошибку

mongoose провалидирует входящий параметр в findOne и попытается закастить его к objectid, если у него не получится, то выкинет ошибку

он же вроде его просто в ковычки обернет и все, нет?

нет

он же вроде его просто в ковычки обернет и все, нет?

objectid это не строка, а слайс байт

Т.е мне не обязательно вот таким заниматься в коде, а достаточно просто отловить ошибку? mongoose.Types.ObjectId.isValid(id);

файнд быстрее отрабатывает потому чта

а regexp не дурной тон?

нет, если использовать индексы и префиксное выражение (начать с ^ или \A) https://docs.mongodb.com/manual/reference/operator/query/regex/#index-use

Есть способ сортировки масива внутри документа? Или по старинке unwind->sort->group?

Добрый день, скажите пожалуйста, можно ли с помощью команды mongoexport делать не из одной коллекции , а из нескольких, связанных между собой по ключу

Добрый день, скажите пожалуйста, можно ли с помощью команды mongoexport делать не из одной коллекции , а из нескольких, связанных между собой по ключу

Насколько я знаю, в монге нет нативно такого понятия как связи.

Приветствую. find() умеет искать по более чем 1-му параметру? Пробую такой запрос: const records = await Subscription .find( { name: { $regex: req.params.name_filter || '' } }, { price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } } )

Приветствую. find() умеет искать по более чем 1-му параметру? Пробую такой запрос: const records = await Subscription .find( { name: { $regex: req.params.name_filter || '' } }, { price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } } )

В ещё один объект это нужно

И по моему это через агрегации делать надо

В ещё один объект это нужно

Внутри find, внутри его круглых скобок?

Приветствую. find() умеет искать по более чем 1-му параметру? Пробую такой запрос: const records = await Subscription .find( { name: { $regex: req.params.name_filter || '' } }, { price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } } )

find({ name: ...., price: .... })

Сейчас .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) редактору не нравятся фигурные скобки у price, просит запятую.

Сейчас .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) редактору не нравятся фигурные скобки у price, просит запятую.

Что значит не нравятся?

Сейчас .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) редактору не нравятся фигурные скобки у price, просит запятую.

Поставь её в конец тогда

Вот такое .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) крашит сервер.

А в mongoexport можно фильтр накладывать, то есть например записи только за сегодня?

Вот такое .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) крашит сервер.

price: {$gte: 0, $lte: 100}

у вас там действительно лишние скобки + к этому попытка сравнения по строке в случае дефолта

Вот так не крашит сервер, хотя пока не находит. Может, min или max там строками вместо Integer. .find({ name: { $regex: req.params.name_filter || '' }, price: { $gte: req.params.min || '', $lte: req.params.max || '' } })

Сейчас .find({ name: { $regex: req.params.name_filter || '' }, price: { { $gte: req.params.min || '' }, { $lte: req.params.max || '' } } }) редактору не нравятся фигурные скобки у price, просит запятую.

я бы query заранее бы объявлял

Вот так не крашит сервер, хотя пока не находит. Может, min или max там строками вместо Integer. .find({ name: { $regex: req.params.name_filter || '' }, price: { $gte: req.params.min || '', $lte: req.params.max || '' } })

что то типа let query = {} if(req.params.name_filter){ query['$regex'] = req.params.name_filter; } if(req.params.min||req.params.max){ query['price'] = {}; if(req.params.min) { query['price']['$gte'] = req.params.min; } if(req.params.max ){ query['price']['$lte'] = req.params.max; } } .find(query)