Аза
Всем привет, поскажите, пожалуйста, как выбрать по диапозону дать, но учитвать только год и месяц? Составил такой запрос, но он включает и дату
{
"date": {
$gte: ISODate("2020-01-01T00:00:00.000Z"),
$lt: ISODate("2020-06-30T00:00:00.000Z")
}
}
Гена
@dd_bb
Daniil
Всем привет, поскажите, пожалуйста, как выбрать по диапозону дать, но учитвать только год и месяц? Составил такой запрос, но он включает и дату
{
"date": {
$gte: ISODate("2020-01-01T00:00:00.000Z"),
$lt: ISODate("2020-06-30T00:00:00.000Z")
}
}
сформировать правильно даты (с начала месяца или с начала года)
Ilya
всем привет
type: {type: Schema.Types.ObjectId, ref: TypeModel},
как в схеме можно указать что в значении будет либо objectId либо пусто ('')?
Eduard
всем привет, подскажите плиз как в монго можно зашифровать столбец, и искать по нему LIKE поиском
Eduard
везде пишут, что стало доступна технология с 4.2 FLE, а вот как пошаго настроить ее, хз
yopp
везде пишут, что стало доступна технология с 4.2 FLE, а вот как пошаго настроить ее, хз
https://docs.mongodb.com/manual/core/security-client-side-encryption/
yopp
всем привет, подскажите плиз как в монго можно зашифровать столбец, и искать по нему LIKE поиском
возможен поиск только по полному совпадению
Eduard
ок, я уже нашел статью. Правильно ли я понимаю, что тут всего 3 драйвера это поддерживают и на php я это не реализую?
Eduard
возможен поиск только по полному совпадению
а можете тыкнуть где написано про полное совпадение?
yopp
Afair, на рынке сейчас есть только Arca от Cossack Labs которая умеет более-менее в searchable encryption, и то, я не уверен что оно поддерживает LIKE запросы
yopp
ок, я уже нашел статью. Правильно ли я понимаю, что тут всего 3 драйвера это поддерживают и на php я это не реализую?
Почему 3? https://docs.mongodb.com/manual/core/security-client-side-encryption/#driver-compatibility-table
Eduard
ооо, спасибо большое
Eduard
а я уже на питоне мучаюсь
yopp
а можете тыкнуть где написано про полное совпадение?
https://docs.mongodb.com/manual/reference/security-client-side-encryption-limitations/
yopp
https://docs.mongodb.com/manual/reference/security-client-side-query-aggregation-support/#supported-query-operators
yopp
yopp
Я в принципе знаю только о Arca от Cassack Lab, которая умеет в searchable encryption, с кучей ограничений
Eduard
а вот так разве не сработает? db.users.find({name: /a/}) //like '%a%'
yopp
нет
yopp
поля шифруются на клиенте, на сервер передаётся зашифрованная BinData
Eduard
блин мне нужно в общем id и фио, фио зашифрованным хранить. Сначала попробовал на тарантуле циклом на луа по всей таблице проходить, расшифровывать и искать подстроку. такой цикл на луа на моих данных 2 сек работает, но при нагрузке вырастает до 11,5
yopp
сервер не имеет доступа к ключам шифрования, вы не можете искать по полям
Eduard
блин, ну т.е я могу всю коллекцию достать расшифрованную и циклом пробежаться и найти
yopp
вероятно
yopp
вы можете посмотреть на Arca, она умеет в PG/My SQL
yopp
https://www.cossacklabs.com/acra/
yopp
но searchable encryption это enterprise feature. а лицензия стоит от $5k в год
yopp
ещё когда-то был mylar (https://css.csail.mit.edu/mylar/), но что-то про него ничего не слышно
Eduard
а что такое mongocryptd? У меня возникает ошибка "connec
tion closed calling ismaster on 'localhost:27020'" я так понимаю нужно его поставить отдельно?
Eduard
вообще не понимаю, почему порт вдруг становится 27020, когда монго на 27017
Андрей
В монгусе лишние поля не отдавать, это делается populate? Что то не получается.
Андрей
Daniil
В монгусе лишние поля не отдавать, это делается populate? Что то не получается.
Нет, это делается проекцией, в find/findOne и возможно в прочие методы вторым аргументов можно передавать projection-объект
Андрей
Захар
Захар
у меня data, add, sum должно быть
Daniil
Daniil
И не нужен он
Захар
ну программа как работала так и работает, а вот глазу непривычно
Daniil
Порядок ключей в объекте не имеет значения, это же не массив
Igor
А подскажите такую вещь, есть у меня mongoose и там модельки. БД уже существует. Вот добавляю я в Scheme поле. к примеру active c параметрами типа
active: {
type: Boolean,
default: true,
},
И соответственно на новых это поле есть, на старых записях нет. Есть какой-то способ mongoose отдавать поле active для старых записей тоже в значении default. Или проще пробежаться по всем записям и обновить их?
Daniil
А подскажите такую вещь, есть у меня mongoose и там модельки. БД уже существует. Вот добавляю я в Scheme поле. к примеру active c параметрами типа
active: {
type: Boolean,
default: true,
},
И соответственно на новых это поле есть, на старых записях нет. Есть какой-то способ mongoose отдавать поле active для старых записей тоже в значении default. Или проще пробежаться по всем записям и обновить их?
mongoose будет отдавать дефолтное значение и для уже существующих документов и для тех, которые были добавлены уже после изменения схемы
Igor
mongoose будет отдавать дефолтное значение и для уже существующих документов и для тех, которые были добавлены уже после изменения схемы
Ох! Да, нашел, я с find пытался вытянуть вместо findOne и логично что в первом случае там arr.active андефайнд, потому что массив.
Anonymous
Добрый вечер! Как можно этот запрос написать без применения подзапроса?
SELECT COUNT(*) FROM org_type_on_related_genre WHERE genre_id = :deletedGenreId and org_type_id IN (SELECT org_type_id FROM org_type_on_related_genre GROUP BY org_type_id HAVING count(*) > 1
нужно получить количество строк, в которых genre_id равен искомому id и при этом org_type_id этой строчки в данной таблице не уникален
твой братишка
добрый вечер.
есть один вопрос по mongodb. кто знает как решить, подскажите, пожалуйста:
есть пачка данных. сгребаю их в список. чутка правлю. затем хочу залить обновленный список словарей(то есть именно обновить старые записи).
data = [{‘bar’: ‘foo’}, …]
update_many(filter={}, update=data) - не работает(
update_many(filter={}, update={'$set': i for i in data}) - перезаписывает только последнюю запись в списке
(дело происходит в python. AsyncIOMotorClient)
Александр
Это будет один запрос
Daniil
Bulkwrite это сетевая оптимизация и не более
Daniil
Внутри запросы будут выполняться по очереди
Александр
Всё равно быстрее чем по одному)
Daniil
добрый вечер.
есть один вопрос по mongodb. кто знает как решить, подскажите, пожалуйста:
есть пачка данных. сгребаю их в список. чутка правлю. затем хочу залить обновленный список словарей(то есть именно обновить старые записи).
data = [{‘bar’: ‘foo’}, …]
update_many(filter={}, update=data) - не работает(
update_many(filter={}, update={'$set': i for i in data}) - перезаписывает только последнюю запись в списке
(дело происходит в python. AsyncIOMotorClient)
Вы можете сделать одинаковый апдейт n документов одним запросом, но если у вас разные апдейты для разных документов, то это будет n разных запросов
Daniil
Добрый вечер! Как можно этот запрос написать без применения подзапроса?
SELECT COUNT(*) FROM org_type_on_related_genre WHERE genre_id = :deletedGenreId and org_type_id IN (SELECT org_type_id FROM org_type_on_related_genre GROUP BY org_type_id HAVING count(*) > 1
нужно получить количество строк, в которых genre_id равен искомому id и при этом org_type_id этой строчки в данной таблице не уникален
Так сразу агрегацию не подскажу, но match по нужному genre_id, потом группировка по org_type_id и после фильтр по кол-ву элементов в получившихся группах
Захар
как получить последнюю запись без получения всех записей?
твой братишка
@d_lebedinsky @a1exo
спасибо вам большое за помощь.
а то я обкурил весь стековерфло, гугл. думал, может со мной что не так)
Daniil
как получить последнюю запись без получения всех записей?
Выборка с limit = 1 и сортировкой по дате создания документа
Захар
Выборка с limit = 1 и сортировкой по дате создания документа
в инете все пишут .find()
а если бд огромная? это все получить надо
Daniil
в инете все пишут .find()
а если бд огромная? это все получить надо
Как узнать, что документ был создан последним не прочитав все остальные документы?
Daniil
Вам это все на клиент не приедет, а произойдёт на уровне базы
Daniil
И вернётся уже 1 документ
Daniil
Не забываем только про ограниченный объём памяти, доступный для сортировки, нужны индексы
Захар
Daniil
Вам нужен индекс { date: -1 }
Daniil
И делайте выборку выше указанным методом
Daniil
Кстати, если это какой-то частый запрос в каком то контексте (например последнее сообщение в чате), то имеет смысл хранить последнюю запись в связанном объекте (в примере нужно хранить последнее сообщение в документе чата)
Daniil
Потом это же нужно использовать для сортировки
Daniil
Посмотрите как создавать индексы и как использовать сортировку
Захар
я окончательно запутался
Захар
мне не уперлась эта сортировка
Захар
просто получить последнюю запись по дате
Daniil
Выборка с limit = 1 и сортировкой по дате создания документа
Это можно сделать только таким образом
Nick
Добрый вечер! Как можно этот запрос написать без применения подзапроса?
SELECT COUNT(*) FROM org_type_on_related_genre WHERE genre_id = :deletedGenreId and org_type_id IN (SELECT org_type_id FROM org_type_on_related_genre GROUP BY org_type_id HAVING count(*) > 1
нужно получить количество строк, в которых genre_id равен искомому id и при этом org_type_id этой строчки в данной таблице не уникален
вам нужно в агрегации сделать первым стейджом group для подсчета уникальнах id с использованием $sum, потом стейдж match с фильтрацие больше 1
после фильтрации делаете $lookup к этой же коллекции для выборки доков c вашим доп услвоием genre_id и потом $project для подсчета количества элементов в массивах и потом сверху группировку с _id константой для общейго суммирования
Дмитрий
Товарищи подскажите пожалуйста
Как мне сначала составить запрос а потом его выполнить?
Например у меня есть роут, который принимает доп параметры, и взаивисмости от параметров мне нужно добавить к запросу populate
Например:
let roles = await Role.find({});
if (params.permissions) {
roles.populate('roles');
}
типо такого
Daniil
Товарищи подскажите пожалуйста
Как мне сначала составить запрос а потом его выполнить?
Например у меня есть роут, который принимает доп параметры, и взаивисмости от параметров мне нужно добавить к запросу populate
Например:
let roles = await Role.find({});
if (params.permissions) {
roles.populate('roles');
}
типо такого
По моему пустой populate не кидает ошибку