отправляю на сервер картинку: File {name: "11.jpg", lastModified: 1611323296316, lastModifiedDate: Fri Jan 22 2021 15:48:16 GMT+0200 (за східноєвропейським стандартним часом), webkitRelativePath: "", size: 26225, …} в итоге req.body приходит {}

всем доброго дня. нужна помощь (платная) составить пару аггрегаций. есть у кого-нибудь полчаса свободных? напишите в личку плз

все еще актуально

отправляю на сервер картинку: File {name: "11.jpg", lastModified: 1611323296316, lastModifiedDate: Fri Jan 22 2021 15:48:16 GMT+0200 (за східноєвропейським стандартним часом), webkitRelativePath: "", size: 26225, …} в итоге req.body приходит {}

картинки нужно отправлять с помощью FormData

можно пример

тоесть через форму?

можно пример

google send picture form data js

ок, пока все молчат спрошу тут. делаю аггрегацию { $sortByCount: '$createdAt' }, { $project: { _id: 0, key: '$_id', value: '$count' } } возвращает типо такого { "key": "2020-08-26", "value": 121445 }, { "key": "2020-10-08", "value": 161190 }, { "key": "2021-01-09", "value": 106364 }, дальше я хочу отсортировать по порядку (и key и value нужно) но это не работает { $sortByCount: '$createdAt' }, { $project: { _id: 0, key: '$_id', value: '$count' } } { $sort: { value: -1 } }

а что именно не работает?

что возвращает sort шаг?

собственно этот я вроде сделал, но не уверен что оптимально [ { "$project":{ "date":{ "$dateToString":{ "date":"$createdAt", "format":"%Y-%m-%d" } } } }, { "$group":{ "_id":"$date", "count":{ "$sum":1 } } }, { "$project":{ "_id":0, "key":"$_id", "value":"$count" } }, { "$project":{ "key":{ "$dateFromString":{ "dateString":"$key", "format":"%Y-%m-%d" } }, "value":"$value" } }, { "$sort":{ "key":-1 } } ] и у мне еще штуки 3 подобных надо сделать

двойная конвертация дат выглядит странно

вытягиваю данные для графиков

не обязательно делать первый $project, вы можете сразу в _id указать $dateToString предпоследние два $project можно объеденить в один

благодарю, исправлю

конвертировать назад в дату вы можете ещё в $group

Как-то так [ { "$group": { "_id": { "$dateFromString": { "dateString": { "$dateToString": { "date": "$createdAt", "format": "%Y-%m-%d" } } } }, "value": { "$sum": 1 } } }, { "$project": { "_id": 0, "key": "$_id", } }, { "$sort": { "key": -1 } } ]

🤯

привет а кто-то дружил джангу и монгу? Использую djonga

Всем привет, подскажите пожалуйста можно ли gridfs распараллелить? Сейчас с питон коннектором пробую(pymongo) в несколько процессов, и что-то оно походу лочится(

В gridfs примерно 200к файлов, в среднем за 8 секунд читаются. Не хотелось бы ждать 20 дней(

Всем привет, подскажите пожалуйста можно ли gridfs распараллелить? Сейчас с питон коннектором пробую(pymongo) в несколько процессов, и что-то оно походу лочится(

а там же есть асинк либочка для монги вроде

а там же есть асинк либочка для монги вроде

Асинк не помогает с чтением файлов. Ну или я что-то не понимаю в нем

В gridfs примерно 200к файлов, в среднем за 8 секунд читаются. Не хотелось бы ждать 20 дней(

а нельзя с бека эти файлы отдавать стримом, чанками или распагинировать? или нужно прям все прочитать

а нельзя с бека эти файлы отдавать стримом, чанками или распагинировать? или нужно прям все прочитать

Это не для бэка, там дальше пайплайн с обработкой этих данных

В gridfs примерно 200к файлов, в среднем за 8 секунд читаются. Не хотелось бы ждать 20 дней(

а должно быть быстрее? что по процу/дискам/сете на монге?

а должно быть быстрее? что по процу/дискам/сете на монге?

Ну если параллелить то должно. Тут порядок важен, а проц и диски уже вещь вторая

ищите где узкое место, если на монге ресурсы еще есть и сеть позволяет больше пересылать, то вопрос в коде

Вопрос можно ли распараллелить чтение из гридфс, это и есть узкое место

Вопрос можно ли распараллелить чтение из гридфс, это и есть узкое место

Запросы и так выполняются параллельно, на сколько у вас хватает дисковой подсистемы

Запросы и так выполняются параллельно, на сколько у вас хватает дисковой подсистемы

Хм, судя по тому что я вижу - нет. Возможно проблема в коннекторе

Вероятнее всего. Если монга не полностью утилизирует дисковую систему, выбрав всю пропускную способность, то проблема где-то раньше

Возможно вам не хватает размера пула соединений

И из-за этого операции блокируются пока хоть одно соединение не вернётся в пул

Qq all

всем привет, кто-нибудь, может, так делал уже. Если я делаю вот такую выборку this.chatsModel.aggregate([ { $lookup: { from: 'users', localField: 'usersData.userId', foreignField: '_id', as: 'users', }, }, { $match: queryToDb, }, { $skip: skip }, { $limit: limit, }, ]); как я могу добавить туда $addFields, в котром бы ещё указал что-то вроде $addFields: { usersData.username: { $match: [ '$users._id': 'usersData.userId' ] } } синтаксически он не позволяет так сделать, нагуглить что-либо более-менее подходящее пока тоже не удаётся

$set

Хм, судя по тому что я вижу - нет. Возможно проблема в коннекторе

Может в pythone где в коде в 1 процесс идет. Покажите как организовали. У меня 6 процессов просто в Монгу пишут достаточно быстро, тоже pymongo

$set

сенк ю со мач, сейчас гляну, що це

$set

теперь он ругается Invalid $addFields :: caused by :: Unrecognized expression '$set' когда я делаю так { $lookup: { from: 'users', localField: 'usersData.userId', foreignField: '_id', as: 'users', }, }, { $addFields: { 'usersData.username': { $set: { $match: { $eq: ['$users._id', 'usersData.userId'] } } } } }

Всем привет в Mongodb у меня в базе есть два Object как могу удалить их по ID сделал так но не удаляет можете помочь исправить ошибку ?

Всем привет в Mongodb у меня в базе есть два Object как могу удалить их по ID сделал так но не удаляет можете помочь исправить ошибку ?

Сразу два или отдельно?

отдельно

по ID

remove должно работать, правильный _id передаёте? Попробуйте findByIdAndRemove

findByIdAndRemove

по ID

скорее всего строку шлёшь в квери. Попробуй import { ObjectId } from 'mongodb' _id : new ObjectId(_id)

Тоже пробовал

скорее всего строку шлёшь в квери. Попробуй import { ObjectId } from 'mongodb' _id : new ObjectId(_id)

сейчас попробую

скорее всего строку шлёшь в квери. Попробуй import { ObjectId } from 'mongodb' _id : new ObjectId(_id)

Зачем предлогает чтобы я сделал так ?

На примую import { ObjectId } from 'mongodb' не работает

скорее всего строку шлёшь в квери. Попробуй import { ObjectId } from 'mongodb' _id : new ObjectId(_id)

Так тоже не работает

_id: new ObjectId(_id)

сделал так получаю 500 ошибку

сделал так получаю 500 ошибку

ты бы доку открыл. remove промис возвращает

сделал так получаю 500 ошибку

а _id то у тебя точно приходит ? может он undefind ну и его не получаается привести к ObjectId. консольку перед вызовом remove воткни глянь что там у тебя в _id

а _id то у тебя точно приходит ? может он undefind ну и его не получаается привести к ObjectId. консольку перед вызовом remove воткни глянь что там у тебя в _id

в console вижу что приходит

и в базе вот ID

Вот где проблема ?

В базе не удаляется

ага

Может в pythone где в коде в 1 процесс идет. Покажите как организовали. У меня 6 процессов просто в Монгу пишут достаточно быстро, тоже pymongo

https://t.me/ru_python/1391772

https://t.me/ru_python/1391772

С телефона, а в логах монги эти коннекты есть?

С телефона, а в логах монги эти коннекты есть?

Ну оно работает, наверняка есть

С телефона, а в логах монги эти коннекты есть?

Кстати запустил щас в баше mongofiles через & девять get’ов, все равно занимает столько же времени

Кстати запустил щас в баше mongofiles через & девять get’ов, все равно занимает столько же времени

А какого размера файлы?

Что в логах монги? Как себя диски чувствуют?

А какого размера файлы?

В районе пары десятков мегов

Что в логах монги? Как себя диски чувствуют?

Я девять файлов для теста качаю, кажется это не может в диск упереться

Ну мб mongofiles один коннект может только держать, потому что я параллельно 9 открываю

аля mongofiles --uri url -d=db get 1610702410.wpd & mongofiles --uri url -d=db 1567156526.wpd & ...

Кстати запустил щас в баше mongofiles через & девять get’ов, все равно занимает столько же времени

а сколько времени занимает?

Я девять файлов для теста качаю, кажется это не может в диск упереться

Это первое куда стоит смотреть

а сколько времени занимает?

~ 70 секунд, что по одному, что параллельно

Что в питоне, что в mongofiles

А у вас индексы в gridfs коллекциях точно есть?