Асель
Андрей
Да я первый раз только запустил на медленном хранилище. 500гиг в ZSTD щас коллекция. Прирастать быстро будет.
Андрей
2 млрд доков
Асель
Андрей
Недельку погоняю, напишу. Еще пока нашёл как заставить в новом окружении ресториться, т.к. не распозновало дампы. Пришлось форум ковырять.
Асель
спасибо) я логискую копию накатывала на новое окружение
Андрей
А еще вопрос. Бэкапы че-то не отменяются по cancel. Отдает сообщение, что стартовала отмена бэкапа и до свидания, бэкап идёт, отмена вечна. Только килять агентов приходится. У вас норм отменяется?
Асель
не помню, к сожалению
я давно тестила
но возможно и правда были проблемы с отменой, смутно помню
Андрей
Есть 4.4 база, с которой пока не слезть, и есть в 4 монге проблема с компактами. Во всех остальных версиях её нет, даже в 3 всё отлично.
Компакт начинает есть память и сваливается с compaction halted by eviction pressure: Device or resource busy. Удушение по кэшу бесполезно. Если ресторнуть базу в любую другую версию в таком же окружении - 3, 5, 6, 7, компактится и память ваще не ест почти, а четвёрка злая 🤷.
Андрей
Есть идеи как такое полечить у кого-нибудь? Я перепробовал разные миноры. Поднимаешь бины 5.0 например на этих данных и проблему как рукой сняло, но на 5 пока поезд поедет(
OZOD
привет у меня не получается match с id
OZOD
OZOD
yopp
Есть 4.4 база, с которой пока не слезть, и есть в 4 монге проблема с компактами. Во всех остальных версиях её нет, даже в 3 всё отлично.
Компакт начинает есть память и сваливается с compaction halted by eviction pressure: Device or resource busy. Удушение по кэшу бесполезно. Если ресторнуть базу в любую другую версию в таком же окружении - 3, 5, 6, 7, компактится и память ваще не ест почти, а четвёрка злая 🤷.
Если вы восстанавливаете данные из дампа, то compact не будет иметь эффекта, так как данные ещё не перезаписывались и пустых слотов в WT ещё нет. Вероятно по этой причине проблема у вас не воспроизводится.
Думаю что с аварийным завершеннием процесса это вот это: https://jira.mongodb.org/browse/SERVER-46876, а значит начиная с 4.4.4 вместо падения, будет возвращаться стаус с ошибкой
Подскажите, какой у вас юзкейс в котором требуются компакты?
yopp
Скорее всего вам нужно из строки сделать инстанс ObjectId ObjectId("bebebee7e7e9b7f4194e000001")
Andrey
Есть 4.4 база, с которой пока не слезть, и есть в 4 монге проблема с компактами. Во всех остальных версиях её нет, даже в 3 всё отлично.
Компакт начинает есть память и сваливается с compaction halted by eviction pressure: Device or resource busy. Удушение по кэшу бесполезно. Если ресторнуть базу в любую другую версию в таком же окружении - 3, 5, 6, 7, компактится и память ваще не ест почти, а четвёрка злая 🤷.
4.4.19 - стоит, 26b записей, и пишется в нее и читается...не сталкивался с такими проблемами.
P.S. всё понял, я просто не делал compact.
Андрей
Если вы восстанавливаете данные из дампа, то compact не будет иметь эффекта, так как данные ещё не перезаписывались и пустых слотов в WT ещё нет. Вероятно по этой причине проблема у вас не воспроизводится.
Думаю что с аварийным завершеннием процесса это вот это: https://jira.mongodb.org/browse/SERVER-46876, а значит начиная с 4.4.4 вместо падения, будет возвращаться стаус с ошибкой
Подскажите, какой у вас юзкейс в котором требуются компакты?
Спасибо, знаю как работает компакшн, у меня сотни серверов на поддержке, и описал ведь всё, включая ап версии подменой бинов 😉. Проблема не воспроизводится потому, что коллекции компактятся после чистки, а в четверке компакт отваливается.
Андрей
Разве бывает больше одной цели компакта? 🤨 Отдать место на диске.
OZOD
у меня не получаеться с id
OZOD
OZOD
Nick
Проверьте тип ид в базе, скорее всего он будет не строкой а ObjectId
OZOD
OZOD
OZOD
Не получается
Maxmudjon
bookModelni ko’rsatingchi
OZOD
OZOD
OZOD
1 мин
Андрей
Спасибо, знаю как работает компакшн, у меня сотни серверов на поддержке, и описал ведь всё, включая ап версии подменой бинов 😉. Проблема не воспроизводится потому, что коллекции компактятся после чистки, а в четверке компакт отваливается.
@dd_bb Это, чтоб сомнений о "сказках" от меня не было. Бок во всей 4 линейке. Могу то же самое на видео записать со всеми версиями. В 3, 5, 6 и 7 всё красиво кроме того, что тройка даунтаймит базу 😒
Андрей
Андрей
Андрей
Не важно какого объёма коллекция, не важно сколько чищу, если только не под ноль, не важно сколько места на диске свободно, не важно 4, 8, 10G рамы, в 4 монге компакт фэйлится.
web
Андрей
Может ей, конечно, надо 100500 гиг рамы как и для восстановления базы в 3 гига весом с 3к коллекций в дефолте, а то вы советовали всю СУБД увалить, чтоб вкорячить кэшсайз, и только потом ресториться. И то и то - фэйспалм.
Plebey
всем привет есть тут те кто работал SQL который работал с
Big Data
Parquette
Dune
BigQuery
Андрей
Работал sql который работал с биг датой 🤨 🧐 ❓Ниче не понятно, но очень интересно. Хадупы с hbase админю. Это еще биг дата или уже нет, кроме того, что это помойка еще та? 😄
Магомед
"Всем привет. Здесь есть те кто пишет сервера на haskell?"
Магомед
или
Магомед
"Здесь есть, кто работал с монгой?"
Магомед
Обожаю тех, кто задаёт такие вопросы!
Магомед
Plebey
Магомед
Андрей
та мускуль при чем? 😄
Plebey
я не знаю, я везде ищу человека который сможет помочь
Андрей
https://t.me/hadoopusers
Andrey
Всем привет,я правильно понимаю чтобы динамически подгружать фотки ,то на бд мы должны залить путь до фотки в корне проекта?
Andrey
Андрей
в чате дата инженегры могут помочь, если не придется клещами тащить информацию
Max
Коллеги, нужна помощь)
В Монге есть документ
{
...,
users: [
{
name: "Name 1",
surname: "Surname 1",
email: "my1@mail.ru"
},
{
name: "Name 2",
surname: "Surname 2",
email: "my2@mail.ru"
},
]
}
при обновлении документа (findOneAndUpdate)
отправляю users: [
{
name: "Name 3",
surname: "Surname 3",
email: "my3@mail.ru"
}
]
и весь массив users перезаписывается на новое значение, а не дополняется, как я ожидал изначально.
Это, конечно, логично, но у меня не получилось найти способа дополнить, а не перезаписать.
И хотелось бы ещё в объекте массива users сделать поле email уникальным.
Подскажите куда смотреть)
Благодарю)
Aleksandr
Коллеги, нужна помощь)
В Монге есть документ
{
...,
users: [
{
name: "Name 1",
surname: "Surname 1",
email: "my1@mail.ru"
},
{
name: "Name 2",
surname: "Surname 2",
email: "my2@mail.ru"
},
]
}
при обновлении документа (findOneAndUpdate)
отправляю users: [
{
name: "Name 3",
surname: "Surname 3",
email: "my3@mail.ru"
}
]
и весь массив users перезаписывается на новое значение, а не дополняется, как я ожидал изначально.
Это, конечно, логично, но у меня не получилось найти способа дополнить, а не перезаписать.
И хотелось бы ещё в объекте массива users сделать поле email уникальным.
Подскажите куда смотреть)
Благодарю)
Для добавления в массив используй $push:
Plebey
ищу человека который работает с BigQuery и dune.com?
Max
Max
Для добавления в массив используй $push:
Чуток изменил структуру, пробую и ошибка)
await companyModel.findOneAndUpdate(
{ _id },
{ users: { $push: user } },
{ new: true, runValidators: true }
);
user = {
name: {
firstName: "Name 5",
lastName: "Surname 5"
},
email: "my5@mail.ru"
}
Max
Max
хотя структуру юзера передаю корректную
user = {
name: {
firstName: "Name 5",
lastName: "Surname 5"
},
email: "my5@mail.ru"
}
Max
Где я косячу?)
Max
Max
yopp
уникальным внутри массива?
Max
уникальным внутри массива?
Да, внутри объекта, который находится в массиве, чтобы в объектах, которые находятся в массиве данное поле не повторялось.
Вопрос немного странный, т.к.массивы в объектах ну уж точно не сравниваются, я думаю, но вдруг есть решение, которое уже встречалось.
Max
И как я понимаю, после данного метода findOneAndUpdate прочейнить и вернуть только ограниченное количество полей из монги не получится, чтобы в приложухе не фильтровать возвращённый документ?
Max
А
Здравствуйте, задам простой вопрос - у меня база монго дб, в общем стоит подключаться к базе только когда нужно произвести операцию и отключится либо иметь постоянный клиент к базе?
А
ответ на вопрос найден
кому интересно https://qna.habr.com/q/299374
Artem👨🏻💻🛥🐋
всем привет! подскажите пожалуйста, почему avg считается неверно?
обычная формула и критерии
за указанный период найти все аукционы по критериям, проссумировать показатели в рамках каждого аукциона и взять avg
avg в данном случае от sum(A)/sum(b) - но вот тут мне mongo отдает неверный результат
если я это считаю сам у меня верно а в результатах запроса -нет
базовый случай когда за выбранный период в коллекции всего два документа и даже по нему неверно
речь идет про total_avg_formula - вот тут https://pastebin.com/bD1K9KPe. 😇
Nick
Nick