Асель
pitr: enabled: true oplogOnly: true Дальше логический фул и оплог слайсы сам делает каждый заданный интервал или инкременталки делаете?
сколько по времени у вас занимает восстановление из физической копии и какие по объему базы?
Андрей
Да я первый раз только запустил на медленном хранилище. 500гиг в ZSTD щас коллекция. Прирастать быстро будет.
Андрей
2 млрд доков
Андрей
Недельку погоняю, напишу. Еще пока нашёл как заставить в новом окружении ресториться, т.к. не распозновало дампы. Пришлось форум ковырять.
Асель
спасибо) я логискую копию накатывала на новое окружение
Андрей
А еще вопрос. Бэкапы че-то не отменяются по cancel. Отдает сообщение, что стартовала отмена бэкапа и до свидания, бэкап идёт, отмена вечна. Только килять агентов приходится. У вас норм отменяется?
Асель
не помню, к сожалению я давно тестила но возможно и правда были проблемы с отменой, смутно помню
Андрей
Есть 4.4 база, с которой пока не слезть, и есть в 4 монге проблема с компактами. Во всех остальных версиях её нет, даже в 3 всё отлично. Компакт начинает есть память и сваливается с compaction halted by eviction pressure: Device or resource busy. Удушение по кэшу бесполезно. Если ресторнуть базу в любую другую версию в таком же окружении - 3, 5, 6, 7, компактится и память ваще не ест почти, а четвёрка злая 🤷.
Андрей
Есть идеи как такое полечить у кого-нибудь? Я перепробовал разные миноры. Поднимаешь бины 5.0 например на этих данных и проблему как рукой сняло, но на 5 пока поезд поедет(
OZOD
привет у меня не получается match с id
OZOD
OZOD
не получилось
yopp
Есть 4.4 база, с которой пока не слезть, и есть в 4 монге проблема с компактами. Во всех остальных версиях её нет, даже в 3 всё отлично. Компакт начинает есть память и сваливается с compaction halted by eviction pressure: Device or resource busy. Удушение по кэшу бесполезно. Если ресторнуть базу в любую другую версию в таком же окружении - 3, 5, 6, 7, компактится и память ваще не ест почти, а четвёрка злая 🤷.
Если вы восстанавливаете данные из дампа, то compact не будет иметь эффекта, так как данные ещё не перезаписывались и пустых слотов в WT ещё нет. Вероятно по этой причине проблема у вас не воспроизводится. Думаю что с аварийным завершеннием процесса это вот это: https://jira.mongodb.org/browse/SERVER-46876, а значит начиная с 4.4.4 вместо падения, будет возвращаться стаус с ошибкой Подскажите, какой у вас юзкейс в котором требуются компакты?
yopp
не получилось
Скорее всего вам нужно из строки сделать инстанс ObjectId ObjectId("bebebee7e7e9b7f4194e000001")
Андрей
Разве бывает больше одной цели компакта? 🤨 Отдать место на диске.
OZOD
у меня не получаеться с id
OZOD
OZOD
не получилось
Nick
не получилось
Проверьте тип ид в базе, скорее всего он будет не строкой а ObjectId
OZOD
OZOD
Не получается
Nick
ObjectId не получается
Так какой тип в базе?
Maxmudjon
не получилось
bookModelni ko’rsatingchi
OZOD
Проверьте тип ид в базе, скорее всего он будет не строкой а ObjectId
А вы знаете как сделать match массива которого был populate
OZOD
1 мин
Андрей
Спасибо, знаю как работает компакшн, у меня сотни серверов на поддержке, и описал ведь всё, включая ап версии подменой бинов 😉. Проблема не воспроизводится потому, что коллекции компактятся после чистки, а в четверке компакт отваливается.
@dd_bb Это, чтоб сомнений о "сказках" от меня не было. Бок во всей 4 линейке. Могу то же самое на видео записать со всеми версиями. В 3, 5, 6 и 7 всё красиво кроме того, что тройка даунтаймит базу 😒
Андрей
Не важно какого объёма коллекция, не важно сколько чищу, если только не под ноль, не важно сколько места на диске свободно, не важно 4, 8, 10G рамы, в 4 монге компакт фэйлится.
Андрей
Может ей, конечно, надо 100500 гиг рамы как и для восстановления базы в 3 гига весом с 3к коллекций в дефолте, а то вы советовали всю СУБД увалить, чтоб вкорячить кэшсайз, и только потом ресториться. И то и то - фэйспалм.
Андрей
под ноль? прям парикмахерская какая-то 😂
Ну затестить же как-то надо 🙂. Если транкейтнуть, то компакт потом - моща прям 💪
web
Ну затестить же как-то надо 🙂. Если транкейтнуть, то компакт потом - моща прям 💪
я пока монгу только на локале через компас юзаю. что такое транкейтнуть даже не представляю 😊
Plebey
всем привет есть тут те кто работал SQL который работал с Big Data Parquette Dune BigQuery
Андрей
Работал sql который работал с биг датой 🤨 🧐 ❓Ниче не понятно, но очень интересно. Хадупы с hbase админю. Это еще биг дата или уже нет, кроме того, что это помойка еще та? 😄
Магомед
"Всем привет. Здесь есть те кто пишет сервера на haskell?"
Магомед
или
Магомед
"Здесь есть, кто работал с монгой?"
Магомед
Обожаю тех, кто задаёт такие вопросы!
Plebey
Работал sql который работал с биг датой 🤨 🧐 ❓Ниче не понятно, но очень интересно. Хадупы с hbase админю. Это еще биг дата или уже нет, кроме того, что это помойка еще та? 😄
мне поставили задачу, выгрузить базу кошельков эфириум скан с балансом от 1000$ я как понял это делает SQL специалист который имеет опыт с работой Parquette Dune мб я что то не понимаю , если так , то поправь кто мне нужен тогда
Plebey
https://t.me/mysql_db
я уже написал туда
Магомед
Андрей
та мускуль при чем? 😄
Plebey
я не знаю, я везде ищу человека который сможет помочь
Андрей
https://t.me/hadoopusers
Andrey
Всем привет,я правильно понимаю чтобы динамически подгружать фотки ,то на бд мы должны залить путь до фотки в корне проекта?
Андрей
я не знаю, я везде ищу человека который сможет помочь
С такой постановкой задачи он не найдется. Ищется ответ на вопрос - сколько весит килограмм асфальта, если ёжику 24 года?
Андрей
в чате дата инженегры могут помочь, если не придется клещами тащить информацию
Max
Коллеги, нужна помощь) В Монге есть документ { ..., users: [ { name: "Name 1", surname: "Surname 1", email: "my1@mail.ru" }, { name: "Name 2", surname: "Surname 2", email: "my2@mail.ru" }, ] } при обновлении документа (findOneAndUpdate) отправляю users: [ { name: "Name 3", surname: "Surname 3", email: "my3@mail.ru" } ] и весь массив users перезаписывается на новое значение, а не дополняется, как я ожидал изначально. Это, конечно, логично, но у меня не получилось найти способа дополнить, а не перезаписать. И хотелось бы ещё в объекте массива users сделать поле email уникальным. Подскажите куда смотреть) Благодарю)
Plebey
ищу человека который работает с BigQuery и dune.com?
Max
Для добавления в массив используй $push:
а в массиве объектов поле email уникальным не сделать?
Max
Для добавления в массив используй $push:
Чуток изменил структуру, пробую и ошибка) await companyModel.findOneAndUpdate( { _id }, { users: { $push: user } }, { new: true, runValidators: true } ); user = { name: { firstName: "Name 5", lastName: "Surname 5" }, email: "my5@mail.ru" }
Max
хотя структуру юзера передаю корректную user = { name: { firstName: "Name 5", lastName: "Surname 5" }, email: "my5@mail.ru" }
Max
Где я косячу?)
yopp
хотя структуру юзера передаю корректную user = { name: { firstName: "Name 5", lastName: "Surname 5" }, email: "my5@mail.ru" }
$push: {users: user} и проверьте что флаг new: true передан, иначе вам вернётся оригинальный документ и проверять изменения надо будет вторым запросом https://play.db-ai.dev/m/ZQTM-0hADgAB27Ze
Max
Где я косячу?)
{ $push: { users: user } }
yopp
уникальным внутри массива?
Max
уникальным внутри массива?
Да, внутри объекта, который находится в массиве, чтобы в объектах, которые находятся в массиве данное поле не повторялось. Вопрос немного странный, т.к.массивы в объектах ну уж точно не сравниваются, я думаю, но вдруг есть решение, которое уже встречалось.
Max
И как я понимаю, после данного метода findOneAndUpdate прочейнить и вернуть только ограниченное количество полей из монги не получится, чтобы в приложухе не фильтровать возвращённый документ?
А
Здравствуйте, задам простой вопрос - у меня база монго дб, в общем стоит подключаться к базе только когда нужно произвести операцию и отключится либо иметь постоянный клиент к базе?
А
ответ на вопрос найден кому интересно https://qna.habr.com/q/299374
Artem👨🏻‍💻🛥🐋
всем привет! подскажите пожалуйста, почему avg считается неверно? обычная формула и критерии за указанный период найти все аукционы по критериям, проссумировать показатели в рамках каждого аукциона и взять avg avg в данном случае от sum(A)/sum(b) - но вот тут мне mongo отдает неверный результат если я это считаю сам у меня верно а в результатах запроса -нет базовый случай когда за выбранный период в коллекции всего два документа и даже по нему неверно речь идет про total_avg_formula - вот тут https://pastebin.com/bD1K9KPe. 😇
Artem👨🏻‍💻🛥🐋
А пример с avg где?
на pb, там total_avg_formula - сумма по всем divide {A/B}
Nick
на pb, там total_avg_formula - сумма по всем divide {A/B}
Где пример того как вы его используете
Artem👨🏻‍💻🛥🐋
Где пример того как вы его используете
этот отчет анмаршалю в bson.M в коде и беру поле raw["total_avg_formula"] - где raw это bson.M
Nick
этот отчет анмаршалю в bson.M в коде и беру поле raw["total_avg_formula"] - где raw это bson.M
Нет, я прашиваю где пример того как вы использовали $avg чтобы сравнить где что не так идет в впшем случае