Ребят привет. есть монга 3.2 РС. надо удалить 13 миллионов записей. через bulk лучше делать ? коллекция не capped

если по одному то хоть как делай долго будет

что по одному ?

удалять

хочу просто по условию {lt: timestamp}

все данные

но как то долго все равно висит и в итоге сессия ssh дропается :)

так просто отправляете задание и оно там крутится

если глянуть в db.currentOp() после переподключения, наверняка она там все еще выполняется

да, действительно

но все же, никак быстрее это не сделать ?

суммарно получается уже 40 мин удаляется

и осталось еще там 12129949

документов

если грубо то 13кк доков - 13кк операций записей, я верю в монгу и оно сгруппирует скажем процентов 80%, это гдето 2кк реальных операций записи, обычный хдд с его 150-200 расчетными IOPs будет делать это около 10к секунд - это минимум 3 часа

хм

и это если ест ьиндекс

без индекса добавляй полную вычитку данных

на каждый док + операция чтения

по коллекции этой есть индекс

понял сейчас, Спасибо за объяснение

вообще советую глянуть не запущено ли несколько операций удаления и кильнуть лишние

а лучше все и запустить еще раз

а как можно кильнуть ? по opid ?

db.killOp()

и туда opid

всем привет, меня зовут Дима, и у меня разрешает создавать объекты в базе с одинм и тем же значением поля, у которого стоит unique: true

Эм... а по русски?

стоит unique: true в схеме у поля phone, я создаю объекты с одинаковыми телефонами, не ругается

а как вы создаете объекты?

стоит unique: true в схеме у поля phone, я создаю объекты с одинаковыми телефонами, не ругается

проверь индексы. unique: true в модели вызывает команду на установку соответствующего индекса в монге. + укажи версию mongoose/mongodb (если там монгус)

понял проблему, а вот такой вопрос, абстрактный

целесообразно ли создавать под такие даты модель, если у них может быть порядок сортировки?

а что эти даты значат?

если вам эти даты нужны как отдельные сущности, тогда храните

по крайней мере будет порядок сортировки, а значит нужны id, и может будет какой-то текст к ним

Подскажите, в коллекции 2 миллиона записей, фильтр по полю с индексом - 400к записей. Экспорт этого дела на сервере - 50 Мб и по времени 35 секунд. Куда смотреть в ускорении этого дела?

а всего 2млн данных сколько места занимают?

а смотреть всегда на системные ресурсы - диски цпу память сеть

Подскажите, в коллекции 2 миллиона записей, фильтр по полю с индексом - 400к записей. Экспорт этого дела на сервере - 50 Мб и по времени 35 секунд. Куда смотреть в ускорении этого дела?

Экспортируете чем?

mongoexport, напрямую, про язык пока даже не говорю

Локально или по сети?

а смотреть всегда на системные ресурсы - диски цпу память сеть

Но скорее тогда вот это

Ищите во что уперлось

Локально, по сети таймаут уже))

если грубо то 13кк доков - 13кк операций записей, я верю в монгу и оно сгруппирует скажем процентов 80%, это гдето 2кк реальных операций записи, обычный хдд с его 150-200 расчетными IOPs будет делать это около 10к секунд - это минимум 3 часа

@dd_bb прокомментируй что я выше написал

интересует правилньо ли понимаю что всеравно сведется к рендом доступу по диску?

интересует правилньо ли понимаю что всеравно сведется к рендом доступу по диску?

Не обязательно

Все правильно сказал, нужно искать бутылочное горлышко

Например при включённом TLS и нехватки энтропии хендшейки могут быть по минуте

Может быть низко качество сетевого подключения и большие потери

Может быть просто полоса узкая или очень большие задержки

Например при включённом TLS и нехватки энтропии хендшейки могут быть по минуте

Ого какой ужас . Реально было такое? Я тут как раз готовлюсь на него переходить и там куча коннектов будет

Надо будет тест продумать. Спасибо.

Ого какой ужас . Реально было такое? Я тут как раз готовлюсь на него переходить и там куча коннектов будет

Да, неоднократно

Лучшее решение — сразу на всех хостах деполоить haveged

Клиентам не обязательно, а вот на любых серверах, особенно mongos — обязательно

И на всяких сборочных машинах

В нашем стартапчике я потратил однажды два дня, пытаясь разобраться почему билды в некоторых случаях вместо пары минут, могут занимать по полчаса. Выяснилось что внутри рельсы при инициализации Sprokets генерировался 16 байтовый случайный идентификатор, а так как на сборочной машине много всего крутилось, в том числе с TLS, когда энтропия заканчивалась рельса утыкалась в пустой пул и ждала пока он не наполнится. А это небыстрый процесс, собрать хорошего качества хаоса :д

С монгой такое случается когда возникает большое число клиентов с коротким циклом жизни. Например lua драйвера, которые можно использовать в nginx, не умеют в connection pool. Как сделствие если вы делаете какой-то эндпоинт на lua который ходит в монгу, он будет на каждый запрос эндпоинта открывать/закрывать соединение. Поток из пары сотен таких открытий/закрытый в секунду может легко выжирать энтропию и начать жутчайше тормозить. Нормальные же драйвера обычно используют пул, и если никаких суровых сетевых проблем приводящих к обрыву нет, то такого эффекта не наблюдается

Плюс я не вникал в детали, но уже даже в самом tls есть какие-то фичи для устранения подобных проблем. Но как обычно, кто вовремя обновляет и openssl и ещё поддержку новых фич выпиливает. От SSL то буквально в прошлом году, можно сказать избавились

Так есть же псевдоэнтропии

Рандом юрандом

Затыкаться на полчаса это как-то совсем грустно

Есть кто может ответить на небольшой вопрос?

Есть кто может ответить на небольшой вопрос?

ну задать вопрос то никто не запрещает)

Всем привет

Пытаюсь установить mongodb по видео-гайду на ютубе

Но чет не получается.

Если вам поиграться - используйте лучше докер

ну пишет же что незнает команды rest

Так на видосе срабатывает

почитай в справке, может у тебя версия монги старая

или наоборот новая

Я ее вчера скачал

Скорее новая

я вобщем против windows ничего не имею, но попытка развернуть на ней монгу - это какой то новый вид извращения

Мне попрактиковать его.

Потом залью на хост