Gor
И суммируй запрос на обновление а не генерь на каждое сравнение
Gor
Погугли похожую задачу. Я не могу бебиситтть код
Alexander
yopp
Нода монги в состоянии STARTUP2. Данные медленно копируются.
Параллельно на другой том копирую rsync'ом с PRIMARY файлы. Копируются намного быстрее.
Вот думаю - как скопируются файлы rsync'ом - остановить mongod, удалить из dataPath данные, и скопировать туда перенесённые rsync'ом и запустить снова mongod - должно же сработать, так?
Если вы можете на время копирования остановить праймари и/или сделать снепшот файловой системы, а потом из снепшота скопировать dbPath, то да.
yopp
Если не можете, то не выйдет.
yopp
Точнее что-то конечно выйдет, но что — трудно сказать
Alexander
Останавливать не хотелось бы. Неизвестно, что потом случится...
Alexander
А что, монга при остановке кеш сбросит на диск?
Alexander
снапшот же кеш не поймает, правильно?
Alexander
Файловый кеш в памяти
yopp
Ваша задача выдернуть состояние файловое системы в одной временной точке. С rsyncу вас так не выйдет и в процессе синхронизации все файлы хранилища будут синхронизированы в разных временных точках. Что в итоге получится — сложно сказаться но вероятнее всего слепок данных будет неконсистентным. И проиграв на него оплог, не факт что вы получите копию данных как на реплике.
https://docs.mongodb.com/manual/reference/command/fsync/
yopp
Про cp/rsync без остановки записи https://docs.mongodb.com/manual/core/backups/#back-up-with-cp-or-rsync
Alexander
Ваша задача выдернуть состояние файловое системы в одной временной точке. С rsyncу вас так не выйдет и в процессе синхронизации все файлы хранилища будут синхронизированы в разных временных точках. Что в итоге получится — сложно сказаться но вероятнее всего слепок данных будет неконсистентным. И проиграв на него оплог, не факт что вы получите копию данных как на реплике.
https://docs.mongodb.com/manual/reference/command/fsync/
Ну rsync сначала список вроде составляет, а потом перемещает. То есть пусть не моментом список составится, но это дело секунд(ы)
Alexander
Про cp/rsync без остановки записи https://docs.mongodb.com/manual/core/backups/#back-up-with-cp-or-rsync
Да, ну здесь явно указано, что нельзя, ясно.
Anonymous
Привет всем. Подскажите, есть ли какие-нибудь рекомендации, когда поля стоит обьединить в сабдокумент, а когда оставлять на верхнем уровне?
Andrey
Добрый день. Подскажите, как собрать "нужный" collection.find() в зависимости от переданных параметраметров через ajax data. На данный момент, делаю проверку на существование параметра (if) и в зависимости что пришло формирую find. Но чем больше критериев поиска, тем сложнее "дерево if-ов"
AstraSerg
Ну rsync сначала список вроде составляет, а потом перемещает. То есть пусть не моментом список составится, но это дело секунд(ы)
Да, список. Но в списке только имена файлов, а содержимое одного может изменится, когда копируется другой. Вот и рассинхрон.
AstraSerg
Привет всем. Подскажите, есть ли какие-нибудь рекомендации, когда поля стоит обьединить в сабдокумент, а когда оставлять на верхнем уровне?
На верхнем уровне, это как? Вы про отдельную коллекцию? Вообще, вот, ознакомьтесь https://docs.mongodb.com/manual/applications/data-models/
Alexander
yopp
Ну rsync сначала список вроде составляет, а потом перемещает. То есть пусть не моментом список составится, но это дело секунд(ы)
да не важно сколько времени займёт, важно что займёт время. rsync когда начнёт читать файл, файл этот будет постоянно менятся и между началом чтения и концом содежимое файлай вероятно изменится. и этот эффект относится ко всему содержимому dbPath.
можно использовать fsync, заблокировав запись в хранилище, но я смысла не вижу
Alexander
да не важно сколько времени займёт, важно что займёт время. rsync когда начнёт читать файл, файл этот будет постоянно менятся и между началом чтения и концом содежимое файлай вероятно изменится. и этот эффект относится ко всему содержимому dbPath.
можно использовать fsync, заблокировав запись в хранилище, но я смысла не вижу
А если останавливать PRIMARY - это ведь весь Replica set останавливать
yopp
Да
yopp
Точнее запись в него
Alexander
Хм... Это можно через какую-то dbAdminCommand реализовать?
Alexander
Просто приложения я остановить не смогу
yopp
Чтение при использовании readPreference: primaryPreferred будет возможно
yopp
Если у вас хватает окна репликации на завершение initial sync, я бы вам рекомендовал ничего не делать
Alexander
Дело вот в чём - ночью данных с initial sync было уже 70% - а потом вдруг раз - и 50% - сейчас опять потихоньку ползёт вверз. Я смотрю просто размер dataPath
yopp
Смотреть надо в лог
Alexander
То есть initialSync, конечно, идёт, хотя и медленно, но сбрасывается.
yopp
Размер директории ничего не значит.
yopp
Есть множество ситуаций когда размер на праймари и секондари может отличаться в разы и даже на порядки
yopp
Откройте лог на почитайте что там пишут
yopp
Вполне может быть что у вас окно репликации меньше чем время которое требуется на завершение initial sync
yopp
Какая версия монги? Сколько данных?
Alexander
Дело вот в чём - ночью данных с initial sync было уже 70% - а потом вдруг раз - и 50% - сейчас опять потихоньку ползёт вверз. Я смотрю просто размер dataPath
Хах. В тот момент (судя по всему в тот) нода перешла в состояние SECONDARY
Alexander
Так что мы на верном пути
yopp
Если она secondary, то нода уже готова
Alexander
Размер директории ничего не значит.
Да, действительно. Вспомнил, как после initialSync'а у меня новый dataPath полностью рабочей ноды весил значительно меньше.
Alexander
Спасибо!
yopp
Отстающая нода это плохо, особенно на два часа
yopp
Если она не delayed
Alexander
Это понятно, нагонит.
yopp
Отстающие ноды это сигнал о нехватке ресурсов.
yopp
Она когда в secondary перешла — догнала. Если она снова отстала, то у вас есть какая-то проблема
Alexander
За 2 минуты нагнала 5 минут.
yopp
Посмотрите на утилизацию основных ресурсов: диск (bw/iops), память (bw/usage), сеть. Похоже на нехватку памяти.
yopp
Или дискового io
Alexander
Последнее вполне вероятно
Alexander
Час пятнадцать лаг
Alexander
Думаю, придёт в норму скоро
Anonymous
Где можно скачать сам монго?
λ
yopp
https://docs.mongodb.com/ecosystem/use-cases/storing-comments/#storing-comments
yopp
почитайте текст по ссылке, там разобраны несколько вариантов со всеми плюсами и минусами
Roman
доброго дня!
в итоге у меня в базе уже около 5 миллионов записей, одна выборка count на 1.5 миллиона занимает 8 секунд, могут быть проблемы из-за того, что на сервере HDD, не SSD?
Roman
даст ли использование SSD прирост в скорости?
Roman
3 секунды если count по проиндексированному полю
yopp
возможно даст, а возможно и не даст
yopp
в любом случае, физику сложно обмануть и лучший способ не делать count по 30% записей
Fenicu
добрый день, назрел вопрос
могу ли я настроить сервер монги так, чтобы наружу он по логин/паролю светил, а по локалке без авторизации работал?
если можно, то как?
yopp
нет, нельзя
yopp
даже если можно, это плохая идея
Fenicu
значит придётся дропать порт с исключениями
yopp
у меня есть множество примеров когда локалка без авторизации закончилась _очень_ печально
yopp
даже доступ по белым спискам это так себе решение
Roman
а у меня без авторизации, это плохо?
извне я подключаюсь по ssh туннелю
Fenicu
ну у меня уже полгода светит монга на всея интернет без авторизации, 1 раз стырили бд и просили пол биткоина
Fenicu
благо бекапы есть
yopp
ну вот точно так-же оно может закончиться в вашей «локалке»
yopp
для этого хватит забытой непропатченой джумлы или ещё какого ворпреса
Fenicu
ну к серверу я через кейпару коннекчусь, да и мало кому я нужен
yopp
а не надо никому быть нужным
yopp
ботам вообще фиолетово
Fenicu
ко мне часто китайцы в гости стучатся, но безуспешно