Даниил (Onix)
https://www.npmjs.com/package/run-rs
Всем привет, кто-нибудь юзал такое?
Артем
Спасибо, проблема решилась, в итоге просто вытащил все данные с изначальной базы, которая была завязана на localhost, удалил ее, привязал ее к айпи адресу (вместо localhost) и добавление новых узлов с другими айпи стало возможным
Артем
rs.status()
покажите
Даниил (Onix)
Друзья, всем привет. Скажите, а есть возможность задавать имя и параметры реплик НЕ через докер?
Даниил (Onix)
Если есть, скажите или дай те линк пожалуйста
Alexey
Коллеги, всем привет. Просветите по одному вопросу. Сейчас в базе 277к файлов на fridfs, индекс по двум полям (включая id) занимает 5 мб памяти. Но процесс жрет около 1.7 Гб. Что занимает столько оперативы?
Alexey
Да, индексы на коллекции, которая содержит информацию о файлах
Nick
Alexey
Пытаюсь рассчитать необходимое количество памяти для сервера, на котором будет лежать ~10м таких файлов
yopp
не особо важно сколько будет лежать
yopp
база как кот, будет занимать всю данную ей оперативную память
yopp
важнее сколько из этих 10м файлов будут постоянно нужны
Alexey
не бывает такого. опиши вашу задачу
Эти файлы - архивы без сжатия, содержащие содержимое для веб страниц. У них у всех одинаковая актуальность и приоритет. Сейчас они хранятся просто в файловой системе, что съедает очень много места. Движок WiredTiger хорошо сжимает такие архивы, поэтому мы решили переехать на монгу
Nick
Эти файлы - архивы без сжатия, содержащие содержимое для веб страниц. У них у всех одинаковая актуальность и приоритет. Сейчас они хранятся просто в файловой системе, что съедает очень много места. Движок WiredTiger хорошо сжимает такие архивы, поэтому мы решили переехать на монгу
т.е. вы хотите хранить веб статику в монге?
Alexey
т.е. вы хотите хранить веб статику в монге?
Это детали. Хотим хранить много файлов и быстро их получать)
Nick
проект уже работает или вы только планируете?
Alexey
Уже работает. Храним в файловой системе сейчас
Nick
я про наличие 10м доков
Alexey
Да-да. Это уже имеется и рост будет хороший
Nick
а 10м доков это в гигах скока?
Nick
и максимальный размер файла какой у вас планирауется
Alexey
Они очень разные. От нескольких строчек юникода, до объемных картинок
Alexey
Я почитал про сжатие и пэйджсайз. Дефолтный нас устраивает
yopp
У вас есть какое-то частотное распределение. Скорее всего активно используется только какой-то небольшой срез из всех файлов, все остальные не используются или используются крайне редко.
yopp
Можно взять плацебо в виде Парето и выделить 20% от общего объема под кеш
yopp
Это с большим запасом. И в вашем случае проблема не в потреблении памяти будет, а в использовании IO, когда ваши файлы не помещаются в кеш
Nick
Я почитал про сжатие и пэйджсайз. Дефолтный нас устраивает
про сжатие картинок забудьте, если это основной объем инфы, то просто оставьте как есть
Nick
если тока это не равки
yopp
А равки разве lossless алгоритмами не жмутся?
Nick
вот как раз жмутся
yopp
В смысле что сами RAW файлы уже используют компрессию
Nick
вроде жались
Nick
хотя давно уже не интересовался
Nick
первый попавшийся днг файл с инета сжался 7з в 3 раза
Nick
текс, походу надо погружаться в форматы равок, вот что значит не сталкиваться. нашел какойто eip и он не жмется вообще
Nick
потому что это уже архив))
Nick
Они очень разные. От нескольких строчек юникода, до объемных картинок
короч надо больше инфы по виду файлов, их размеру (оч важно) и соотвевенно сколько из них реально горячие, т.к. для них нужно будет планирвоать место в кеше
Alexey
короч надо больше инфы по виду файлов, их размеру (оч важно) и соотвевенно сколько из них реально горячие, т.к. для них нужно будет планирвоать место в кеше
Хорошо. Время есть. Соберу статистику, частотную информацию. Там уже приду сюда))
Alexey
текс, походу надо погружаться в форматы равок, вот что значит не сталкиваться. нашел какойто eip и он не жмется вообще
И кстати на вот таких разношерстных файлах выигрыш от сжатия монгой 50-60%
Nick
данных скока?
Alexey
Данные таковы:
1. Файловая система Widows без сжатия - 1100 Гб.
2. Файловая система со штатным сжатием - 580 Гб.
3. Монга - 470 Гб.
Это результаты тестирования на 277000 файлах
Alexey
Причем каждый файл - архив, внутри которого иногда сотни файлов разного калибра
Nick
4 метра файл
Nick
Будет больно
Nick
Кеш ос, кеш монги
Nick
Как результат Кеш мисы
yopp
Не от размера файла зависит же, а от статистики хит/мис
Nick
Вообще да
yopp
Очевидно что весь терабайт сразу никому не нужен. Сомневаюсь что там больше 20% активных файлов
Nick
Тут уж какая инфа такая и аналитика))
yopp
Реально горячих ну может пару процентов будет
ᅠ ᅠ
gridfs вроде с файлами работает, только вот удалять от туда пришлось ручками из двух баз - но не нашел другого ни чего.
——-
скажите гуру, есть ли в монго блокировки таблиц, как я понял транзакции не предвидятся, но и черт с ними, а заблокировать таблицу - коллекцию я могу,?, на время моих операций.
в чем вопрос?, счас на mysql есть дерево ,база-движок Aria типа быстрее всех, при перестройке дерева и тут транзакции не помогут (в mysql) они влияют только на затрагиваемые в момент времени операции - что не подходит совсем. - цель перестроить всю таблицу-коллекцию и быть у веренным что никто не захочет сделать тоже самое пока я не закончил.
в aria-mysql это решается блокировкой таблиц - есть чтото подобное в монго ? ... ну и как заодно..
yopp
gridfs вроде с файлами работает, только вот удалять от туда пришлось ручками из двух баз - но не нашел другого ни чего.
——-
скажите гуру, есть ли в монго блокировки таблиц, как я понял транзакции не предвидятся, но и черт с ними, а заблокировать таблицу - коллекцию я могу,?, на время моих операций.
в чем вопрос?, счас на mysql есть дерево ,база-движок Aria типа быстрее всех, при перестройке дерева и тут транзакции не помогут (в mysql) они влияют только на затрагиваемые в момент времени операции - что не подходит совсем. - цель перестроить всю таблицу-коллекцию и быть у веренным что никто не захочет сделать тоже самое пока я не закончил.
в aria-mysql это решается блокировкой таблиц - есть чтото подобное в монго ? ... ну и как заодно..
Транзакции есть с версии 4.0. Блокировок нет. Ни на уровне документа, ни на уровне коллекции нет, есть только глобальная техническая
Решение зависит от конкретной задачи. Начиная с расчетов во временной коллекции, заканчивая версионированием данных через специальный атрибут
4eburator
Всем привет
4eburator
может кто помоч с запросом...
4eburator
https://play.db-ai.co/m/XVZEALkkgAABTGs4
4eburator
запрос преметивныи а работать отказывается...
Dmitriy
запрос преметивныи а работать отказывается...
https://play.db-ai.co/m/XVe06vHF2wABhnoC
может быть так?
Dmitriy
хотя не очень понятно, что вы хотите получить, только элементы массива sent, которая попадает под условия?
Dmitriy
потому что с текущей постановкой задачи все работает корректно, но вам возвращается соответственно полностью найденный документ
madspectator
Каким образом может возникнуть duplicate key error ошибка при bulk_write списка записей типа
UpdateOne(
{'username': username},
{'$setOnInsert': {
'_date_found': datetime.utcnow(),
'_status_scan': 'new',
}},
upsert=True,
)
?
yopp
Каким образом может возникнуть duplicate key error ошибка при bulk_write списка записей типа
UpdateOne(
{'username': username},
{'$setOnInsert': {
'_date_found': datetime.utcnow(),
'_status_scan': 'new',
}},
upsert=True,
)
?
https://jira.mongodb.org/browse/SERVER-19600
yopp
И скорее всего вам bulkWrite не нужен
madspectator
Почему не нужен? У меня парсер вытаскивает множество записией из веб-сайта и пытается их вставить в базу, вставляются только новые записи. Около сотни записей в секунду.
Oleksii
Здравствуйте
у меня вопросы по установке монго на линукс
Нужно усталвливаться в том же месте где и сам проект(бот) ?
Oleksii
Andrew
Здравствуйте
у меня вопросы по установке монго на линукс
Нужно усталвливаться в том же месте где и сам проект(бот) ?
нет, монга запускается демоном и приложение держит связь с ней через сеть, так что не важно, куда вы ее установите, главное НЕ в сам проект
Что делать? Что говорит sudo service mongodb status ?
Andrew
ну так всё хорошо у тебя
Andrew
монга раниться
Andrew
юзай не хочу
Oleksii
а, спасибо
Oleksii
а то при подключении к боту выдавало ошибку и вот грешил на кривую установку монго
