Ilya
Artem
Приветствую,подскажите пожалуйста каким образом импортировать данные в базу.
Artem
Раньше работало так mongorestore -d containers ./dump_export/
Artem
сейчас пишет что ,опции с ДБ работают только при импорте в конкретную коллекцию.
Artem
а какие есть другие пути?
Artem
вопрос снят.
Artem
сам ступил
Anonymous
https://data-flair.training/blogs/mongodb-data-types/
Mongo Data Types: double, string, object, и так далее....
сказано, что один из типов данных: JavaScript. А так же есть ещё JavaScript with Scope. кто-нибудь в курсе, зачем используется этот JavaScript тип данных, и используется ли он вообще?
Егор
Ребята привет, могу ли я здесь опубликовать вакансию?
Nick
@dd_bb
倫太郎
Ребята привет, могу ли я здесь опубликовать вакансию?
Скорее всего да, пушто отдельного чата по вакансиям нет
Егор
Нет
Ок, сорян. Может какие-то посоветуешь сообщества бодрые и живые под размещение вакансий специалистов, которые хорошо знают MongoDB?
CherryTea
yopp
https://data-flair.training/blogs/mongodb-data-types/
Mongo Data Types: double, string, object, и так далее....
сказано, что один из типов данных: JavaScript. А так же есть ещё JavaScript with Scope. кто-нибудь в курсе, зачем используется этот JavaScript тип данных, и используется ли он вообще?
Источник так себе. Это не mongo типы, это bson типы. (http://bsonspec.org/spec.html)
js w/scope это код и объект с переменными которые можно использовать в коде
Anonymous
Andrey
λ
Где найти как можно сделать запрос что бы с масива выбрать документ с параметром и взять от него поле
λ
{
_id: 3,
arr: [
{ code: 1, value: ""}
{ code: 2, value: ""}
]
}
yopp
$elemMatch в projection
yopp
либо AF с $unwind, $match и $project
λ
Что такое AF?
λ
$elemMatch хороший вариант 😊
Aleksey
привет. а не появился ли аналог smallfiles но для wiredtiger. хочу что бы монга при старте съела меньше гига. производительность пофиг.
Ринат
storage.wiredTiger.collectionConfig.blockCompressor: zlib ?
yopp
привет. а не появился ли аналог smallfiles но для wiredtiger. хочу что бы монга при старте съела меньше гига. производительность пофиг.
Меньше гига памяти? Smallfiles же про размер файлов хранилища было. Насколько я помню WT не умеет сегментировать хранилище. Но и выделяется там по-моему 32мб сначала.
Aleksey
меньше гига диска
Aleksey
я меньше гига не могу pvc сделать. так что на гиг согласен. но помню что монга при старте любит сразу сделать себе места
yopp
На что именно там гиг выделятся? Так-то монге при старте нужна все пара коллекций
Aleksey
я с старым движком путаю да ?
yopp
похоже
yopp
я сейчас посмотрел, пустая коллекция это два файла: документы и индекс. каждый по 4096 байт :)
Aleksey
$ du -d1 -x -h
301M ./journal
36K ./diagnostic.data
301M .
Aleksey
свежестартанутая
Aleksey
ладно 300 годится
Aleksey
спасибо
yopp
а, журнал ещё, да
yopp
ну тут вариантов нет особо
yopp
только выключить журнал
Aleksey
хм. это вполне опция.
yopp
но в 4.0 кажется уже нельзя :)
yopp
Starting in MongoDB 4.0, you cannot specify --nojournal option or storage.journal.enabled: false for replica set members that use the WiredTiger storage engine.
Ivan
Aleksey
yopp
Чем грозит?
не грозит, а гарантирует что какие-то данные при нештатном завершении будут потеряны
Aleksey
ладно ща попропбую просто
Aleksey
постгресу же я fsync вырубаю. чо бы не вырубать и журнал
yopp
а зачем?
Aleksey
тестовый стенд
yopp
в смысле откуда такие требования к размеру при старте?
Aleksey
да я занимаюсь тем чего ты в прошлый раз ругался как вааще.
yopp
я много на что ругаюсь!
yopp
чем? :)
Aleksey
кубер же
yopp
а зачем такая борьба за мегабайты?
Aleksey
не охота за прицепленные диски лишнее платить. стенд же. да и смысла в этом не много
Aleksey
поднял покрутил убил
yopp
это не очень идея
yopp
сделай имадж сразу с прогретым хранилищем
倫太郎
@dd_bb
Bro
у меня 2.7Tb база данных в монге. реплика сет. в клиентах само собой preferSecondary на чтение. Некоторые коллекции по нескольку сотен миллионов. Около 4000-6000 апдейтов в сек и несколько сотен чтений. Все работает, но производительность проседает переодически, когда что-то еще начинает читать или писать. Я думаю надо про шардинг начинать читать.
Bro
монга используется как промежуточное хранилище. один сервис туда в основном пишет данные, а другой читает, обрабатывает и потом пишет в постгрес.
Bro
все на SSD само собой
Bro
с сотней Gb RAM
Bro
индекс на самой большой коллекции 24Gb
Bro
еще у меня проблема что почему-то гео выборки медленно работают
Bro
db.locations.count({location: {$nearSphere: {$geometry: {type: "Point", coordinates: [-86, 32 ]}, $maxDistance: 200 * 1000}}}) такие запросы на коллекции размером ~100M и выборку дает 300+K документов около 10 секунд работает запрос
Bro
это норм?
yopp
у меня 2.7Tb база данных в монге. реплика сет. в клиентах само собой preferSecondary на чтение. Некоторые коллекции по нескольку сотен миллионов. Около 4000-6000 апдейтов в сек и несколько сотен чтений. Все работает, но производительность проседает переодически, когда что-то еще начинает читать или писать. Я думаю надо про шардинг начинать читать.
Чтение с secondary это не очень масштабирование. Плюс надо учитывать что данные могут отставать и быть уверенными что это не вызывает никаких нежелательных эффектов.
Bro
если что-то отстает это не критично
yopp
db.locations.count({location: {$nearSphere: {$geometry: {type: "Point", coordinates: [-86, 32 ]}, $maxDistance: 200 * 1000}}}) такие запросы на коллекции размером ~100M и выборку дает 300+K документов около 10 секунд работает запрос
Да, это очень даже хороший результат. 30 микросекунд на документ с учетом геоиндекса
Bro
круто ) спасибо.
yopp
Я бы начал с того, зачем нужно доставать 300 тысяч документов и почему 10 секунд в этом случае проблема
yopp
Если база быстро растёт, то шардить надо было терабайта полтора назад ;)
yopp
Сейчас балансировка после шардинга займёт ощутимое время, измеряемое в неделях