В данный момент всё быстро работает.

Я могу, конечно, скинуть текущий.

Но я думаю, тебе интереснее посмотреть в момент, когда база проседает.

кинь сейчас

сравним потом

Добрый день, не могу нагуглить чтение из mongodb по частям. Пытаюсь читать из-под python коллекцию, в которой 700к больших документов, простым db.coll.find(), и не хватает RAM для выполнения операции. Не подскажете, как с этим разобраться или в какую сторону гуглить?

курсоры

for somevar in db.coll.find(): ...

а вызов db.coll.find() не равносилен обычному чтению коллекции целиком?

нет, это курсор

во всяком случае в pymongo 3.x

с более старыми я не работал

спасибо за помощь! попробую с курсором

Добрый день, не подскажете, какой лучше читать мануал, чтобы начать работать с mongodb + apache spark? И, может быть, подскажете, на чём удобнее будет работать scala или python?

Добрый день, не подскажете, какой лучше читать мануал, чтобы начать работать с mongodb + apache spark? И, может быть, подскажете, на чём удобнее будет работать scala или python?

Насчёт удобнеё -- что лучше знаешь. Слышал от чуваков, что лучше брать скалу, ибо в питоне может быть доступно не всё.

There are a few APIs that are either different or not available in Python.

Но я, если что, просто мимо проходил и не трогал спарк. Так интересовался

да, тоже про python такое слышал

ух, набижали

Из постгри.

Конечно, щас еще будем обьяснять чем постгрес лучше монги :)

https://habrahabr.ru/post/306810/ опять хакеры говна в жопу заливают

https://yopp.in/Vkc :(

вот так выглядит апгрейд mongos с 3.0 на 3.2

было 4k qps, стало 1.7k :|

и в логах каждые пару сотен мс: «[LockPinger] handled late remove of old distributed lock with ts …»

А гугл что говорит?

https://jira.mongodb.org/browse/SERVER-9262

Это я видел, но ему 3 года

а это всё

ещё ссылка на сырцы :)

Обновился только mongos илм все вообще?

// Either the update went through or it didn't, either way we're done trying to // unlock log( DistributedLock::logLvl - 1 ) << "handled late remove of old distributed lock with ts " << *i << endl; removed = true;

было 4k qps, стало 1.7k :|

Чо говорит perf top ?

Обновился только mongos илм все вообще?

только mongos, кластер на 3.2 обновили уже давно

Чо говорит perf top ?

уже ничего не говорит, откатили апгрейд

хм

коннекшенов чота 4к стало внезапно: https://yopp.in/Vm6

Есть уже где-то список фич 3.4? Релиз в ноябре, еслм верить их JIRA. Пока нашёл только

Release Notes - MongoDB https://jira.mongodb.org/secure/ReleaseNote.jspa?projectId=10380&version=17091

Наконец-то обещают case insensitive indexes

добрый день, хочу удалить дубликаты из коллекции. Нашёл метод db.collection.ensureIndex({my_key:1}, {unique: true, dropDups: true}) нашёл даже примеры, где на коллекцию с дубликатами применяют этот метод и всё работает как надо - дубликаты удаляются. Однако, когда я запускаю у себя этот метод, сообщается об ошибке ""errmsg" : "E11000 duplicate key error collection:" ну и указывается на первое встречающееся значение my_key, которое встречается в коллекции больше одного раза. не подскажете, в чём я ошибаюсь?

я думаю сначала нужно удалить дубликаты, а потом уже цеплять индекс

как вариант можно создать вторую пустую коллекцию с этим индексом и перелить в нее документы из первой коллекции

)) небанально, но сработает почему-то не могу найти другого метода быстрого удаления дубликатов, кроме объявления индексов, мне в основном это кажется странным

в любом случае, спасибо за совет!

dropDups не работает уже давно.

Just in case.

да, заметил потом, спасибо вообще довольно распространённая, как мне кажется, задача, удалить документы из коллекции, в которых дублируется определённое поле. Теперь я понял, что нужно было заранее предусматривать такое и устанавливать индексы, которые бы не позволяли записывать подобные документы, но почему сложно найти простой механизм удаления дубликатов, я пока не уяснил.

да, заметил потом, спасибо вообще довольно распространённая, как мне кажется, задача, удалить документы из коллекции, в которых дублируется определённое поле. Теперь я понял, что нужно было заранее предусматривать такое и устанавливать индексы, которые бы не позволяли записывать подобные документы, но почему сложно найти простой механизм удаления дубликатов, я пока не уяснил.

допустим есть три документа с одним и тем же значением "foo" и разными значениями "bar". ты можешь сформулировать универсальное правило какой из них надо оставить,а какие удалить?

а в пределе к минимуму это не "bar", а "_id". кто знает что завязано где-то еще за этот "_id"?

я согласен, что моя постановка вопроса, быть может, некорректна, и задача решается на этапе проектирования коллекций. Мне скорее просто важно оставить в коллекции любой из документов с повторяющимися bar. И, на мой взгляд, не совсем корректно сводить пример к _id, так как это ключ по умолчанию.

Привет, почему монга со временем сжирает 99% памяти? Каждый день приходится перезапускать

Монгодб килится

Куда смотреть?

Монгодб килится

Это как?

Я вот тоже каждый день перезапускаю, но не из-за памяти.

эм

В доке написано, что оно хавает 65% от оперативки - 1гб или 1гб смотря что больше

У меня 2гб

Оперы всего

А кто убивает процесс-то?

Оно стабильно сжирает 95%

Ты уверен?

В доке написано, что оно хавает 65% от оперативки - 1гб или 1гб смотря что больше

если у тебя WT, это кеш самого WT

А кто убивает процесс-то?

Я не знаю, написано просто Killed

сама монга ещё может нормально жрать памяти вне WT

сама монга ещё может нормально жрать памяти вне WT

Tiger

ну вот, там в документации написано что никто не гарантирует что монга не сожрёт больше

а она сожрёт

Но как бы безконтрольно

Аж до процесс киллд

killed это ось прихлопнула процесс, так как ядру не хватило памяти

mysql и монга на одном хосте с 2 гигами памяти?

норм

Ну вот сейчас 84

Да но сиквел почти не юзается

включи своп

если не хочешь добавлять памяти

На сколько гб в этом случае имеет смысл свопа?