я только в конфиге поменял движок

который в etc

fork надо выключить

подскажи как

Тебе в соседнем чате ссылку дали

сек

http://askubuntu.com/questions/787136/debugging-systemd-for-mongodb-3-2-on-ubuntu-16-04-sig-15-killing ?

[Unit] Description=High-performance, schema-free document-oriented database After=network.target Documentation=https://docs.mongodb.org/manual [Service] User=mongodb Group=mongodb ExecStart=/usr/bin/mongod —quiet —config /etc/mongodb.conf [Install] WantedBy=multi-user.target

нету у меня там форка

/etc/mongodb.conf

там fork

читай доку

либо mongod --help

вроде можно аргументом форк выключить

блять зачем так сложно то

а ты откуда монгу ставил?

с реп

С каких?

добавил офф монги

16 убунта в 3.2 поддерживается

проверь что у тебя там xenial/mongodb-org/3.2 multiverse

processManagement.fork should be false (which is also the default) in your mongod.conf file.

а не trusty/precise

но у меня в конфиге нет такого

можешь ещё попробовать руками сначала запустить

просто mongod и всё

типа mongod —config /etc/mongodb.conf ?

ну можно ещё конфиг указать, да

но если оно из пакетов, оно сконфигурировано с дефолтным конфигом в /etc

если оно пидорнётся, значит в монге проблема

если нет, в этом вашем systemd

но если 16 убунта заявлена как поддерживаемая, они должны были конфиги по-умолчанию поставлять уже заточенные под systemd

mongod —config /etc/mongodb.conf Error parsing YAML config file: yaml-cpp: error at line 8, column 9: illegal map value

там у меня

#where to log logpath=/var/log/mongodb/mongodb.log engine: mmapv1 logappend=true

ты определись

либо у тебя yaml

либо у тебя старый key=value формат

у тебя щас говно а не конфиг

смотри я просто раскоментил строки в конфиге

я не знаю что ты где раскоментил, но у тебя сейчас там и yaml и k=v

и оно ругается что оно не может распарсить лог

открой доку и конвертни конфиг в yaml

и запусти снова

ок спс ща гляну

mongod —config /etc/mongodb.conf

запускается

а если через инит скрипт нет

была ошибка в конфиге

поправил

руками запускатеся

почему не запускается инитскриптом или через сервис ?

права на файл? selinux? apparmor? что в логах?

@lig11 а у гошного драйвера монги нет такой беды со скоростью как у питона?

не проверял, но подозреваю, что не должно быть настолько, но тоже будет оверхэд. потому что маршалят в bson драйверы

Я вообще думаю заменить монгу на тарантул :)

bson кодер в pymongo сишный и достаточно шустрый

bson кодер в pymongo сишный и достаточно шустрый

Самый быстрый из тех, что есть в Питоне. Я проверял 4 разных

Но это все равно жутко медленно

Но это все равно жутко медленно

Для каких задач?

Для каких задач?

Да тот же gridfs

с gridfs не работал

хотя, идея писать в базу блобы сама по себе не очень хорошая

на мелких данных все больше в сеть упирается

на мелких данных все больше в сеть упирается

На af_unix? :))

На af_unix? :))

у вас и база и фронты на одном хосте что ли?

А что такого? :)

да просто зачеи тогда вообще монга, если не нужно ни реплик, ни шардинга

Для каких задач?

Это медленно, в смысле медленно. Очень большая часть запроса/ответа уходит на протокол.

Это медленно, в смысле медленно. Очень большая часть запроса/ответа уходит на протокол.

ну python никогда не был эталоном скорости, но какие варианты? писать на C?

Ну а что?:)

да просто зачеи тогда вообще монга, если не нужно ни реплик, ни шардинга

Например, у меня несколько шардов по миру

Ну а что?:)

пока вы пишете, конкуренты уже запустят проект и он умрет своей смертю =)

ну python никогда не был эталоном скорости, но какие варианты? писать на C?

Ну, есть pypy. Но если формат дурацкий, то даже сишечка не спасет

Например, у меня несколько шардов по миру

эм, а почему тогда af_unix?

Я общаюсь с монгой через сокет.

Ну, есть pypy. Но если формат дурацкий, то даже сишечка не спасет

Спасет, потому что в ней сразу правильные структуры

Я ее понимаю вопроса

Ну померяй сколько ты времени на bson тратишь

Спасет, потому что в ней сразу правильные структуры

Например? Я на pypy бенчил питоновский struct. Вообщем, на си получилось всего в 2 раза быстрее

Я общаюсь с монгой через сокет.

с mongos или именно с базой?

Например? Я на pypy бенчил питоновский struct. Вообщем, на си получилось всего в 2 раза быстрее

у pypy свои недостатки, например, он до сих пор только 3.2 умеет

ребят разобрался с монгой, дело было в системд

у меня 2 вопроса почему нет инит скрипта для 3.2

и почему нет комманды service mongod restart

у меня 2 вопроса почему нет инит скрипта для 3.2

потому что в 16.04 systemd

тоесть терь все манипуляции с стартом и рестартом только через него?

там есть пачка костылей, но все в конечном итоге дергает systemctl

через него же завернуты и legacy init-скрипты, причем порой криво

Можно ли из монги сделать очередь с exactly-once доставкой, которая будет держать хотя бы 5к рпс на одной машинке? 1) Я пробовал findAndModify, но он медленный очень. 2) Я еще пробовал вот так: while (true) { db.queue.update( {"status": "new"}, {"status": "pending_on_<consumer_id>"} ) //уникальность consumer_id гарантируется самими потребителями def messages = db.find( {"status": "pending_on_<consumer_id>"} ) doWork(messages) db.update( {$in: messages.*_id}, {"status": "done"} ) } но с этим подходом проблема в том, что в update нет limit'а. И получается, что каждый потребитель забирает себе тупо все сообщения и будет их должго обрабатывать, вместо того, чтобы расперделитьь эти сообщения на всех потребителей есть идеи?

Можно ли из монги сделать очередь с exactly-once доставкой, которая будет держать хотя бы 5к рпс на одной машинке? 1) Я пробовал findAndModify, но он медленный очень. 2) Я еще пробовал вот так: while (true) { db.queue.update( {"status": "new"}, {"status": "pending_on_<consumer_id>"} ) //уникальность consumer_id гарантируется самими потребителями def messages = db.find( {"status": "pending_on_<consumer_id>"} ) doWork(messages) db.update( {$in: messages.*_id}, {"status": "done"} ) } но с этим подходом проблема в том, что в update нет limit'а. И получается, что каждый потребитель забирает себе тупо все сообщения и будет их должго обрабатывать, вместо того, чтобы расперделитьь эти сообщения на всех потребителей есть идеи?

Не уверен что точно подразумевается под exactly-once, но у нас на findAndModify решена задача, когда из кучи документов нужно по определенным критериям сортировки воркер забирает себе (update) 1 документ. Машины разные бывают,у нас штатно 1000-1500 rps. Просто с fAM нужно тщательно индексы подготовить, посмотреть, чтобы он их использовал.

(м, немного несогласованное предложение, сорри, болею)

Можно ли из монги сделать очередь с exactly-once доставкой, которая будет держать хотя бы 5к рпс на одной машинке? 1) Я пробовал findAndModify, но он медленный очень. 2) Я еще пробовал вот так: while (true) { db.queue.update( {"status": "new"}, {"status": "pending_on_<consumer_id>"} ) //уникальность consumer_id гарантируется самими потребителями def messages = db.find( {"status": "pending_on_<consumer_id>"} ) doWork(messages) db.update( {$in: messages.*_id}, {"status": "done"} ) } но с этим подходом проблема в том, что в update нет limit'а. И получается, что каждый потребитель забирает себе тупо все сообщения и будет их должго обрабатывать, вместо того, чтобы расперделитьь эти сообщения на всех потребителей есть идеи?

http://tugdualgrall.blogspot.fr/2015/01/how-to-create-pubsub-application-with.html но я не уверен что можно организовать exactly-once

но если роутинг на уровне приложения обеспечен, то почему бы и нет

тоесть мы кидаем в capped сообщение адресованное конкретному подписчику, в этом случае проблем быть не должно

тоесть мы кидаем в capped сообщение адресованное конкретному подписчику, в этом случае проблем быть не должно

AMQP для слабаков:)

Не уверен что точно подразумевается под exactly-once, но у нас на findAndModify решена задача, когда из кучи документов нужно по определенным критериям сортировки воркер забирает себе (update) 1 документ. Машины разные бывают,у нас штатно 1000-1500 rps. Просто с fAM нужно тщательно индексы подготовить, посмотреть, чтобы он их использовал.

А у вас коллекция большая? И на каких машинках морга бежит?

но если роутинг на уровне приложения обеспечен, то почему бы и нет

Не, хочется без роутинга на стороне приложений. Тогда-то уже проще будет кролика прикрутить сбоку

Ребята может кто объяснить для чего view в монгу завезли?