Ну тогда в условие запроса просто добавьте условие ($fieldA - $fieldB) gte X

хм

До тех пор пока у вас duration будет константой в условии, вы можете обходится условием.

Если у вас duration будет в документе, надо будет через aggregation framework уже

Кажется. Возможно я с другим кейсом путаю ?

find({"timestamp": {"$gte": ISODate("2018-05-31T00:00:004Z"),"$lt": ISODate("2018-06-02T00:00:004Z")}}) достаточно сюда добавить получается ?

еще условие

У вас получается два условия. С логической операцией И (и дата в диапазоне и длительность события)

Но в монге условия по нескольким полям сразу объединяются через И

оО попробую изучить вопрос

Ну тогда в условие запроса просто добавьте условие ($fieldA - $fieldB) gte X

не осилил, или же не правильно искал пример

постиг магию агреации в итоге. осталось постичь $gte

db.tg.aggregate( [ {$match: {"timestamp": {"$gte": ISODate("2018-05-31T00:00:004Z"), "$lt": ISODate("2018-06-02T00:00:004Z")}}}, {$project: {duration: {$divide : [{$subtract: ["$clear_timestamp","$timestamp"]}, 1000]}}}])

запрос отработал

как теперь фильтрануть еще по duration )

как теперь фильтрануть еще по duration )

добавить ещё один блок match в пайплайн аггрегации

добавить ещё один блок match в пайплайн аггрегации

пока не понял как

с точки зрения синтаксиса, aggregate принимает на вход массив

у вас в массиве 2 элемента сейчас: {$match : ... }, {$project : ...} вам нужно: {$match : ... }, {$project : ...}, {$match : ... } aggregate представляет собой условный pipeline, как в unix: выхлоп одного блока (отобранные или модифицированные документы) передаются на вход следующего

но такая конструкция сильо замедлит обращение в базе ?

медленно или быстро — зависит от ваших требований. попробуйте выполнить и решите для себя, устраивает ли скорость выполнения и будет ли изменяться в перспективе

понятно

я думал можно в project использовать $gte

спасибо большое

познал мастрество агреации

db.tg.aggregate( [ {$match: {"timestamp": {"$gte": ISODate("2018-05-31T00:00:004Z"), "$lt": ISODate("2018-06-02T00:00:004Z")}}}, {$project: {duration: {$divide: [{$subtract: ["$clear_timestamp", "$timestamp"]}, 1000]}}}, {$match: {"duration": {"$gte": 300}}} ] )

вот такая загагулина вышла

только вот ньюансы вышел %(

при таком запросе мне возвращается {u'duration': 540.0, u'_id': ObjectId('5b11470398601c0f79bde558')}

а хотелось бы весь вывод %( что-то пошло не так

а хотелось бы весь вывод %( что-то пошло не так

замените $project на $addField

$project, собственно, проецирует только указанные поля в документах. обычно им отсекают ненужные

хм

условно, если у вас есть документ из 100500 полей, а вам нужны только date и time, например, то { $project : { _id : 0 date : 1, time : 1 } } прокинет на следующую стадию только эти 2, а все другие как бы уберёт из документов при выводе (сами записи не изменятся, конечно же). _id по умолчанию выводится, его можно убрать явным указанием

Понятно. Как раз мне обрезать не надо было, мне нужно было отфильтровать

замените $project на $addField

получается надо все опять перелопачивать под addField

не углядел что s на конце нет )

Дорогой чятик, в воскресенье, 3 июня, с 19:00 до 22:00 (Мск) Артём @SvPupok делает тестовый стрим. Будем говорить о репликации и шардировании. public poll Да, хочу смотреть – 45 ??????? 92% Нет, мне неинтересно – 2 ▫️ 4% Нет, мне неудобно – 2 ▫️ 4% ? 49 people voted so far.

Добавили событие в TimePad. Кому удобно, можно зарегистрироваться там. https://db-ai.timepad.ru/event/738056/

Добавили событие в TimePad. Кому удобно, можно зарегистрироваться там. https://db-ai.timepad.ru/event/738056/

с площадкой определились ?

там ссылка на ютубчик

а. в мыло приходит. интересно. не было такого вроде ранее

Добавили событие в TimePad. Кому удобно, можно зарегистрироваться там. https://db-ai.timepad.ru/event/738056/

А ссылку на стрим сюда продублируют?

А ссылку на стрим сюда продублируют?

Да :)

Прямая ссылка на воскресный стрим: https://www.youtube.com/watch?v=WNLzoNQf8dA

Stable: 3.6.5 (May 25, 2018), Bugfix: 3.4.15 (May 16, 2018), Upcoming: 4.0.0-rc1 (May 31, 2018) MongoDB quick overview/production notes: https://www.percona.com/live/e17/sites/default/files/slides/Running%20MongoDB%20in%20Production%20-%20FileId%20-%20115299.pdf 4.0.0-rc1: https://groups.google.com/forum/m/#!topic/mongodb-user/8S4IPhjPZyA 3.6.5: https://docs.mongodb.com/manual/release-notes/3.6/#may-29-2018 3.4.15: https://docs.mongodb.com/manual/release-notes/3.4/#may-16-2018 3.2.20: https://docs.mongodb.com/manual/release-notes/3.2/#may-10-2018 (End of life: September 2018) 3.0.x: Support ended February 2018

Дорогой чятик, в воскресенье, 3 июня, с 19:00 до 22:00 (Мск) Артём @SvPupok делает тестовый стрим. Будем говорить о репликации и шардировании. public poll Да, хочу смотреть – 47 ??????? 92% Нет, мне неинтересно – 2 ▫️ 4% Нет, мне неудобно – 2 ▫️ 4% ? 51 people voted so far.

Для тех кто пропустил. Ссылка на стрим: https://www.youtube.com/watch?v=WNLzoNQf8dA. За одно подписывайтесь на канал, это не последнее событие!

Вроде на почту пришла ссылка тоже

Привет! Стрим про репликацию и шардинг начинается через час. Подключайтесь, подписывайтесь на канал: https://www.youtube.com/watch?v=WNLzoNQf8dA ⚡️

@dd_bb запинишь ссылку с трансляцией в чате? с уведомлением :)

из 40 записавшихся явилось меньше четверти

Не, уведомление это слишком жестоко :)

Но Артём уже онлайн, скоро начнём: https://www.youtube.com/watch?v=WNLzoNQf8dA

из 40 записавшихся явилось меньше четверти

это отличный результат, я считаю :)

ну одно дело в опросник тыкать

и другое вечером воскресенья не забухать, а посмотреть полезное

и другое вечером воскресенья не забухать, а посмотреть полезное

именно так и получилось =)

Самое время задавать Артёму вопросы про шардирование и репликацию! https://www.youtube.com/watch?v=WNLzoNQf8dA

Вопрос: Лог Mongos постоянно выдает: I NETWORK [thread2] connection refused because too many open connections: 819 Соответственно, неудается к нему подконнектится, приходится перезапускать, но он все равно вскоре забивается. В конфиге Mongos.cfg не проставлено значения для net.maxIncomingConnections. Следовательно должно использоваться дефаултное значение 65536.

Алишер, можно посмотреть в сторону максимального количества коннектов, открытых к конкретному mongod

Подробнее пожалуйста

мин

смотри, монгос в качестве настройки использует количество входящих коннектов. но, кроме всего прочего он взаимодействует с обьектами всего кластера, т.е. поднимает коннекты ко всем демонам mongod. Какждый mongod имеет лимит подключений, который выставляется например в моем случае в systemd скрипте, который стартует сервис. LimitNOFILE LimitNPROC. посмотри в сторону увеличения этих лимитов

@SvPupok @dd_bb если принимаются заказы на темы я бы очень хотел разузнать про варианты диагностики. вот например типичный кейс: вдруг la 100500, всё тупит. как найти кто виноват, инструменты, кейсы, механика.

ок) накидывайте вопросы, как раз будет о чем подумать к следующему стриму. Заодно и свой разговорный скил прокачать, а то я в виду отсутствия обратной связи, немного терялся и тупил))))

смотри, монгос в качестве настройки использует количество входящих коннектов. но, кроме всего прочего он взаимодействует с обьектами всего кластера, т.е. поднимает коннекты ко всем демонам mongod. Какждый mongod имеет лимит подключений, который выставляется например в моем случае в systemd скрипте, который стартует сервис. LimitNOFILE LimitNPROC. посмотри в сторону увеличения этих лимитов

То есть мне нужно у всех нод реплики найти systemctl скрипты, поставить там лимиты, перезапустить демоны?

То есть мне нужно у всех нод реплики найти systemctl скрипты, поставить там лимиты, перезапустить демоны?

systemctl cat mongod ; systemctl edit mongod

systemctl cat mongod ; systemctl edit mongod

о, спаисбо за шорткат, я раньше заходил в /etc/systemd/..../...

о, спаисбо за шорткат, я раньше заходил в /etc/systemd/..../...

debian 9+, centos 7+

лимиты видны через systemctl show mongod

на primary и secondary.

третий - арбитр. не смотрю.

то что тут написано - имеет общее с реальностью https://toster.ru/q/419194

?

у меня была абсолютно такая же проблема, но связана была с багами в старой версии монгоса. помогло обновление с версии 3.4.1 до 3.4.12

Это, кстати, с монгосами частая проблема

Их нужно обновлять самыми последними и при любых проблемах оставлять на последней работающей версии

Там уже 3.4.15 вышел

круто, но проблема сохраняется уже больше месяца

просто это волшебное число 819

Попробуйте монгосы обновить

https://groups.google.com/forum/m/#!topic/mongodb-user/qHZiKa5oyM8

https://docs.mongodb.com/manual/reference/ulimit/

ржачно

https://groups.google.com/forum/m/#!topic/mongodb-user/qHZiKa5oyM8

у них там проблема с пхп драйвером