yopp
чо ковырять то
yopp
я уже давно знаю что там ковырять надо :)
Nick
всю монгу)
yopp
не надо монгу ковырять, надо сделать внешний балансировщик
Nick
эм
Andrey
какая версия монги?
TokuMX mongod server v2.0.2-mongodb-2.4.10, using TokuKV rev unknown
на двух из 5
yopp
TokuMX mongod server v2.0.2-mongodb-2.4.10, using TokuKV rev unknown
на двух из 5
переезжайте на нормальную монгу
Nick
так то да внешнего апи работы с чанками вполне хватит
Constantin
сначала надо понять, надо ли это вообще кому-то
Спросите маму. Можно сделать продажи ничего не имея, и договориться о дате поставки. На первой компании создадите, на второй улучшите, и первой еще и патч продадите.
yopp
если из тыщи человек, никто купить не хочет, то вобщем-то шансов очень мало
Andrey
переезжайте на нормальную монгу
легко сказать, прежде чем переехать нужно базы перетащить а они не совместимы скорее всего.
yopp
лендос можно записить
yopp
легко сказать, прежде чем переехать нужно базы перетащить а они не совместимы скорее всего.
дамп в bson или экспорт в json
yopp
должны быть совместимы
Konstantin
всем привет! есть коллекция с записей с полями countryId, cityId и другими полями.
есть запрос, который делает группировку по countryId и считает суммы и средние по другим полям.
можно ли посчитать кол-во разных (DISTINCT) cityId для каждого countryId в этом же запросе?
важное уточнение: пара (countryId, cityId) не является уникальной внутри коллекции
Constantin
если из тыщи человек, никто купить не хочет, то вобщем-то шансов очень мало
Ну я про то, что тут не очень много тех, кто видит в этом выгоду для себя, за свои деньги, да и не у всех проекты на которых кластер уже нужен.
yopp
а я про то, что вашему руководству проблему балансировки надо продавать тогда, когда вы головой будете махать что она есть
yopp
потому что «мы порежем ваши косты, выжимая больше из шарда» тяжеловато продавать
Constantin
Мы сделаем так, что ваша база данных будет работать быстрее и надежнее, за меньшие деньги
Constantin
Может и шард продадите тем, у кого его еще нет
yopp
легко сказать, прежде чем переехать нужно базы перетащить а они не совместимы скорее всего.
но вообще чем быстрее вы переедете, тем спокойнее вы будете спать. вы летаете на мёртвом форке, непонятного качества, который уже потерял актуальность. если вы в sigbus в нём ударились, это очень плохой сипмтом
yopp
надежнее она работать не будет
Andrey
но вообще чем быстрее вы переедете, тем спокойнее вы будете спать. вы летаете на мёртвом форке, непонятного качества, который уже потерял актуальность. если вы в sigbus в нём ударились, это очень плохой сипмтом
я понимаю, но у нас нужно разделять коллекции как минимум, а это милионны source id пока не осилили это
yopp
а, каежтся вы тут уже с какой-то другой проблемой были?
yopp
тоже с tokumx?
Andrey
я тут постоянно отираюсь)))
yopp
но помоему дамп они там сломали, да?
Andrey
обходился простым копированием или dbCopy
yopp
у кого-то тут что-то было в прошлых сериях, про ошибку при дампе
yopp
ну попробуйте дампнуть какую-то не очень большую коллекцию
yopp
в целом, переехать не долго
yopp
развернуть кластер на 4, влить внего дампы, переключить на него трафик
Andrey
а именно дампануть только коллекцию. не всю базу
yopp
да, чисто проверить
Andrey
ладно спасибо, хотя я и сам это знал)
Constantin
надежнее она работать не будет
Еще вариант опенсорснуть и на донатную систему перейти, если вы в нее верите
yopp
ну SIGBUS это последний звонок, есть шанс что дальше вы будете платить за промедление данными :)
yopp
донаты это для тех, у кого работа есть. это не бизнес. на опенсурсе бизнес можно делать только на поддержке и обслуживании.
yopp
и щас ещё модно стало на hosted решениях
Andrey
А чем монго4 принципиально лучше монго3?
yopp
тем что она уже есть. смысла на 3 переходить уже нет
yopp
Stable: 4.0.3 (Oct 9, 2018) Bugfix: 3.6.8 (Sep 19, 2018), Legacy: 3.4.17 (Sep 7, 2018)
MongoDB quick overview/production notes: https://www.percona.com/live/e17/sites/default/files/slides/Running%20MongoDB%20in%20Production%20-%20FileId%20-%20115299.pdf
4.0.3: https://docs.mongodb.com/manual/release-notes/4.0/#oct-9-2018
3.6.8: https://docs.mongodb.com/manual/release-notes/3.6/#sep-19-2018
3.4.17: https://docs.mongodb.com/manual/release-notes/3.4/#sep-7-2018
End of life: 3.4 (EOL: June 2019), 3.2.21 (REL: Sep 2018 / EOL: Sep 2018), 3.0.15 (REL: May 2015 / EOL: Feb 2018)
yopp
В следующем году прощаемся с 3.4
倫太郎
ееее
Aga
Эх)
AstraSerg
немного проще сделал
db.coll.find({ $where : "this._id.toString() != this.field2.toString()" } );
Это отличное и, имхо, единственное решение
AstraSerg
и как понять какой тип индекса когда нужно юзать?
Монга сама выберет самый подходящий индекс. Вам там гадать нечего. Разве что захотите указать индекс явно через hint. Ну и сделайте индексы под свои задачи
AstraSerg
Ещё пара вопросов - Я правильно понимаю что в одном запросе монга может юзать только один индекс?
Правильно, только один. explain для изучения выбора индексов монгой
yopp
https://docs.mongodb.com/manual/core/index-intersection/
Max
нет, не правильно
спасибо за ссылку - обычно везде говорят что она под капотом один индекс юзает
Max
@dd_bb подскажите пожалуйста насколько адекватный подход: на каждую обёемную агрегацию (джойны, проджекты и прочее ) делать отдельную вьшку в базе и дальше уже работать с ней. Как ведут вообще себя индексы в агригейшен фремворке, в частности при лукапе?
yopp
главное чтоб вы улыбались
Max
+ нормально ли это для монги делать несколько жирных составных индексов, по которых можно делать кверы не дёргая при этом всю коллекцию, а только индексы?
yopp
всё остальное проверятется в бою
yopp
если данные уже есть, то берём и на тестовом столе проверяем все свои гипотезы
yopp
если данных нет, то пишием скрипт который нагрегерирует несколько гигабайт данных и проверяем на них
yopp
мне кажется что views это плохая идея
Max
yopp
лукапы в продакшене тоже
yopp
но я старовер
Max
как правильно?
Max
если мне нужно делать фильры и сортировку по двух коллекция сразу?
yopp
нет «правильно», есть «эффективно»
yopp
сортировка по двум коллекциям это всё
Max
о, а какой путь верный?
yopp
нет верных путей :)
Max
вообще - глде можно почитать про бест практис в монге? про индексы/агрегации/выборки?
yopp
если у вас коллекции по 100 мегабайт, делайте как быстрее
yopp
если у вас десятки/сотни гигабайт, то тут тоже советы бесмысллено давать
yopp
потому что всё будет очень сильно зависеть от данных и того как вы их там дергаете