а как-то можно получить результат запроса (получение списка айдишников) не массивом объектов ObjectID, а строковым массивом?

по-моему в монге такое не практикуется, или практикуется, но только через агрегацию

А конвертировать в коде слишком дорого?

я в итоге ебанулся и переписал все с питон-кода на постгревые запросы

(благо она является первоисточником данных, которые мне потом надо в монгу класть, ыыы) получилось и дешевле, и эффективнее, и вообще брат жив

А конвертировать в коде слишком дорого?

так и сделал... но думал что есть более изящное решение

покурю еще на досуге doctrine odm

а как-то можно получить результат запроса (получение списка айдишников) не массивом объектов ObjectID, а строковым массивом?

Вобще можно, написав хранимую процедуру на встроенном JS function getListIdStr() { var s = "" db.getCollection('users').find({},{_id : true}).limit(5).forEach( function (x) {s += x._id + ", "} ) return s } сделать такую функцию в базе и вызывать на бэкенде Но вы не верно поняли смысл монги, она не альтернатива Postgree. Это NoSQL, она ближе к бекенду, и заточена для того что бы быстро получить инфу и обрабатывать её как угодно на бэкенде. В отличии от традиционного подхода в SQL базах, где данные содержаться в целостности, и доступ через хранимые процедуры

@dd_bb добавишь чтонить к фразе @CapDev Это NoSQL, она ближе к бекенду, и заточена для того что бы быстро получить инфу и обрабатывать её как угодно на бэкенде. ?

я не вижу смысла коментировать бред

лол

Хочу поделиться своим опытом, вебинаром или ещё каким митапом. Что вам было бы интересно узнать?

прокомментированный тобой всякий бред!

яснопонятно.жпг

Хочу поделиться своим опытом, вебинаром или ещё каким митапом. Что вам было бы интересно узнать?

масштабирование больших кластеров, проблемы, решения итд. Но это общая тема довольно.

интересны бестпрактисы по части формата данных, например, вот у нас есть такие данные их лучше представить в виде таком т.к. монге так лучше, или только так вы поимеете профит в монге. Или вот такие данные со скрипом можно загнать в монгу, но тогда вы огребаете такие и такие проблемы. очень интересны кесы вида вот вроде бы и формат доков примерно норм, и вот даже все хорошо, но происходит чтото и начинается пиздец потмоу что и дальше объяснение. (чтото - какоето событие, типа добавали новый тип документов, пришел начальник попросил стату, сделали ребут монги кэши холодные все перестало работать и т.п.)

очень пиздато будет показать пример использования твоего мониторинга для поиска какойто неявной пробелмы

идеально - взять кейс из зала и показать как его представить в монге или почему монга противопоказана

главное чтобы веб-стрим был

актуально к моей задаче (возможно она на монгу неособо ложится) мне интересно было бы посмотреть на телодвижения при попытке засовывать 10мультов доков (~50Гб) в сутки данных в монгу в качестве просто хранения и вытаскивания по ключу, возможно доп индексы на 5-6 полей для запросов. и как это будет шардиться и что ждать через полгода

масштабирование больших кластеров, проблемы, решения итд. Но это общая тема довольно.

масштибируют не кластеры, а данные

ага, про схемы

суть же понял

в отрыве от данных, больше чем написанов доке — не сказать

в смысле от конкретных кейсов

в доке не все =)

много чего есть, да

а что вообще для таких мероприятий сейчас используют? hangouts?

Вроде да

а что вообще для таких мероприятий сейчас используют? hangouts?

https://www.bluejeans.com

Хочу поделиться своим опытом, вебинаром или ещё каким митапом. Что вам было бы интересно узнать?

Когда лучше взять SQL, а когда - NoSQL

а что вообще для таких мероприятий сейчас используют? hangouts?

Стримы на Ютубе очень даже норм

или твиче :)

Хотелось бы узнать про самые вероятные возможные факапы в разных конфигурациях (с репликасетом, с шардингом) с примерами их решения и предотвращения. Как лучше выстраивать системы бекапов, какие метрики смотреть и на какие делать алерты. Еще хотелось бы узнать про джентельменский набор инструментов и самые популярные кейсы их использования.

Хочу поделиться своим опытом, вебинаром или ещё каким митапом. Что вам было бы интересно узнать?

Тюнинг ОС, ФС для монги, бест практисы по бекапам шаред кластеров, ключи шардирования, потрошки движка и их отражения в мониторинге при нагрузках

стрим платный? почем билет будет?

Хочу поделиться своим опытом, вебинаром или ещё каким митапом. Что вам было бы интересно узнать?

То, чему не учат в юниверсити

Вобще можно, написав хранимую процедуру на встроенном JS function getListIdStr() { var s = "" db.getCollection('users').find({},{_id : true}).limit(5).forEach( function (x) {s += x._id + ", "} ) return s } сделать такую функцию в базе и вызывать на бэкенде Но вы не верно поняли смысл монги, она не альтернатива Postgree. Это NoSQL, она ближе к бекенду, и заточена для того что бы быстро получить инфу и обрабатывать её как угодно на бэкенде. В отличии от традиционного подхода в SQL базах, где данные содержаться в целостности, и доступ через хранимые процедуры

Возможно я не совсем понятно выразился, относительно вопроса имелось ввиду что не стоит сортировать и производить какую то обработку данных средствами хранимых процедур (js). Лучше делать это в коде, т.к это будет быстрее(компилируемый) и возможностей больше

Иногда все же в этом есть смысл, если после обработки на стороне базы объем передаваемых данных значительно снижается.

Когда лучше взять SQL, а когда - NoSQL

+

а никто не подскажет как можно попытаться вытащить сырые данные из файлика с коллекцией? Может есть готовое решение

Кто-то уже это изучал. Поищи в ссылках в чяте

Тебе с какой целью?

Кто-то уже это изучал. Поищи в ссылках в чяте

Chat info - Shared media - Links

я и изучал)) при помощи утилиты wt, нужна структура неповрежденная WiredTiger.wt и прочих файлов. Сейчас кейс немного другой - попытаться в json формате вытащить из файла коллекции

Зачем?

Наиболее быстрый и правил ней способ — монгу для этого использовать. Остальное — ебля в гамаке и стоя.

А кто-то щупал монгу с патчами percona?

да, щупаю со вчера, но на деве. Движок выбрал rocks от fb.

Зачем?

для попытаться восстановить данные. сбойнул рейд контроллер, файлик WiredTiger.wt покрашился, монга не стартует даже с —repair )

только wt?

для попытаться восстановить данные. сбойнул рейд контроллер, файлик WiredTiger.wt покрашился, монга не стартует даже с —repair )

и реплик не было?

да, щупаю со вчера, но на деве. Движок выбрал rocks от fb.

ого ты некропостер =)

ого ты некропостер =)

поиск никто не отменял. хоть кто-то им пользуется

ого ты некропостер =)

а то! ты не тестил? =)

не, меня WT устраивает

они свой движок вообще удалили в 3.4, только рокс оставили

с другой стороны, если вы не знаете зачем вам capped collections, map/reduce, aggregation framework и gridfs, то вам и монга не нужна;)

+

для попытаться восстановить данные. сбойнул рейд контроллер, файлик WiredTiger.wt покрашился, монга не стартует даже с —repair )

попробуй создать пустую коллекцию и заменить её .wt файлы индексов и самой коллекции на те, которые из креншнутой базы

+

там там тред я пропустил в прошлом году!

и реплик не было?

Тут очень хитрый сбой получился. Реплика на отдельном зеркальном рейде. Примари на своём зеркале.иоба зеркала доступны через ссд кеш от адаптека. Сбойнул контроллер. В примари побился тот самый файл wt, в реплике turtle покрашился

ээээ, на одном сервере и реплика и мастер?

в точку) но на разных винтах

в виртуалках

да говорил давайте задублируем железку ) год назад, в апреле... неа денег жалко

да на реплику можно хоть таз на атоме поставить

(hidden)

да говорил давайте задублируем железку ) год назад, в апреле... неа денег жалко

ахахахаха

денег жалко

на самом деле это от того, что никто не учит инженеров работать не только аналитическим аппаратом, но и калькулятором

потому что калькулятором можно бизнесу очень многие вещи объяснить

именно) кроме смеха и у меня такие слова ничего не вызывают...

и только совсем уже непробиваемые, гхм, визионеры, могут пытаться спорить с калькулятором

ну в этом есть и твоя заслуга, на самом деле

в таких ситуациях виноваты обычно все уровни

исполнители не могут внятно донести проблемы до менджмента, меджмент не интересуется проблемами исполнителей, владельцы слишком доверяют менеджерам и не ходят «в народ»

Иногда менеджеры начинают гнуть свою линию, невзирая вообще на все аргументы. Я однажды даже уволился из конторы из-за этого, не хотелось ломать то что строилось много лет от одного желания нового начальника.

исполнители не могут внятно донести проблемы до менджмента, меджмент не интересуется проблемами исполнителей, владельцы слишком доверяют менеджерам и не ходят «в народ»

далеко не везде возможно такие вопросы обсуждать, особенно в регионах

Иногда менеджеры начинают гнуть свою линию, невзирая вообще на все аргументы. Я однажды даже уволился из конторы из-за этого, не хотелось ломать то что строилось много лет от одного желания нового начальника.

как человек который в таких разборка обычно стоит скраю, я хочу сказать что аргументы очень часто не выдерживают никакой критики

потому что инженеры сначла хотят всё и сразу, въёбывают кучу бабок на ненужные игрушки, а потом когда им подрезают бюджеты начинают ныть

как человек который в таких разборка обычно стоит скраю, я хочу сказать что аргументы очень часто не выдерживают никакой критики

а аргумент "давайте уменьшим количество серверов, чтобы они реже ломались" - это какую-то критику выдерживает?

а аргумент "давайте уменьшим количество серверов, чтобы они реже ломались" - это какую-то критику выдерживает?

и какие контр-аргументы были?

«ну он тупой?»

я ещё раз подчеркну свою позицию: проблемы в коммуникациях состоят из двух сторон.

мы же сейчас про нормальные конторы? не регионы?

и какие контр-аргументы были?

нехватка места, failover

нехватка места, failover

этот аргумент никак не объясняет почему такой подход не позволяет достингуть «реже ломается»

нормальный вопрос бизнеса на самом деле