это очередная попытка урановых коней в ртути топить

мой тест говно и я не против.

но в где он гавно не понятно

аргументы про управляемость нагрузки понятны.

потому что условия и методология тестирования не определены, датасет неизвестен

а самое главное: я всё ещё не понимаю зачем ты топишь за bg индексы

потому что в практике bg индексы работают до момента пока у нас датасет вместе с индексами в память влазит

условно если у тебя есть коллекция в пару десятков гигов и тебе надо быстренько ебануть туда индекс, без особых заморочек, пожалуйста, ебашь bg

но если у тебя есть шарженная коллекция, на пару террабайт, надо быть экстремалом чтоб сделать индекс с bg

вообще в жирном шарженом кластере с индексами всё очень печально, долго и муторно

потому что в практике bg индексы работают до момента пока у нас датасет вместе с индексами в память влазит

есть что почитать ?

что почитать-то?

про влазят в память

откуда такое ограничение

из фон неймановской архитектуры, блин

строительство индекса == прочитай весь датасет

я согласен что прочитать надо весь датасет. но не понимаю почему его надо прочитать за раз и всё сложить в память.

парни из монги тоже рекомендуют роллинг https://docs.mongodb.com/manual/tutorial/build-indexes-on-replica-sets/#index-building-replica-sets

если датасет влазит в память, мы не создаём нагрузки на сторадж, а просто ебашим сколько можем из памяти, нагружая сторадж только записью новых страниц индекса

если датасет в память не влазит, у нас получатся пиздец: надо отжать память на место для батча датасета, место для страниц индекса

если датасет влазит в память, мы не создаём нагрузки на сторадж, а просто ебашим сколько можем из памяти, нагружая сторадж только записью новых страниц индекса

это логично.

а это значит слить из кеша на диск страницы, загрузить в кеш страницы с диска и так пока датасет не кончится

если датасет в память не влазит, у нас получатся пиздец: надо отжать память на место для батча датасета, место для страниц индекса

да, это все надо сделать на ноде которая * предварительно была выведена из сета * перезапущена, тоесть лучшее что у нее есть это page cache * не имеет другой нагрузки кроме построения индекса.

да

тоесть рид на весь сторадж нам _гарантирован_

в этом случае доступные ресурсы будут потрачены наиболее эффективным образом

так как мы контролируем выведение, мы знаем об влияние наших действий на кластер

и знаем что если его потом холодный сразу сделать мастером, может быть грустно

ок. @dd_bb спасибо.

это. я никак не могу решить на чём делать клиента для эспортера

пайтон

или гошка

у него те-же проблемы с портабельностью что и у руби

го — пиздец

а ты не морочься и сразу делай единственный формат распространения докер имидж

не, не взлетит

чой то ?

надо бинарник

ну вот докер это и есть бинарник, пакетный менеджер

когда из докер имаджа можно будет сделать портабельный самозапускающийся бинарник, мы с тобой поговорим

ой, а сейчас нельзя да ?

черт :(

а под портабельностью ты наверное имеешь в виду для арма да ?

или соляра ?

я имею ввиду self-contained binary, который не требует ничего не целевой системе

тогда гошка

скачал и сказал ./mybin

конфиг плиз в переменные окружения. спасибо

ну зачем же.

скачал и сказал ./mybin

я кстати так делаю просто у меня докер зависимость на ноде. для всего что не является целевым софтом.

ну пока из моего опыта, те кто мне платят денег, докер не используют

а я хочу часть себя автоматизировать

потому что я скейлюсь плохо :(

да это разумно

по сути мне нужен бинарник, который будет тупо умеет десяток команд в монгу посылать и слать мне на сервер bson

c минимальной пост-обраткой

в теории, конечно, можно на адовой смеси mongoshell и curl попробовать натулить

но я даже не знаю что хуже: go или sh

sh

а чо c + статическаялиноквка ?

будет один бинарь

2017 год и c/cpp?

там говна не меньше будет. я не хочу окунаться в волшебный мир разруливания говна при линковке :(

ну в 2017 таки пишут на питоне/го

ну вот непонятно как из питона сделать портабельный демон

и даже некоторые я видел пишут на рубях.

ну вот непонятно как из питона сделать портабельный демон

так же как все. докером :)

докер у хипстеров пока, а у хипстеров денег нет

2017-ый такой.

точнее у миллинеалов.

ну вот непонятно как из питона сделать портабельный демон

А тебе закрытый код нужен?

Но наверное ты прав. го я щас заебусь осиливать

А тебе закрытый код нужен?

Не. Агента в опенсурс

Кто будет непонятный бинарник с доступом с монгу ставить. ;)

Докер и гем

Не можешь докер, поднимай как тебе удобно руби и ставь гем. Можешь докер, бери имадж

Для любителей можно jar сделать.

удивтельно если они правда есть. прошлый экпортер я как раз спратал в докер что бы не нагружать систему jvm ибо в стеке жава у нас запрещена

пожалуйста прекрати слать голос. спасибо.

Так проблема с питоном та же что и с руби. Надо либо весь интерпретатор с зависимостями таскать, либо делать пакеты с зависимостями на питон, либо установку питона отдавать юзеру на откуп и давать питоновскиц пакет

по сути мне нужен бинарник, который будет тупо умеет десяток команд в монгу посылать и слать мне на сервер bson

go :)

Так проблема с питоном та же что и с руби. Надо либо весь интерпретатор с зависимостями таскать, либо делать пакеты с зависимостями на питон, либо установку питона отдавать юзеру на откуп и давать питоновскиц пакет

Тогда Go.

пожалуйста прекрати слать голос. спасибо.

Нет.

пан Штефан в теме :)

Так проблема с питоном та же что и с руби. Надо либо весь интерпретатор с зависимостями таскать, либо делать пакеты с зависимостями на питон, либо установку питона отдавать юзеру на откуп и давать питоновскиц пакет

Вообще вряд ли есть проблема с установкой Python 2, он сейчас везде есть.

Прототип/альфу на рубях и докере, а там посмотрим. Будет приносить денег, можно найти кто напишет хоть на брейнфаке.

Вообще вряд ли есть проблема с установкой Python 2, он сейчас везде есть.

увы это не так.

увы это не так.

А где его нет?

последняя бубна

freebsd

16,04 которая

И руби везде есть. ;)

freebsd

Там вообще ничего нет.

руби почти везде отсутствует

Там вообще ничего нет.

и слава богу - пусть сами ставят под себя

последняя бубна

Там нет Python?