Судя по этому слайду максимум из обычного карбона удалось выжать 120к в секунду

Это на обычном карбоне или на гошном?

Обычный можно запустить под pypy, где то в инстансов 20, если взять версию не новее 0.9.12 можно получить 300к

Но лучше на го карбоне

руру?

У карбона на питоне performance regression где то после 0.9.12

руру?

Да, питоновый интерпретатор с jit

Если нужна скорость лучше брать сразу го карбон

Как бонус - к нему можно наш carbonapi прикрутить

Ну мне для бенчмарком только. Видимо надо забить на эксперименты с обычным и сразу сравнивать с гошным

Ну мне для бенчмарком только. Видимо надо забить на эксперименты с обычным и сразу сравнивать с гошным

А что и чем бенчмаркишь?

Графаус с конкурентами. Пока вставку

Графаус с конкурентами. Пока вставку

Как на конкурентов интересно посмотреть на всякие более редкие базы :)

Кстати, если с автором поговоришь, он может довольно просто ускорить го-карбон

На вставку

:)

Ну я сейчас смотрю с точки зрения именно графита

Поэтому редкие базы навернео сейчас не особо интересны

Поэтому сравниваю карбон+виспер против КХ+ графауса

Ну я сейчас смотрю с точки зрения именно графита

Возьми ещё biggraphite

Cпасибо, посмотрю

Читаю про carbonapi. У меня появилась пачка глупых вопросов: 1. А что делает carbonzipper? 2. Я так понимаю, что carbonapi будет работать только с go-carbon. А graphite-web будет с go-carbon работать?

Кстати, если с автором поговоришь, он может довольно просто ускорить го-карбон

Это возможно, но бессмысленно. Оно все равно упирается в диск и память (под дисковый буфер). Использование cpu можно уменьшить, но только через порчу кода. Короче выигрыш сомнителен и не стоит усилий. Я когда думаю о том, можно ли че-нить ускорить, каждый раз вспоминаю этот репозиторий https://github.com/thatguystone/murmur и отпускает

Читаю про carbonapi. У меня появилась пачка глупых вопросов: 1. А что делает carbonzipper? 2. Я так понимаю, что carbonapi будет работать только с go-carbon. А graphite-web будет с go-carbon работать?

1. склеивает результаты с разных серверов (в том числе мерджит данные одной серии, чего раньше graphite-web не умел) 2. graphite-web может работать с go-carbon напрямую

Коллеги, кто-нибудь может поделиться статистикой? Для всяких темных дел мне нужно знать: сколько у вас всего метрик и сколько из них активно пишется, а сколько больше не обновляется?

Коллеги, кто-нибудь может поделиться статистикой? Для всяких темных дел мне нужно знать: сколько у вас всего метрик и сколько из них активно пишется, а сколько больше не обновляется?

для каких темных дел?

кстати, коллеги. а есть кто-нить кто занимается высокочастотными метриками? мне надо например писать 200-300 значений в секунду для одной метрики. причём время приходит уже вместе с группой метрик так как при такой частоте время проставляемое на сервере будет уже не алё. я так понимаю, что всякие инфлюксы кликхаусы в данном случае не очень потому что они пишут значения как они приходят и у меня не получилось например для инфлюкса задать кастомное время.

кстати, коллеги. а есть кто-нить кто занимается высокочастотными метриками? мне надо например писать 200-300 значений в секунду для одной метрики. причём время приходит уже вместе с группой метрик так как при такой частоте время проставляемое на сервере будет уже не алё. я так понимаю, что всякие инфлюксы кликхаусы в данном случае не очень потому что они пишут значения как они приходят и у меня не получилось например для инфлюкса задать кастомное время.

с кликхаусом ты можешь что послал то и писать. Определяешь UInt64/Int64 поле и пишешь туда свои таймстэмпы с 64-я битами

для каких темных дел?

Пилю storage для time-series.

ок, можно подробности про сторадж услышать?

с кликхаусом ты можешь что послал то и писать. Определяешь UInt64/Int64 поле и пишешь туда свои таймстэмпы с 64-я битами

это я понимаю, но тогда это уже будет не тот первичный индекс. хотя в принципе наверное это не так важно?

это я понимаю, но тогда это уже будет не тот первичный индекс. хотя в принципе наверное это не так важно?

как определишь ты

кликхаус то что ему на входе пришло - то и записал

никаких изменений сам не делает

ок, можно подробности про сторадж услышать?

https://github.com/akumuli/Akumuli

никаких изменений сам не делает

это логично. таки база данных не должна менять данные, а должна их хранить

кликхайс пока не щупал - только инфлюкс

Evgeny а, ок, понятно. Про статистику - около 60 млн уникальных названий, активно пишется около 99% этого, но то что не пишется активно вычищается

@mr_tron я к тому что ты индексом можешь задать любой список полей, писать в них любые данные. Например timestamp писать как int64

Evgeny а, ок, понятно. Про статистику - около 60 млн уникальных названий, активно пишется около 99% этого, но то что не пишется активно вычищается

А сколько памяти этот​ процесс использует под кэш и прочие дела?

А сколько памяти этот​ процесс использует под кэш и прочие дела?

это не один процесс уже давно )

и не 1 сервер

А сколько на сервер примерно?

Хм... Я не считал такое

Поэтому сравниваю карбон+виспер против КХ+ графауса

Логично тогда с https://github.com/lomik/carbon-clickhouse сравнить.

http://dpaste.com/3YQ8TGQ

что я не правильно указал?

А сколько на сервер примерно?

Зависит от сервера, от нескольких сотен тысяч, до нескольких миллионов

мне кажется, КХ почти неограниченно масштабируем

какой смысл за цифрами гоняться?

у нас не КХ )

не, я не про тебя, я помню как у вас, я в целом

или ты к другому человеку пишешь?

все упирается в то, как работает пушер

я вот думаю как сделать буферизатор для Clickhouse C++

а там уже будет пол беды сделать его дьявольски быстрым %)

мне кажется смысла в плюсах под это особого нет

почему?

Потому что под задачу хватает и Го

если кому интересно, чтобы не просто так задавать вопросы у меня есть готовые примеры как нагрузку на http делать и отображать результат в графане https://github.com/andreevym/spring-boot-monitoring https://github.com/andreevym/monitoring

а чего не сделал чтобы "/hello-world" и "GET" автоматом считывались и присылались в инфлюкс

чтобы можно задать своё название measurement @DurationMonitoring(measurement = "sayHello")

можно конечно сделать просто @DurationMonitoring а measurement брать из запроса

а ты average берёшь или что?

спасибо за ответ, я брал current

я предполагал что у них можно сравнивать не только числа но и строки

я создал багу, а они мне ответили что это такой редкий кейс когда кто то хочет использовать строки, по этому ничего не будут править

А кто что расскажет про chronix ? я смотрю и мне вроде нравится, хотя мне и opentsdb нравился...

ERROR: S client not available

Скорее всего, в производительносте он проиграет, например, whisper, так как на lucene. Не совсем ясно, как она связана с timeseries, так что ...

Скорее всего, в производительносте он проиграет, например, whisper, так как на lucene. Не совсем ясно, как она связана с timeseries, так что ...

у них вот тут бумажка была https://www.usenix.org/system/files/conference/fast17/fast17-lautenschlager.pdf

Ну, в целом, логично. Проигрывают на маленьких размерах, выигрывают на больших. Не факт, что в самом деле будут выигрывать, но в их измерениях выигрывают)

мне кажется, КХ почти неограниченно масштабируем

>мне кажется, КХ почти неограниченно масштабируем IMHO "почти неограниченно масштабируем" вообще не бывает, и КХ уж никак тем более не пример.

Он настолько же "почти неограниченно масштабируем" как и виспер с зиппером.

Сэры, а есть чатик "церковь логов"? ELK, graylog и прочие буквы и слова

Сэры, а есть чатик "церковь логов"? ELK, graylog и прочие буквы и слова

чем тебе текущего нехватает ?

Не знаю пока, вдруг оффтоп :) Церкви - они же разные бывают :)

Не знаю пока, вдруг оффтоп :) Церкви - они же разные бывают :)

Да норм, если неправильно используешь логи, мы так и быть тебя и тут на костёр отправим

Он настолько же "почти неограниченно масштабируем" как и виспер с зиппером.

Ну справедливости ради у кх есть встроенная репликация и распределенные таблицы, которые хоть что то умеют паралелить сами. Например если пробрасываиь функции фильтрации, то оно частичные фильтры вычислять будет

Да норм, если неправильно используешь логи, мы так и быть тебя и тут на костёр отправим

а как правильно? библию мне дайте местную, я спасиба скажу :)

а как правильно? библию мне дайте местную, я спасиба скажу :)

Ну это шутка была (или нет?). Но ваще вот хорошая статья про логи: https://honeycomb.io/blog/2017/04/lies-my-parents-told-me-about-logs/

ну вдруг. просто охота серебрянную пулю, что бы илоги собирала и на ошибки алертила в этих логах и какую-нить метрику собирала и все это без смс

ну вдруг. просто охота серебрянную пулю, что бы илоги собирала и на ошибки алертила в этих логах и какую-нить метрику собирала и все это без смс

Заббикс xD Все делает, только все плохо

Спасибо, есть, но надо лучЕе. Опять же, всякие докеры, аджайлы, непостоянное число нод и сервисов. А с этим у заббикса совсме плохо. А модные штуки типа графан на тех обьемах, что есть у меня, тупо захлебываются. Вот и хожу по гуглю в надежде найти ЭТО

Сэры, а есть чатик "церковь логов"? ELK, graylog и прочие буквы и слова

@elasticsearch_ru ближе всего. Но там бывают не только логи.

разобрался с телеграфом для мониторинга cbqos, ip sla, "инвентаризации" для устройств с entity-mib, но не радует, т.к. алертинг неосилил еще. у графаны так себе. капаситор кто использует? или вообще не стоит заморачиваться?

разобрался с телеграфом для мониторинга cbqos, ip sla, "инвентаризации" для устройств с entity-mib, но не радует, т.к. алертинг неосилил еще. у графаны так себе. капаситор кто использует? или вообще не стоит заморачиваться?

а всё-таки зачем смешивать алертинг и мониторинг?

зачем телеграф мучать?

для сети есть NOC

а всё-таки зачем смешивать алертинг и мониторинг?

оно не смешивается. пока есть только мониторинг производительности.

зачем телеграф мучать?

сильно мне нужен мониторинг был cbqos. в телеграфе это собирается лучше всего.

разобрался с телеграфом для мониторинга cbqos, ip sla, "инвентаризации" для устройств с entity-mib, но не радует, т.к. алертинг неосилил еще. у графаны так себе. капаситор кто использует? или вообще не стоит заморачиваться?

Я использую, единственный кто позвляет кастомные фукнции писать

думаю что без нормального веб-интерфейса юзать это сложно, плюс там пока нельзя несколько капаситоров поставить, чтобы они один алерт на всех отсылали

Добрый день

а кто-то может подсказать по influxdb и подзапросам?

по influxdb я могу подсказать

но подзапросы не делал в ней

Есть метрика, в ней есть n-полей, одно из полей отвечает за идентификатор прохода сбора метрики. вот мне нужно как-то запросом получить данные только с последнего такого прохода

id, field1, field2, field3 -------------------------------------- 1, value1, value2, value3 1, value12, value22, value32 2, value13, value23, value33 2, value14, value24, value34

вот мне нужно получить последние две строки