но место при таком потоке заканчивается быстро

при ровном потоке данных.

впрочем можно на SAN или SATA диски их пихать и будет лучше

а для виспера кроме ССД что-то сложно

Или место найма хорошего оптимизатора

Васи

у меня так получилось что миграция произошла на одном сервере.

поэтмоу есть вомозность сранивать на прямую

@freeseacher да я верю )

даже более того - я не сомневаюсь что InfluxDB это худший выбор из баз )

я верю, что бывает хуже

я верю, что бывает хуже

rrd :)

хотя тут спорно

zabbix

впрочем zabbix же хотел на инфклюс перейти

или они отказались?*

но ребята так бодро начинали и так геройски погрязли в говномешательстве на полтора года, что надоело

заббикс пусть переходит ?

но ребята так бодро начинали и так геройски погрязли в говномешательстве на полтора года, что надоело

они не бодро начали. Они сделали большую ошибку в начале - не осознали цели

точнее требования людей

и теперь пожинают плоды трех переписываний бэкэнда

там не в этом ошибка была

и плюс они технический долг копят

точнее копят быстрее, чем решают

или они отказались?*

тебе интересно или так, поржать? :)

тебе интересно или так, поржать? :)

да и то и то )

попытались увеличить степень сжатия за счет выноса части данных в метаданные

на самом деле я немного в шоке. ибо не так давно копался в гх у ни в репах.

нашел деплоилку базы через ансибл

не решив вопрос с хранилищем для метаданных

они год пилят апи для бекенда

и там есть шаблоны конфига

это про tsm

типа вот вам апи фигачте чо вам хочеца

увидительно но в коммерческих шаблонах конфига опций тюнинга примерно на 50 больше

в итоге CH без этих изъебств но с колоночным хранением даже с лишними данными жмет в 2 раза эффективнее

и это не считая кластеризацию

а инфлюкс они так... в том году для красоты озвучивали

типа вот вам апи фигачте чо вам хочеца

а...

и по записи на порядок их перекрывает

и по записи на порядок их перекрывает

у КХ есть предсказуемость

собственно есть даже правдивые слухи что они и на КХ смотрели, но им там настолько все надо перефигачить что проще все в дев нуль и заново

но в общем для счастья не хватает произвольного ключа партиционирования

и тулзов для решардинга упрощенного

это да

хотя для метрик не особо актуально

но мы в CH еще и выгрузки BI храним, собранные MAC’и

и сейчас еще данные по L3 топологии положим

Жалко в ch забили на поддержку hugepages

Жалко в ch забили на поддержку hugepages

я думаю на сервере с КХ можно включить transparent hp

врядли что-то на него кроме удастся подселить

хотя для метрик не особо актуально

мы думали туда все посекундные метрики свалить

или даже проще - все первые архивы виспера

я думаю на сервере с КХ можно включить transparent hp

Ради упорина можно hugetlb +ld_preload

но без дневного партиционирования - сложно

или даже проще - все первые архивы виспера

вотъ у меня сходная идея

но мне проще - нам данные без аггрегаций нужны только за последние 4 часа

да вот не проще )

данные за больше чем 4 часа удалять надо )

поэтому их в память со сжатием норм пихать

ну я про виспер

а

а вот статистику всякую строить - кх

не, у нас много "2 дня по секундно"

ну я спросил - нам надо, мне сказали не

и по ним часто нужно делать выборки вида "groupByNode(summarize(...))

ERROR: S client not available

может через какоето время скажут - давай :)

но это уже будет другая история :)

и минус в том что в разных местах разные сумарайзы )

да я уже виспер помучал в качестве БД без индексов... ну такое

у миеня виспер на чтение очень хорошо работает

точнее как

если бы еще go-carbon мог частично фильтрацию делать - было б ваще зашибись

но в общем для счастья не хватает произвольного ключа партиционирования

хм. я так помню это q4. тоесть в ближайшие 3 месяца.

хм. я так помню это q4. тоесть в ближайшие 3 месяца.

угу, говорят 2/5 задачи сделано )

нууу высчитать топ 100 по одной метрике с 50к инстансов :)

по дням - не уверен, а вот по неделям было бы нормально

так rejoice! :)

из памяти секнуды

нууу высчитать топ 100 по одной метрике с 50к инстансов :)

в КХ такое реализуемо, да

на виспере - ну сложно

ну вот

впрочем была б фильтрация близко к бэкэнду - было б тоже норм

top по одной метрике на CH быстро высчитываться будет

там тупо ням ням 50к файликов и среднее по ним, а потом на тебе топ сколько ты хотел

вот я и хочу все вот такие выборки сунуть в то что под это и писалось

ага

мы у себя сделали функцию, которая по данным из inventory разворачивает IN со списком id’шников

а как рандом читалка виспер вполне норм

у нас тут были деятели

нарывались даже на ограничения на размер запроса и стали select в post слать

сделали дашборд

но - работает

где выводили в духе топ5(метрики)

где метрик было 40 тысяч

посекундных

мухаха

за два дня