вот так это делается. на берегу сразу говорят что будете хранить долго получится заббикс. хоп и все сразу такие ога ога. больше заббиксов не надо.

так я год назад всех спрашивал чем вас так прёт прометеус это ж забикс вид сбоку.

тем что у него нет граблей при работе с сервисами живущими 20 минут

это меня. чем остальных я хз

костыли чуть меньше да согласен

но концептуально та же пулл модель

такой же сторадж не заточенный под долгое хранение данных

из плюсов только конфигурение через файлики и возможность автоматической генерации "объектов", на базе общего подхода дискавери

а не как херовинка сбоку

не чуть меньше а отсутствие оных же :)

не так уж и мало, но это опять попытка всё воспринять как единую большую систему. сторадж + борды (потом отказались) + алертинг + коллектор

я вобще надеялся что индустрия пойдёт куда то в сторону наоборот разделения компонент и формирования протоколов общения

ну так и есть.

пром собирает и складывает

пром собирает и складывает

а если требуется отказоустойчивость?

но концептуально та же пулл модель

спасибо, поржал

вот так это делается. на берегу сразу говорят что будете хранить долго получится заббикс. хоп и все сразу такие ога ога. больше заббиксов не надо.

не получается же, попробуй в заббикс положить больше чем на пару недель что-то - потом железом его не накормишь

нет. можно не буду.

льзя

Глеб плохого не посоветует

Глеб плохого не посоветует

ой не надо, у меня слишком много больного опыта на вышесказанную тему, не будет говорить про то чего нельзя называть больше пожалуйста

Сходил я в чат DBA, в котором 1000+ людей а на вопрос как скрестить оракл+Postgres через плагин (пробора таблиц из оракла) так мне никто и не ответил :( может тут у кого опыт уже есть ? Это я все о своих баранах вывода данных хранимых в оракле в графану...

Сходил я в чат DBA, в котором 1000+ людей а на вопрос как скрестить оракл+Postgres через плагин (пробора таблиц из оракла) так мне никто и не ответил :( может тут у кого опыт уже есть ? Это я все о своих баранах вывода данных хранимых в оракле в графану...

Обязательно графана нужна для визуализации? Можно попробовать https://github.com/metabase/metabase - там, вроде Oracle искаропки

Или redash: https://redash.io/integrations/

Хотелось бы не плодить сущности :) и иметь annotations

ad-hoc же вроде токмо с elastic работает? или уже нет?

Мда, в чате дба какой-то махровый энтерпрайз, назвал оракл говном, а они обиделись ещё..

Пример :D

Человек говорит о 0.5 петабайт данных. Но при этом оракл гавно. А графана бесплатно и круто

Главное, как мы можем помочь этому человеку... Я уже сделал всё, что мог...

Пристрелить?

Да говно, тк мне нужно считать 2PB+ налёту и ораклу плохо от подобных объемов

А кому хорошо?

Кликхаусу

Кликхаусу

это кто ?

жизнь - боль :)

Да говно, тк мне нужно считать 2PB+ налёту и ораклу плохо от подобных объемов

нифига се .... что он читает такое ?

нифига се .... что он читает такое ?

дебаг с продакшена, наверное

а кликхаус это боль и говно?

@alexanderzobnin продолжение вопроса про rows - все няшно и замечательно, старые даши работают и можно поменять опции, но вот как его создать, я что то не нашел

Народ, давайте не сильно от тематики отклоняемся

нифига се .... что он читает такое ?

Ага :)

и в продолжение раньше работало сочетание mod+h и была настройка скрыть показать контролы... чот или спрятали хорошо или я не проснулся

с одной стороны новый графоний круто, но становится сложнее решать задачу расползающихся дашбордов, так еще пара итераций и дойдет до всяких там линий привязки, границ отрисовки темплизированной панели в связке с другими в зависимости от весовых коэффициентов... карусели всякие :) мини Axure такой :)

@alexanderzobnin продолжение вопроса про rows - все няшно и замечательно, старые даши работают и можно поменять опции, но вот как его создать, я что то не нашел

Добавить панель row

мда... не проснулся :)

а контролы и их хайдинг как бы стали просто не нужны?

а контролы и их хайдинг как бы стали просто не нужны?

Надо проверять, d r не работал, я фиксил. Так что может быть баг.

ну как бы тот функционал что раньше прятался в контролы теперь ушел в мышкотаскание и всплывашки, так что вроде как просто не надо стало

А не рассматривался вариант панелей в графане, разделяемых между дашбордами. Т.е. чтобы панель один раз создать,и она была автоматом на других бордах?

И вдогонку: а per-user "метадашборд", который составляется из панелей, надёрганных из других дашбордов, не планируется? Чтобы юзер мог сам себе сверстать дашборду по интересам, не имея возможности править их настройки. Было бы круто.

а RO Editor не хватает?

а RO Editor не хватает?

Это другое, там всё-таки юзеру надо глубже вникать. Да и не сохраняются такие правки вроде. Хотя может и ошибаюсь в этом.

я почти всех сделал RO а активным товарищам в тестовом конутре просто создал персональную орагнизацию с датасорсом на инмем хранилку и дал права Editor

т.е. если что то заметили не то то могут поправить прям так и отослать json, а те кто прям фигачит кастомные даши - воля вольная в своих изолятах

Сходил я в чат DBA, в котором 1000+ людей а на вопрос как скрестить оракл+Postgres через плагин (пробора таблиц из оракла) так мне никто и не ответил :( может тут у кого опыт уже есть ? Это я все о своих баранах вывода данных хранимых в оракле в графану...

А если пойти по такому пути: все запросы для отрисовки на стороне оракла офрмляются в виде хранимых процедур, а между графаной и ораклом лёгкая самописная прослойка, которая отдаёт результаты графановскому simple-json-datasource? Он, конечно, сам ничего почти не умеет, но ему всё на блюдечке оракл подготовит.

2PB+ в сек в виде json :)

я почти всех сделал RO а активным товарищам в тестовом конутре просто создал персональную орагнизацию с датасорсом на инмем хранилку и дал права Editor

А базу они своими запросами не будут класть по недопониманию?

ну так отдельный инстанс карбона с инмем хранением последнего часа, хоть 100 раз пусть его грохнут (если смогут)

2PB+ в сек в виде json :)

2PB - это сырых данных - их оракл пережёвывает, в графану точки для отрисовки только же идут.

все равно цифры красивые :)

ну так отдельный инстанс карбона с инмем хранением последнего часа, хоть 100 раз пусть его грохнут (если смогут)

Это уже частныё случай. Тогда всё можно ?

я с этой задачкой по ораклу так и не понял зачем сейчас что то делать чтобы было в графане если оно будет убиваться и паралельно есть КХ в котором запросы все равно другие... или есть условный мальчик и ему нечего делать - пусть фигачит запросы и рисует дашы?

Народ, посоветуйте что использовать. Для метрик думаю прометеус, а для логов что лучше? Логов будет дофига, будут по большей части однотипными, хотелось бы что бы место сильно не сжиралось ими

дофига это сколько? желательно средний размер одного мессаджа и сколько их будет в секунду :)

ERROR: S client not available

ну основная часть - это сообщения вида connected 0000000000 , bbbb 000000000, xxx 8888888888, tttttt 9999999, <IP ADDR> их думаю до сотни тысяч в секунду, вообще сильно думаю над тем стоит ли их хранить, а остальыне - обычные логи приложений(микросервисы), ну сотня тысяч в минуту может быть будет, но вряд ли

я бы блобил и пихал в еластик, ну или можно логхаус попробовать - модно молодежно

есть эластик на работе, постоянно падает, говорят что там что-то течет, но сам я его не щупал еще

как и по любому инструменту - видимо мало экспертизы

ну и интересно в чем еще это смотреть можно все, прометеус - графана, это понятно, а эластик? кибана?

он капризный немножка на вот примерно таких и больше потоках, КХ менее привередлив, но у него нет веселых обвязок а ля кибана и прочее - самому надо будет велосипедить

КХ - кликхаус?

да, а логхаус это обертка над ним

Логи вроде нормально структурированы. Для кх нормально, если пачками грузить. Или через кафку. Бонус - кх их пожмёт, а эластит - нет.

хм... т.е. для КХ надо сначала логи собирать в буфер и толкьо потом пачкой отправлять?

для эластика тоже :)

хм... т.е. для КХ надо сначала логи собирать в буфер и толкьо потом пачкой отправлять?

Да. Хотя если грузить в их новый кафка движок, то он сам этим займётся.

что за новый кафка движок?

если меньше 10к сообщений в сек, то еластик переварит, если 100-200к+ то надо его осторожно кормить, может давиться (ессно эти цифры зависят от железяк и настроек)

См. Релиз ноты по недавним билдам.

неделю назад запилили нативную возможность чтения данных из кафки

или две недели

См. Релиз ноты по недавним билдам.

на какую версию? последнюю?

ок, щас гляну

https://www.youtube.com/watch?v=BC_YRNpqj5k

***310 вроде

баяяян :)

При вашем объёме логов может проще их ротировать и готовые куски пачкой грузить.

При вашем объёме логов может проще их ротировать и готовые куски пачкой грузить.

я именно так и думаю делать, просто думаю где эти пачки собирать, есть ли что-то готовое куда можно будет слать их отовсюду, или придется писать велосипеды

Ну так cli клиент кх умеет быстро csv файлы парсить и грузить. Что ещё надо?

Ну так cli клиент кх умеет быстро csv файлы парсить и грузить. Что ещё надо?

Да вот многим этого и хватит)

я именно так и думаю делать, просто думаю где эти пачки собирать, есть ли что-то готовое куда можно будет слать их отовсюду, или придется писать велосипеды

Что значит собирать? У вас логи напрямую из приложения пишутся на диск или в syslog кидаются?

Что значит собирать? У вас логи напрямую из приложения пишутся на диск или в syslog кидаются?

куда скажу туда и будут писаться. пока это просто stdout.

фигач в кафку :) накидаешь парсер за пару часов и из другой темы КХ скажешь вычитывать... и хоть под лям логов в сек шли :)

т.е. кафка лям логов с разных мест по одному в один момент времени воспримет нормально? а КХ будет получать уже как ему удобнее, т.е. сразу пачками?

кафке тоже конечно лучше большими пакетами слать, но ты ж сказал что куда скажу туда и будет :)

т.е. кафка лям логов с разных мест по одному в один момент времени воспримет нормально? а КХ будет получать уже как ему удобнее, т.е. сразу пачками?

Да, так оно и должно работать. Кафка - просто очередь: с одного конца пишешь, с другого читаешь, а разность скоростей писателя и читателя кафка буферизацией компенсирует.