Вот еще списочек кста - https://misfra.me/2016/04/09/tsdb-list/

--detached Starts the Erlang VM detached from console —no-halt Does not halt the Erlang VM after execution

я глуп, обьясните мне пожалуйста по-русски

В белорусском цезии

Ни чем не отличается от "вашего" цезия. )))

парни. дак вот я снова с вопросом. кто куда логи пишет ? ошибки я пишу в Sentry, а вот лог (именно логи а не метрики)

graylog, papertrailapp

elk-стэк

в чем сакральный смысл разделения в хранении логов и метрик?

в чем сакральный смысл разделения в хранении логов и метрик?

только закончил книгу читать по отп там последняя глава об этом

ну и ответ очевиден как по мне

ну и ответ очевиден как по мне

и я о том-же

и какой ответ ? )

хотя по сути да

так кто напишет очевидный ответ-то?)

вот уже трое в теме

но все же пояснить надо. а то темы у нас могут быть разные )

сейчас потыкаю greylog. в идеале я бы хотел использовать более экономичное хранилище логов чем mongo (то что пользует greylog) и точно не тащить elastic (хотя понимаю что без него выборки будут скуднее)

epmd потерял две ноды. это вообще часто случается?

epmd потерял две ноды. это вообще часто случается?

бывает иногда

я несколько раз видел

epmd перезапускался?

да

хм

делать что ли регулярный :erl_epmd.register_node

так кто напишет очевидный ответ-то?)

Логи - это помойка, откуда надо доставать данные не так часто, как записывать и параметры поиска не такие сложные. Поэтому тут лучше подойдет быстрое сохранение с медленным чтением. Еще логи надо чистить, т.к. они часто теряют актуальность. Можно использовать табличные и nosql базы, иногда даже файлы. Метрика же требует не только быстрой записи, но и быстрого чтения (в большинстве случаев) с кучей параметров поиска. Тут лучше подойдут столбцовые СУБД. Данные практически не удаляются, т.к. метрика полезна практически за весь хранимый период.

Вот и получается, что логи в Percona, а метрику в Clickhouse

Тут уже от хайлоада зависит, там Percona не самый лучший выбор

Добавлю.. потеря логов не так страшна, как потеря метрики

как в еликсире делать :ets.update_counter с позицией изменяемого элемента в кортеже?

рекорды же просраны

или модуль на ерланге проще написать?

Вот и получается, что логи в Percona, а метрику в Clickhouse

если используется кликхаус, то что логи хранить, что метрику уже становится без разницы.

А если формат лога изменится? Или данные динамические, сейчас json, а потом просто строка? На каждый чих делать таблицу? Сохранение в кликхаусе по одной записи на чих тоже делаться будет долго. У него написано в документашке, что лучше сохранять пачками по 1к и более.

что метрики, что логи нужно сохранять пачками

формат данных по собираемой метрике не может поменяться?

значительно реже

Логи - это помойка, откуда надо доставать данные не так часто, как записывать и параметры поиска не такие сложные. Поэтому тут лучше подойдет быстрое сохранение с медленным чтением. Еще логи надо чистить, т.к. они часто теряют актуальность. Можно использовать табличные и nosql базы, иногда даже файлы. Метрика же требует не только быстрой записи, но и быстрого чтения (в большинстве случаев) с кучей параметров поиска. Тут лучше подойдут столбцовые СУБД. Данные практически не удаляются, т.к. метрика полезна практически за весь хранимый период.

У мускла движок же есть специально для этих целей

хотя да, детализация у логов может расшириться

но все равно, нужно с логами порядок какой-то наводить

чтобы единый формат какой-то был

новые форматы логов могут добавляться хоть каждый день в момент разработки

и при этом поиск, скорее всего, будет идти полнотекстовый

хм

ну или nosql и вперед

тогда проще в эластик сразу все кидать?

Да, вариант

там и полнотекст и кибана

Logstash

да

есть у кого-нить нормально настроенные контейнеры по elastic, logstash, kibana?

дефолтные конфигурации для разработки, например, docker-compose билд

Но я от балды сейчас ляпнул))) Даже сам поверил)

Сам использую Percona и Clickhouse)

Сам использую Percona и Clickhouse)

elixometer использовал?

неа

а как ты в кликхаус складываешь?

tcp сокет

точнее у меня на php все))

сокетом в эликсир, с эликсира по таймауту в кликхаус

на каждое событие в кликхаус кладешь?

как в еликсире делать update_counter, если нет нормальны рекордов, как в ерланге?

Я уберу пин про работу

https://www.reddit.com/r/elixir/comments/67x16v/typed_elixir_meet_elmchemy_elm_to_elixir_compiler/

https://www.reddit.com/r/elixir/comments/67x16v/typed_elixir_meet_elmchemy_elm_to_elixir_compiler/

о, наконец-то

будет хорошо, если взлетит

блеать

ERROR: S client not available

определил атрибут, например @trname __MODULE__

хочу его использовать как рекорд, сделал Record.defrecord(@trname, ...)

пишу @trname(:bytes_in), чтобы номер поля взять, а компилятор не компилит, говорит, что нельзя определять атрибут в функции

а если __MODULE__ вместо него воткнуть, то работает

хотя не, тоже не работает

вот блядь говно этот ваш еликсир

есть немножко такое ощущения временами, возвращаюсь на erlang

ну зато библиотек много и они поддерживаются

но язычок говённый

вроде пишешь, пишешь, как будто бы и привык, но вылазит что-то такое, что прям буэ

и вот это вот 0-based индексы в рекордах — это вообще нахуя?

сука

негодую

так это во всех языках

кроме эрланга

так в ерланге с 1, поэтому в еликсире тоже с 1 надо

чтобы так же с рекордами работать, когда в ets их кладёшь

так синтаксис взяли с рубей

а то получается поеботина

и писал рубист

так синтаксис взяли с рубей

вот за это надо скалкой по пальцам

гаже синтаксиса, чем у рубей, я даже и не видел

ну разве что лисп какой

но там не синтаксис, а AST

смысл тогда на эликсире писать?)

кроме эрланга

И дельфи вроде ещё

смысл тогда на эликсире писать?)

много поддерживаемых библиотек

я всё взвесил, и решил, что это важнее

инфраструктура хорошая, удобная

но вот это блядь руби-наследие — боже упаси

эликсир изначально запилили с уклоном на рубистов, чтоб легко было писать что-то производительное, там где руби не справляется

можно было взять другой язык