я там про бласт-радиус заикнулся

но у вас уже есть UA стенд и всё такое

я хз, подумайте, как процесс тестирования ускорить

я не знаю если честно что за термин blast radius

как перестать pdf'ки глазами сравнивать, например

я не знаю если честно что за термин blast radius

ну он означает ровно то, что означает — насколько сильно вам больно, когда вы факапите

это метрику надо стремиться уменьшить

Ну это конечно не значит что у нас любая бага превращается в сотню выжженых у людей глаз. Я бы оценил такую вероятность в 0.001%, но ведь она есть все равно

Это значит что на 100000 людей может и произойти :)

Впрочем это уже будет проблема не на нашей стороне

Прочитал и представил чат таких же разработчиков рентгеновских аппаратов, КТ и МРТ в компании Siemens.

— "Как долго мы еще можем потестить эту прошивку?" — "Не знаю, давай запустим ее в UA среду?" — "А если ему легкие выжжет?" — "Ну по данным blast radius мы снизили эту метрику до 0.001%" — "Давай."

так разные задачи разные методологии

ну и да мрт с кт на манкене потестить можно или на трупе

ну и да мрт с кт на манкене потестить можно или на трупе

мммм) идея

с кучей интересных датчиков

А данные с датчиков складывать в ELK?

в графит )

Дело в том что когда наберет популярность отрасль medtech, ровно так и будет

Да судя по тому что периодически вылезают скандалы о том что где то в мед оборудовании лажа и люди умирали из за этого - как то у них и сейчас не все ок с тестамт

— "Как долго мы еще можем потестить эту прошивку?" — "Не знаю, давай запустим ее в UA среду?" — "А если ему легкие выжжет?" — "Ну по данным blast radius мы снизили эту метрику до 0.001%" — "Давай."

Ua просто будет не в больничке. А в мед институте

Прочитал и представил чат таких же разработчиков рентгеновских аппаратов, КТ и МРТ в компании Siemens.

https://habrahabr.ru/company/pvs-studio/blog/307788/

Привет, порекомендуйте облачные сервисы для стриминга логов для последующего просмотра, поиска по ним. Я пока смотрю в сторону loggly.com Но может быть есть лучше/дешевле. Кроме того может быть есть какое то простое решение, которое можно поднять в докере у себя? У кого какой опыт есть?

Самосборный ELK разве что. Лучше loggly ничего не припомню из облачных.

Самосборный ELK разве что. Лучше loggly ничего не припомню из облачных.

За ELK спасибо, посмотрел... Простым он правда не выглядит :) скорее монструозный :) но может быть пригодиться

И чего ж в нем сложного?

Регулярки разве что написать надо

И чего ж в нем сложного?

Я скорее про то что эта довольно тяжелая штука и требовательная к ресурсам. http://elk-docker.readthedocs.io Мне просто хотелось имень лог в браузере с простейшим поиском (да можно и без него если уж совсем просто) и навигацией по времени.

элестик жрёть много когда ты в него много запихиваешь полей

то есть если лютейше парсить лог на мелкие части то он будет очень люто жрать

то есть если лютейше парсить лог на мелкие части то он будет очень люто жрать

Понятно. Мне даже парсить не надо, простой raw log с датами бы устроил ? более чем, и вот ради этого такую балалайку поднимать было бы большим оверхедом.

да нормас

Понятно. Мне даже парсить не надо, простой raw log с датами бы устроил ? более чем, и вот ради этого такую балалайку поднимать было бы большим оверхедом.

format /\[(?<time>[0-9]+-[0-9]+-[0-9]+ [0-9]+:[0-9]+:[0-9]+)\] (?<channel>[^\.]*).(?<level>[^:]*): (?<message>.*)/

вот те простой формат для логов

возможность группировать логи по каналам и всему такому это огонь

+ если у тебя пишется лог с многих хостов можно взять ввалить поле servername например, и группировать логи по нему

format /\[(?<time>[0-9]+-[0-9]+-[0-9]+ [0-9]+:[0-9]+:[0-9]+)\] (?<channel>[^\.]*).(?<level>[^:]*): (?<message>.*)/

Ага, спасибо, посмотрю

Ток вместо логстеша я заюзал fluentd для сбора

все так советуют елк...

а как вы в 5й ELK кладёте больше 10к событий в минуту ?

а шо всем надо больше 10к событий в минуту в него класть?

Ну у меня логов сильно больше

10к в минуту, это на секундочку 166рпс

Копейки

ну ты крутой

ниче крутого - индексы отрываешь нахер - вот тебе и дешевая запись

нахер он без индексов?)

ниче крутого - индексы отрываешь нахер - вот тебе и дешевая запись

что значит "индексы отрываешь нахер" ?

ты лучше расскажи как тебе удается не мочь положить 10к записей

чем ты кладешь, что за железо, что за ошибка

ты лучше расскажи как тебе удается не мочь положить 10к записей

мне удаётся положить 10к а хочется 300к как на 1.7

во что ты упираешься-то

ну вот в этом и проблема что неясно во что. пауз gс нет, в cpu не упираемся, в диск тоже.

больше потоков?

потоков чего ?

ну на запись сделать больше потоков

нероляет

и размер балка свыше 500 тоже.

диск мертвый?:)

нет.

я на этих же тачках запускаю 1.7 в него летит 300к. запускаю 2.х \ 5.х получаю 10к

а пишешь-то чем

логстешом

его тоже обновляешь?:) по хттп пишешь?

им пишу той же версии, 2.3.4

ERROR: S client not available

пишу по http

а чего его не обновишь?

ты реально думаешь дело в нем или ищешь причину как свалить на "мои проблемы" ? ))

его не могу обновить потому что 2.4+ не умеет работать с кафкой 0.8

точнее как, их 2.4 не умеет работать с кафкой 0.9.0 а только с 0.9.1

я думаю что дело не в эластике, да

тоесть при статичности всех компонент, и изменении только версии эластика, дело не в эластике ? )))

ради интереса можете погуглить что то типа elasticsearch 2 indexing perfomance degradation и увидеть что не я один такой

да наверняка какие-нибудь анализаторы включили по-умолчанию в версиях >2

ну не может в 30 раз отличаться :) или формат индекса сменился и легаси на лету конвертируется как-нибудь, если пересоздать то починится? :)

5 не запустится на индексах 1.7

ну не может в 30 раз отличаться :) или формат индекса сменился и легаси на лету конвертируется как-нибудь, если пересоздать то починится? :)

что значит "если пересоздать" если мы говорим про скорость индексации

индексация и есть "пересоздание"

А на 4 версии быстро переиндексируется?

По-хорошему надо все минорные и мажорные версии перебрать

А на 4 версии быстро переиндексируется?

4й версии не бывает

Ну 2.x

на 2.0.2 уже дерградация

Для вставки больших порций данных в доках советуют выключать индексацию, вставлять данные и затем включать индексацию. Ещё может поможет увеличение интервала индексации.

Ну вот значит надо в месте разрыва версий смотреть чейнджлог имхо

Для вставки больших порций данных в доках советуют выключать индексацию, вставлять данные и затем включать индексацию. Ещё может поможет увеличение интервала индексации.

ткните лицом плиз

Для вставки больших порций данных в доках советуют выключать индексацию, вставлять данные и затем включать индексацию. Ещё может поможет увеличение интервала индексации.

"интервал индексации" это refresh_interval ? влияет, но не существенно

https://www.elastic.co/guide/en/elasticsearch/guide/current/indexing-performance.html#_other

indices.store.throttle.type в пятерке выпилен, и только кол-во мердж тредов оставили и сделали их "умными"

у меня стит 30s интервал, попробую вобще выключить но мне кажется не роляет

отключение реплик + merge threads: 20 поднимает скорость до 50к а дальше никак.

пишу по http

Моветон же, не!?

translog? там со 2 версии дефолтное поведение поменяли

Моветон же, не!?

с версии 2 рекомендуемый вариант

translog? там со 2 версии дефолтное поведение поменяли

да, включил async

чатик а кто-нибудь видел софтину чтобы пот отчетам gcp строить таблички и графики по затратам бабла ?

чао момцы