Anonymous
Разорвал базу
Anonymous
Сломал реплики
🏳️ Phil
Не надо просто всё туда лить
Anonymous
Ну у нас аналитику хотят всю по рассылкам
Anonymous
Как можно подробнее
Pavel
И правильно хотят
Pavel
Более того, то что есть щас - это просто крохи по сравнению с тем какие инструменты понадобятся лет через 5. Когда будет внедряться интернет вещей, и нужно будет анализировать на порядки большие массивы данных от всяких сенсоров.
Sergey
два чаю этому адеквату
Sergey
меня пугает не столько сам анализ всего и вся, а те объемы
Vladimir
Так наоборот, весело
Sergey
ага совсем
Sergey
хранить сырые данные, которые будут анализировать
Sergey
хранить результаты анализа
Sergey
если нужна потоковый анализ - то какие вычислительные мощности нужны
Sergey
скоро инфраструктура для анализа и хранения результатов анализа, будут в раза 3 больше непосредственно прод окружения)
Vladimir
Ну так разработка и внедрение вот этого всего и интересна
Vladimir
Оттуда и веселье
Sergey
ага, превые эмоции проходят после того, как ты кончил
Sergey
а потмо и баба страшная
Sergey
и жить с этим как-то надо дальше
Sergey
а потом вообще протрезвел
Sergey
😂
Vladimir
ага, превые эмоции проходят после того, как ты кончил
Да в этой области еще работать и работать над этим :)
Sergey
а потом кому-то с этим жить
Sergey
потом все мужики козлы, а бабы суки)
Sergey
вообще надо начинать изучать нейроные сети
Sergey
целку сбил и к другой
Sergey
ага)
Vladimir
Сергей мне не очень нравится аналогия it и женщин, если честно.
Sergey
ну и фиг с ним
Vladimir
В ит в одной области очень долго наскучит
Sergey
ну вот я ушел нейросети изучать
Sergey
всем спасибо, все свободны
Александр
Как разберетесь, лет так через 30, маякните, может бота напишите.
Denis
В ит в одной области очень долго наскучит
Владимир, а вы не планировали запилить приятный композ, и образы параметризируемые под ваш стек. Ну и с параметризацией всего того что у вас в презе (шардинг имею ввиду) ?
Vladimir
Sergey
Саша, тут дело не в конечном варианте, а в самом процессе (перефразируя классику)
Sergey
докер - не ясен смысл (с)
Vladimir
А это значит что нужно над этим работать, а это время, а бэклог только растет
Denis
У нас нет докера в графите, не ясен смысл
для того чтобы все эти 7 демонов разворачивать как целостное решение.
Denis
я понимаю что вам бессмысленно, я про то что "дать сообществу"
Denis
я просто почитал слайды, приятная часть про то где расчеты потенциальной потере данных в различных способах репликации. Всегда приходится это делать самим, редко кто вещи такие в слайды пихает прям +++ за это )
Vladimir
я просто почитал слайды, приятная часть про то где расчеты потенциальной потере данных в различных способах репликации. Всегда приходится это делать самим, редко кто вещи такие в слайды пихает прям +++ за это )
Я еще код этого дела хотел опубликовать, но забыл :)
Vladimir
я понимаю что вам бессмысленно, я про то что "дать сообществу"
Может быть в будущем
Vladimir
Как приоритетные таски кончатся
Vladimir
Чтоб такое сделать надо среду попробовать построить самому
Vladimir
> Мы пришли к том, что разрабы научат слать свои приложения логи напрямую в эластик, самый простой и надежный вариант
Я опоздал на вечеринку маленько, но с логами мы щас сделали по-другому, мы складываем логи приложения в кафку, а потом уже из кафки транспортим куда бы то ни было. Почему не сразу в эластик? Потому, что эластик не конечная цель. Есть еще Hadoop, есть еще всякие процессилки, и т.д.
Sergei
Плюс. Сделали точно так же.
Vladimir
> Мы пришли к том, что разрабы научат слать свои приложения логи напрямую в эластик, самый простой и надежный вариант
Я опоздал на вечеринку маленько, но с логами мы щас сделали по-другому, мы складываем логи приложения в кафку, а потом уже из кафки транспортим куда бы то ни было. Почему не сразу в эластик? Потому, что эластик не конечная цель. Есть еще Hadoop, есть еще всякие процессилки, и т.д.
Да, тоже что то похожее, в том числе и рсислог конвертит логи и кладет их в кафку
Vladimir
Рсислог мы убрали из этого всего.
Vladimir
om_elasticsearch оказался менее стабилен, чем хотелось.
Vladimir
Или логи тех кто не очень пихается сразу в кафку?
Vladimir
rsyslog, как сетевой транспорт я имею в виду.
Vladimir
rsyslog, как сетевой транспорт я имею в виду.
Ну у нас оно на центральные сервера рсислогом пихается
Vladimir
Как локальный демон пока живёт. У нас правда пара упёртых решила обкатать последний logstash
Vladimir
А там уже отдельные рсислоги парсят и в кафку
Vladimir
А смысл?
Vladimir
Как локальный демон пока живёт. У нас правда пара упёртых решила обкатать последний logstash
У нас тоже один такой есть
Vladimir
Чего сразу в кафку не совать?
Vladimir
А мы их не обрабатываем на сервере.
Vladimir
Мы их просто спихиваем в транспорт. Приложения сами все в JSON пишут.
Vladimir
Мы их просто спихиваем в транспорт. Приложения сами все в JSON пишут.
У нас много того что не пишет json :(
Vladimir
Это процесс, да :)
Vladimir
Например какой нибудь nginx :)
Vladimir
У нас как раз один товарищ хочет воткнуть логстэш для парсинга его логов, мб сделает
Denis
Например какой нибудь nginx :)
а у нас nginx как раз пишет в json один лог текстовый и один специально для скидывания потом в хадупчики для аналитики.
Vladimir
Vladimir
Модуль свой делали?
Vladimir
Rsyslog может кстати сам конвертить любые логи
Sergey
https://github.com/jiaz/nginx-http-json-log
Sergey
я на него кстати смотрел
Vladimir
Rsyslog может кстати сам конвертить любые логи
А, еще рсислог не очень адекватен если юзать TCP доставку и remote сдох
Vladimir
Чего? Disk assisted queues у нас нормально работали.
Vladimir
Если очередь одна. Если синков несколько, вот там начинались пляски с бубнами с повреждёнными индексами.