Dmitrii
Не работало из за лишнего $uri/ который шел вторым. И у меня вываливало directory index который был запрещен что меня и смутило
Lupsik Pupsik
посоны, кто-нибудь видел etl для гитхаба?
Nklya
/report
Nklya
Добавьте уже что ли бота, чтобы банил этих клоунов
Dmytriy
Привет всем.
Подскажите, как может zookeeper потерять id'шники брокеров кафки и при этом все работает.
Zookeeper и kafka установлена через cloudera manger.
Какой-то прям кошмар(
Поможет ли остановка кафки, затем перезапуск зукипера и старт кафки, что бы вернуть все наместо.
А началось все с того что надо было создать топик новый.
Denis
Привет всем.
Подскажите, как может zookeeper потерять id'шники брокеров кафки и при этом все работает.
Zookeeper и kafka установлена через cloudera manger.
Какой-то прям кошмар(
Поможет ли остановка кафки, затем перезапуск зукипера и старт кафки, что бы вернуть все наместо.
А началось все с того что надо было создать топик новый.
Кафка с 0.11 там вроде не хранит ничо. Не ?
G72K
оффсеты не хранит, а выборы лидеров вполне
Denis
Я думаю человек из за офсетов паникует
Dmytriy
не не изза офсетов
Error while executing topic command : replication factor: 3 larger than available brokers: 0
и получается в
в зукипере
/brokers/ids нету ни одного id
Dmytriy
нашел вот такую ссылку
https://issues.apache.org/jira/browse/KAFKA-3893
надо подумать только чего сделать
перезапускать зукипер и кафку что бы добавить топик это мрак.
Dmytriy
перезагрузка брокеров решает этот вопрос.
Aleksey
господа, запилии тут канал с сбором говнокостылей и подпорок которые делают "девопсы" @shitty_devops
пока пусто. кому нравится идея велкам
Pavel
Aleksey
в том что не всегда есть прямые решения.
Aleksey
ну и некоторые костыли... они имеют такую обтекаемую форму что лучше прямого решения в лоб
Kirill
Для развлечения вероятно, раньше в интернете был популярен сайт с говнокодом.
Aleksey
я вообще скучаю по devopsreactions
Aleksey
недавно открыл его и сидел ржал часа полтора
Ivan
+++
Magistr
О!
Denis
Вставил 2 ссдшки в рейд 1. 2 раза. Чувствую себя плохо.
Pavel
Дабл демедж же
Pavel
Nvme в рейде круче
Pavel
О_о
Denis
расточительство ресурсов, ну или ок если половина из них старых
Magistr
https://github.com/spinnaker/spinnaker/issues/1986 кажеться скоро можно будет снова попробовать спиннакер
ASTASHOFF
https://www.spinnaker.io/guides/tutorials/codelabs/hello-deployment/ а чо, выглядит интересно
Magistr
https://www.spinnaker.io/guides/tutorials/codelabs/hello-deployment/ а чо, выглядит интересно
обрати внимание что в туториале спиннакер в гуях накликиваеться )
Denis
Завернули тулзу для бэкапов в контейнер, и все сценарии бэкапа тоже.
делаю батч джабу в номаде, котороая ранит контейнер на таргетном хосте, монтирует вольюм и из него делается бэкап.
микросервисненько
Denis
Ivan
Хм, а кто-то наверняка сталкивался: шлём сервису за nginx POST запрос больше, чем client_max_body_size. В некоторых случаях получаем 413, в некоторых - пустой ответ. По крайней мере, в браузере не видно нифига.
Что за?
🏳️ Phil
Ivan
Так в том и дело, что иногда он понимает.
🏳️ Phil
Или просто ещё до 413 какая-нибудь ошибка. Ну и конечно debug log
🏳️ Phil
Или хотя бы что там дебаггер браузера пишет
Ivan
debug log пишет в обоих случаях всё одинаковое. Походу происходит что-то вроде этого:
1. Шлём на 415Кб больше, чем client_max_body_size.
Сервер пишет куда-то в буфер, клиент успевает дослать весь запрос и начинает ждать ответа. Ему приходит 413.
2. Шлём 20Мб при max_body_size = 10m.
Сервер начинает отвечать ещё в процессе отправки запроса браузером. Тот либо ещё не пытается принять ответ, либо хз что ещё.
В итоге, когда браузер послал весь запрос, ответ сервером уже отдан и ему приходит от сервера ровно нихуя, т.е. пустой ответ.
С учётом того, что серверу можно прервать соединение в принципе.
https://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html#sec10.4.14
The server MAY close the connection to prevent the client from continuing the request.
Как это отдебажить я хз.
Ivan
Пойду искать поиск по рассылке)
Ivan
спс за совет
🏳️ Phil
И спросить, я не то чтобы послал. Просто там разработчики и реально быстро отвечают
Ivan
> я не то чтобы послал
Абсолютно так не подумал
Pavel
debug log пишет в обоих случаях всё одинаковое. Походу происходит что-то вроде этого:
1. Шлём на 415Кб больше, чем client_max_body_size.
Сервер пишет куда-то в буфер, клиент успевает дослать весь запрос и начинает ждать ответа. Ему приходит 413.
2. Шлём 20Мб при max_body_size = 10m.
Сервер начинает отвечать ещё в процессе отправки запроса браузером. Тот либо ещё не пытается принять ответ, либо хз что ещё.
В итоге, когда браузер послал весь запрос, ответ сервером уже отдан и ему приходит от сервера ровно нихуя, т.е. пустой ответ.
С учётом того, что серверу можно прервать соединение в принципе.
https://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html#sec10.4.14
The server MAY close the connection to prevent the client from continuing the request.
Как это отдебажить я хз.
яб подумал также, клиенты не ждут ответа пока не отошлют всё боди, а нжинксу уж похер, послал 413 и закрыл сокет
Ivan
http://sysoev.ru/web/upload.html
Неужели с 2007 года ничего не изменилось
🍄 Sergey
http://sysoev.ru/web/upload.html
Неужели с 2007 года ничего не изменилось
Наверное ответ кроется тут: "В стандарте HTTP/1.1 для закачивания файлов предусмотрен заголовок браузера "Expect: continue", в ответ на который сервер может вернуть сообщение об ошибке или же ответить кодом "HTTP/1.1 100 Continue", после чего браузер может передавать тело запроса. Однако ни один из современных браузеров это не поддерживает. "
уже 2017 год наверное все браузеры поддерживают HTTP/1.1
Dmytriy
Подскажи пожалуйста по haproxy
на веб странице статы есть есть секция sessions для бекенда в которой можно смотреть краткую статистику по кол. запросам, а так же отдельно по каждому коду ответа.
вопрос такой: если смотреть сумарную эту статистику я вижу много 503 ошибок, но если смотреть отдельно по серверу то там 503 ошибок. Какая между ними разница в таком случае, это данные для разных случаев\направлений?
Dmytriy
вот так это выглядит у меня
Dmytriy
Dmytriy
/\ это общая стата
а это для одного севера \/
Dmytriy
Andrey
Смотри на бакенде и на фронтенде. Часть запросов хапрокси не прокидывает на бек, а сразу кидает ошибку. Почему, надо разбираться в конфиге
Dmytriy
спасибо. посмотрю
Anonymous
всем привет
Anonymous
кто-нибудь использует carbon-cache?
Anonymous
интересует размер машины на которой он должен работать
Anonymous
я почему-то думал, что все эти мониторинги вообще почти ничего не стоят и можно на любой тачке развернуть - ошибся
Nklya
В церкви метрик лучше спросить
Anonymous
ещё адекватные люди тут есть?
Yevhenii
ты бы вводные написал
Yevhenii
хоть какие-то
Anonymous
> интересует размер машины на которой он должен работать
Nklya
Я тебе гений сообщаю, что есть такой канал, в котором есть люди, которые пишут графит стек и юзают его активно
https://t.me/metrics_ru
Anonymous
на это я ожидал что-то вроде "у нас на двухядерной тачке работает нормально"
Pavel
Что нормально раблтает?
Yevhenii
> интересует размер машины на которой он должен работать
кхм, скажите мне размер машины на которой будет нормально mysql крутиться, я всегда думал что базы данных почти ничего не стоят
Anonymous
графит, конкретно карбон-кеш
Pavel
Ок, xeon 1650, 128озу, hdd
Anonymous
кхм, скажите мне размер машины на которой будет нормально mysql крутиться, я всегда думал что базы данных почти ничего не стоят
эм, вот честно хотел бы я тебя как-то более конкретно спросить, но не знаю как.
графит нагружает тачку очень сильно, я пытаюсь понять это во мне что-то не так - надо настройки изучать или он из коробки прожорлив
Yevhenii
от потока зависит же
Pavel
Anonymous
чем поток мерить?
Yevhenii
точки в секунду
Anonymous
Anonymous
мб этот график что-то конкретнее скажет
Anonymous
вот где-то после 35к карбон начал дохнуть
Nklya
Питоновский оригинальный графит это печальное зрелище
Vladimir
вопрос еще в том что у тебя там за железо, какой конфиг
Vladimir
и во что упирается