Евгений
А на баше его никто читать не будет
Тогда лучше на tcl'е писать
Леннарт Zh 🕊
Типа того. Только в нашем случае вместо детей военпреды
О, коллега! Ты не в здании с ильичём на ресепшнне?
Дурак из фильма
Евгений
Точно :)
Это был вредный совет
Дурак из фильма
О, коллега! Ты не в здании с ильичём на ресепшнне?
Нет, у нас тут памятников не наблюдаетс, только огромный радар РЛС во дворе прячется...
Леннарт Zh 🕊
Тогда лучше на tcl'е писать
На нём уже всё написано 20 лет назад
Евгений
Ну да, ну да
Леннарт Zh 🕊
Какой добивки?
типа как в RAR - 3% для восстановления. условно когда у тебя есть 2 больших файла и более 9000 маленьких - маленькие пишутся на все диски, большие - по одному на диск
Леннарт Zh 🕊
Охххх, сдаётся мне, я потрвчу слишком много времени на поиск и изучение этой штуки, нежели у меня есть на выполнение задачи.
The binary 'genisoimage' is part of the cdrkit package. * dirsplit - easily separate large directory contents into disks of predefined size. https://launchpad.net/ubuntu/bionic/+package/genisoimage
Леннарт Zh 🕊
Это был вредный совет
я пару лет назад так делал, обошёлся двумя докерами
Леннарт Zh 🕊
Не видел такого. Хотел её юзать для создания образа, но остановился на genisoimage
Martin
Доброе время суток! Коллеги есть ли Бест практис для использования гит сабмодул в гитлаб ci?
Martin
Он что то у меня ругается на типо нет юзера. Но он в мембрс есть как девелопер.
Леннарт Zh 🕊
Крутота, не знал про эту утилиту. Спасибо
мобильный гугль тоже не знал, только настольный. обращайся. гуглю за вас за 123456 руб./мес. на руки
Леннарт Zh 🕊
Он что то у меня ругается на типо нет юзера. Но он в мембрс есть как девелопер.
почему ты решил, что одно связанно с другим? переформулируй в терминах делаю/ожидаю/получаю в соответствующем чяте
Igorь
Всем привет! Насколько я счас вижу в доках, Vault умеет держать свои секреты в разных хранилках. Причем, среди них есть также S3. Какие есть минусы у использования S3 в качестве хранилки секретов? Я пока вижу один большой плюс - его не надо бэкапить (s3 в s3 переливать - ну как-то выглядит слегка бредово).
Bogdan (SirEdvin)
Амазон вроде не дает 100% гарантию на сохранность файлов в s3..
Igorь
В яндексе вроде не оч дорого. 500 рублей где-то за месяц.
Igorь
базы-то тоже туда бэкапить придется.
Igorь
Там единственное, что не дается - это гарантия высокой доступности: сам протокол S3 не дает такой гарантии. С другой стороны, а нужна ли для паролей, которые меняются не часто, высокая доступность?
Bogdan (SirEdvin)
А кто даёт?
Потому и бекапить то надо
Pavel
Амазон декларирует, что твои данные будут храниться минимум в двух AZ, ну и гарантирует доступность, там 99,9
Navern
Ток не путайте доступность с надежностью данных
Pavel
Дада
Pavel
Про надежность у них ни слова)
Ivan
Про надёжность они обещают 7 девяток после точки
Pavel
Хде? В с3?
Ivan
Да
Pavel
Киньте линк плз
Navern
Они говорят о оч высокой надежности для s3
Pavel
Чот не нашел
Ivan
Designed to provide 99.999999999% durability and 99.99% availability of objects over a given year https://docs.aws.amazon.com/AmazonS3/latest/dev/DataDurability.html
Igorь
а волт кэширует уже полученные данные? ну типа если отвалилась сеть до S3, то волт продолжит отдавать старые данные или совсем рухнет при запросе?
Pavel
Это мало же?!
Смотря для чего
Alexander
Данные в постгре в своем дц? Кидай бэкап в амазоновский с3. Данные в с3 у амазона? Кидай бэкапы в gcs.
Ivan
Это мало же?!
https://t.me/ru_devops/133937
Kirill
Всем привет. Кто что использует для логгирования? есть у кого что-нибудь отличное от ELK?
Pavel
CH
Kirill
CH
а как доставляете туда логи? веб морда какая?
Евгений
а как доставляете туда логи? веб морда какая?
Логи туда можно поставлять просто logstash'ом, про веб морду послушаю сам
Bogdan (SirEdvin)
а как доставляете туда логи? веб морда какая?
Тут должна быть шутка про rsyslog!
Pavel
Вебморда табикс
Pavel
Но наши свою написали, для тех кто не может в запросы
Pavel
Поставляем рсислог + кафка
Pavel
https://tabix.io/
Ivan
есть ещё вкшный лайтхаус https://github.com/VKCOM/lighthouse
Ivan
ошибся в названии
kSandr
Ага и логхаус
Kirill
Ага и логхаус
логхаус в альфе вроде еще
Pavel
мы молодые, рисковые...
Pavel
Some data may be dropped in alpha's updates. хехехе
Aleksey
задавайте свои ответы
Kirill
задавайте свои ответы
да у меня пока не так много ответов, просто смотрю что делать и куда идти) было интересно хорошо ли свзяка работает и есть ли приседания
Aleksey
отлично работает, нареканий нет
Aleksey
на каждом хосте по fluentd для сбора логов, они прокидывают и предобрабатывают логи на несколько хостов агрегаторов, где тот же fluentd стоит
Pavel
дешевле ELK, если данных МНОГО
Aleksey
на агрегаторах события утрамбовываются в буфер и потом жирными чанками сливаются в КХ раз в несколько минут
Kirill
дешевле ELK, если данных МНОГО
я наоборот думал, что кликхаус - это как раз когда много данных
Aleksey
вот-вот, ёлка на индексы железа заберет дофига
Kirill
на агрегаторах события утрамбовываются в буфер и потом жирными чанками сливаются в КХ раз в несколько минут
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
Aleksey
у меня в КХ access логи nginx за последние 6 месяцев лежат, это 23 млрд записей, весит 900 ГБ, крутится на двух тачках с 2 vCPU и 8 ГБ
Aleksey
сколько нужно будет железа положить это в эластик?
Aleksey
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
да, тоже fluentd, всё встроенными средствами, кроме экспорта в КХ - тут вызывается clickhouse-client и ему скармливается набранный буфер. собственно в loghouse такая же схема
Kirill
спасибо большое за объяснения)
Kirill
а ui какой? тоже tabix?