Nata
Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure 😁 ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)
Andor
статью пиши с графиками и полной раскладкой
Andor
ты hostpath попробуй ещё, без оверлейфс совсем
Andrey
Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure 😁 ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)
Любые большие I/O нагрузки надо 100% выносить из под всяких layered filesystems. HostPath, Local Storage и т.д. Только так.
Gleb
Сегодня проверила таки по разным кейсам nifi (jvm + write heavy) проверила чистый docker + vfs/zfs/overlay, проверила использование heapsize, вобщем лучше всего в такой ситуации по производительности оказался overlay (zfs на сайте докера рекомендовался для write-heavy, но по факту производительность (создание очень мелких файликов + запись в логи) оказалась примерно на 20% ниже чем на overlay. Java 8 (151) ведет себя вполне хорошо с ограниченными xmx. По факту оказалось, что еще и я в одном месте накосячила (для тех, кто в теме nifi - backpressure 😁 ). В итоге с учетом исправления бага, а также overlay & flannel производительность отличается на 25% (что уже совсем не так плохо)
а вы зфс правильно приготовили то? ну там ссд под кешик чтения, ссд под кешик записи, много-много рам
Nata
hostpath дает 700к файлов против 900к живых, впринципе лучшее.
Nata
а вы зфс правильно приготовили то? ну там ссд под кешик чтения, ссд под кешик записи, много-много рам
нет конечно, у стенда вообще разделенные ресурсы на два кластера :) vmfs
Gleb
ну зфс никогда быстрым не был если в него всё что не рекомендуется не напихать и не потюнить. Так что вполне на правду похожу по замерам
Nata
ну мое знакомство с zfs ограничилось статьей на сайте докера, потому ничего не тюнила.
Andor
hostpath с какой фс?
Nata
ext4
Салтыдык
Игорь
https://flant.github.io/dapp/index.html
Игорь
https://github.com/flant/dapp
Rainbow
https://github.com/flant/dapp
да, я знаю про ваше решение и ruby очень близко. Там прямо граф зависимостей можно описать?
Игорь
там прямо можно указать при изменении каких файлов какую часть образа собирать. в куче вариантов.
кстати, есть не только ruby, но и ansible
Игорь
Через недельку-две будет новая версия доки, чуток подчищенная
Rainbow
там прямо можно указать при изменении каких файлов какую часть образа собирать. в куче вариантов.
кстати, есть не только ruby, но и ansible
Спасибо, что напомнили. Ещё раз перечитаю, попробую стартануть.
Игорь
Спасибо, что напомнили. Ещё раз перечитаю, попробую стартануть.
если будут непонятки - стучитесь ко мне или в @dapp_ru, поможем.
Anonymous
всем привет)
Andor
куку пупсик
Anonymous
делаю кластел для kubernetes со стороны железа
Anonymous
Anonymous
Игорь
деплойменты вставлять в белые разъёмы?
Anonymous
7 нод для Raspberry Pi планок
8 юсб портов, 2 csi для камер, 1 dsi для дисплея, на плате гигабитная сетка
для мастер ноды hdmi/audio
Anonymous
деплойменты вставлять в белые разъёмы?
почему, локально прям через плату деплоишь что надо)
Anonymous
и хостишь
Anonymous
или не хостишь
Игорь
это была шутка
Dmytro
там прямо можно указать при изменении каких файлов какую часть образа собирать. в куче вариантов.
кстати, есть не только ruby, но и ansible
А можно ли собрать даппфайл с ansible playbook?
Игорь
А можно ли собрать даппфайл с ansible playbook?
ни разу не задавался вопросом. Если не сложно - уточните в канале проекта.
у chef-сборщика подобный функционал был, но не уверен, что донесли до ansible-сборщика.
𝕲𝖎𝖗𝖆𝖋𝖋𝖊
Всем здравствуйте. Благодаря статье
https://blog.jetstack.io/blog/volume-snapshotting/
Я узнал о снапшотах. Почитал вглубь, но так и не понял, как восстановить снапшот из другого namespace. Снапшот лежит в namespace team-a, а восстановить я его хочу в namespace team-b. Если кто сталкивался, буду благодарен за помощь
Logan
Звучит круто. Продавать будете? Почем?
Logan
Что входит в комплект, как купить, и тд
Anonymous
http://turingpi.com
Denis
Привет всем , возвращаюсь к вопросу о Прометеус + Кублеты . Кублеты в таргетах красные с ошибкой server returned HTTP status 401 Unauthorized . По совету одного товарища от сюда понял что apiserver не хватает прав. Зааплаил роль (https://pastebin.com/Bhc7s9E2) но все равно не заводится 😕
Sergey
Denis
Ну да, таки уже выходные :) спросим в понедельник. Просто ишшуя злобная, в гугле много всего по этому поводу ,но конкретных действий чтобы победить ,нету.
Pavel
https://github.com/coreos/prometheus-operator/issues/926
Если вкраце, то к кублету нужно два флага добавить.
Denis
Если я добавляют эти флаги к кублетам мастеров и воркеров , я получаю ошибку когда пытаюсь пробросить локально прокси к прометеусу
Ильгиз
Привет всем!
Есть у кого-нибудь опыт использования бд (postgres) в kubernetes? Какие нюансы и проблемы могут возникнуть? Или вообще пока рано помещать подобные системы в контейнеры?
Andor
ставишь постгрес снаружи кубера
Andor
....
Andor
профит!
Nata
😂
kyxap
Artyom
Привет всем!
Есть у кого-нибудь опыт использования бд (postgres) в kubernetes? Какие нюансы и проблемы могут возникнуть? Или вообще пока рано помещать подобные системы в контейнеры?
Или погугли crunchy postgres, у них готовые есть
Artyom
И примеры, и скрипты для запуска
Andor
нужно очень чётко понимать все потенциальные проблемы и риски, прежде чем совать постгрес в кубер
Artyom
Расскажите
Vitaly
мне интересны бенефиты?
Gleb
можно лишний раз ночью не спать
Andor
привет, Виталя :)
Vitaly
привет =)
Vitaly
пошли пить в бар завтра?
Vitaly
ой
Andor
не уверен
Andor
родители же приехали
Vitaly
футбол смотреть =)
Andor
чят не тот :)
Vitaly
а
Vitaly
оу
Anton
На сам деле можно попробовать, погонять его жёстко
Anton
Потом сделать выводы
Anton
Redis бенчил в кластере, так что он выжирал ядро и упирался в проц. Потюнил машины немного чтобы добраться до этого результата. Решили что подходит
Artyom
Мы у себя запустили два postgres и pgpool, делаем репликации. Пробовали делать нагрузочный тест jmeter-ом, он и кешировал хорошо, и новые запросы чётко отрабатывал
Andor
pgpool
Andor
никогда больше :)
Artyom
Скажите мне, если я ошибаюсь