Anton
Под их реплики)
Anton
Потом под хотя бы временное хранение их бэкапов
Andor
ну бекапы-то не в фс лежат
Anton
Я пока что напрямую в s3 только elasticsearch умею бэкапить. Остальным промежуточное хранение требуется
Anonymous
Странно. Flannel падает с ошибкой failed to open log file "/var/log/pods/7e46c997-9ccf-11e8-9b99-02422aed3022/kube-flannel/3.log": open /var/log/pods/7e46c997-9ccf-11e8-9b99-02422aed3022/kube-flannel/3.log: no such file
Anonymous
И прокси-контейнер: failed to open log file "/var/log/pods/5630a7f0-9ccf-11e8-9b99-02422aed3022/kube-proxy/6.log": open /var/log/pods/5630a7f0-9ccf-11e8-9b99-02422aed3022/kube-proxy/6.log: no such file or directory
Anonymous
Состояние - CrashLoopBackOff
Sergey
describe че грит
Anonymous
Уже разобрался
トラ
Разобрался сам - расскажи другому :з
Anonymous
Error response from daemon: linux runtime spec devices: lstat /dev/.lxc/proc/2841/fdinfo/44: no such file or directory
Anonymous
Но не до конца - опять какая-то фигня в конфигурации lxc контейнера
Denis
https://www.meetup.com/Moscow-Kubernetes-Meetup/events/253451195/ Когда: четверг, 9 августа 2018, 19:30 - 22:15 Где: Москва, Ленинградский проспект 39, стр. 79 (офис Mail.Ru Group) Друзья, жаркое лето в Москве ещё больше подогревает интерес к Kubernetes со стороны русскоговорящего сообщества. Прошёл всего месяц с момента предыдущего митапа, наш Telegram-чат-канал про Kubernetes ( https://t.me/kubernetes_ru ) уже вырос почти до 2000 человек, а вместе с ним продолжают расширяться и области применения Kubernetes, как и масштаб проблем, которые успешно решаются с его помощью. Облака спускаются на землю в следующий четверг, ведь мы снова встречаемся и на этот раз мы будем делать это вместе с Mail.Ru Group! ПРОГРАММА: 19:30 - 19:50 Socializing, встречаемся, общаемся, shake it! 19:50 - 20:05 Welcome & digest (Денис Измайлов, Axept) 20:05 - 20:45 Подводные камни при production-эксплуатации Kubernetes (Дмитрий Лазаренко, Mail.Ru Cloud Solutions, менеджер продукта) Изначально Kubernetes был спроектирован для работы stateless-приложений. Однако сейчас все больше и больше компаний пытаются размещать в нем stateful-сервисы, требующие надежного хранения. Помогая клиентам Mail.Ru Cloud Kubernetes, мы обнаружили много неочевидных особенностей, прежде всего связанных с persistent-хранением данных и поведением Kubernetes при выходе из строя оборудования. Как Persistent Volumes работают в штатных и нештатных ситуациях? Например, если вы выключите ноду или она аварийно остановится (падение хоста, гипервизора или Kubelet)? Какие проблемы бывают при эксплуатации RWX PVС? Как правильно дружить с облачным балансировщиком нагрузки? Всё это Дмитрий раскроет в своем докладе для вас. Био: Дмитрий Лазаренко возглавляет PaaS-направление Mail.Ru Cloud Solutions, включая контейнерные решения на базе Kubernetes. До Mail.Ru Group в течение 6 лет отвечал за разработку и развитие контейнерной PaaS-платформы Jelastic. Более 10 лет занимается созданием высоконагруженных сервисов. 20:45 - 21:15 История разработки Production-ready сборки Kubernetes (Константин Феофантов, Exon Lab, CTO) Доклад основывается на истории разработки [предположительно] первого в России Docker-хостинга. Константин расскажет про опыт с Kubernetes и проблемы, с которыми он с командой столкнулся в ходе разработки и эксплуатации. В докладе обосновывается выбор компонентов и плагинов Kubernetes при создании собственного production-ready кластера, а также варианты развертывания Kubernetes и рекомендации по ним. Био: Константин программирует с 2012 года, писал на C, затем на C#. Потом начал изучать веб-разработку (Node.js, HTML5, SaSS) и вот уже в 2015 году перевел всё на Golang. В 2017 стал техническим директором, основал проект Containerum и основательно занялся изучением Kubernetes. 21:15 - 21:35 Кофе-брейк, чай-пати, горячие дискуссии 21:35 - 22:15 Turing Pi – кластерный компьютер на базе Kubernetes для граничных вычислений и интернета вещей (Константин Шмойлов-Александров, Jelastic, сооснователь) Рынок IoT бурно развивается, но в основном он наполнен крайне простыми устройствами с ограниченным диапазоном применения. Мы создали компактное кластерное устройство с Kubernetes и Docker на борту, воплощающее идею вычислительного узла IoT-сети нового типа. В нем сочетается множество разнотипных одноплатных компьютеров, соединенных сетью в рамках единой материнской платы. Этот кластер предназначен для граничных вычислений: в частности, для размещения приложений машинного обучения не в облаке, а локально – в месте, где необходимо собирать, хранить, анализировать данные и управлять окружающими устройствами. В докладе мы расскажем, что под капотом этого устройства и как контейнеры и Kubernetes могут эффективно работать не только на огромных серверах, но и на мини-устройствах.
Друзья, по стечению серьезных обстоятельств наш фотограф не смог добраться на митап в этот раз. Но как бы не так! Небольшой личный фотоотчёт опубликовал на своей личной странице в Facebook. Все получились счастливые и красивые. 🙂 Находим там себя и отмечаемся: https://www.facebook.com/denis.izmaylov/posts/1275186792622794 Слайды будут опубликованы очень скоро, видеозаписи докладов будут опубликованы в течении пары недель.
Denis
Блин, да простит меня Дальний Восток и Сибирь
Denis
за пин с нотификацией 🙂
Михаил
Где фотки?!
Михаил
Vlad
+ я сейчас активно использую drbd и доволен им как слон
Сколько реплик? Две? Тогда у меня плохие новости.
Andor
drdb нынче умеет и больше
𝚔𝚟𝚊𝚙𝚜
ага, а еще и поменялись принципы работы с ним, если раньше обычно делали одно статичиеское большое блочное устройство и работали с ним непосредственно как с тупо сетевым raid'ом. То сейчас взгляды разработчиков на это немного поменялись. Теперь можно создать большой кластер под хранение, и под каждый волум в нем будут создаваться отдельные маленькие drbd-ресурсы, каждый из таких можно снапшотить, менять количество реплик, релокейтить, ресайзить или подключать удаленно
𝚔𝚟𝚊𝚙𝚜
https://www.linbit.com/en/products-and-services/linstor/
Pavel G
https://www.linbit.com/en/products-and-services/linstor/
А. Через flex, аналог лонгхорну /openEBS только сложный. Зачем тогда такое?
𝚔𝚟𝚊𝚙𝚜
они обещают csi-драйвер в конце года
Pavel G
Как оно в использовании? Скорость репликации/обслуживания лучше ceph?
𝚔𝚟𝚊𝚙𝚜
А. Через flex, аналог лонгхорну /openEBS только сложный. Зачем тогда такое?
ну в целом они похожи, да, но основное отличие: OpenEBS - работает целиком в userspace DRBD - работает целиком в kernelspace В обоих случаях есть свои плюсы и минусы, но каждый вибирает то что ему больше нравится в зависимости от конкретных задач опять же :)
𝚔𝚟𝚊𝚙𝚜
оно далеко не такое гибкое как ceph, но по скорости и утилизации ресурсов я думаю ему нет равных
Михаил
Бенчмаркинг ннадо
𝚔𝚟𝚊𝚙𝚜
Бенчмаркинг ннадо
# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 test: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=64 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 4096MB) Jobs: 1 (f=1): [m(1)] [100.0% done] [305.8MB/101.8MB/0KB /s] [78.3K/26.4K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=16524: Sat Aug 11 00:45:34 2018 read : io=3071.7MB, bw=318037KB/s, iops=79509, runt= 9890msec write: io=1024.4MB, bw=106058KB/s, iops=26514, runt= 9890msec cpu : usr=14.28%, sys=69.56%, ctx=36192, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued : total=r=786347/w=262229/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): READ: io=3071.7MB, aggrb=318037KB/s, minb=318037KB/s, maxb=318037KB/s, mint=9890msec, maxt=9890msec WRITE: io=1024.4MB, aggrb=106058KB/s, minb=106058KB/s, maxb=106058KB/s, mint=9890msec, maxt=9890msec Disk stats (read/write): drbd1066: ios=773817/258151, merge=0/0, ticks=740/296, in_queue=469676, util=99.05%, aggrios=786347/262232, aggrmerge=0/0, aggrticks=236960/8916, aggrin_queue=246232, aggrutil=98.36% dm-3: ios=786347/262232, merge=0/0, ticks=236960/8916, in_queue=246232, util=98.36%, aggrios=786347/262274, aggrmerge=0/2, aggrticks=237100/8800, aggrin_queue=237792, aggrutil=98.17% nvme0n1: ios=786347/262274, merge=0/2, ticks=237100/8800, in_queue=237792, util=98.17%
𝚔𝚟𝚊𝚙𝚜
круто, да?
Михаил
круто, да?
Нет, что за диски, сколько и т д
𝚔𝚟𝚊𝚙𝚜
диски nvme INTEL SSDPEKKA010T7, в данном случае с репликой 2
𝚔𝚟𝚊𝚙𝚜
Нет, что за диски, сколько и т д
Я бы посмотрел на ваш результат в ceph :)
Vadim
Пфф
пссст, это HA NFS такой
Михаил
пссст, это HA NFS такой
Ты о чем именно?
Михаил
А
Михаил
А ebs ? Longhorn?
Vadim
последние два вроде всё подряд поддерживают
𝚔𝚟𝚊𝚙𝚜
пссст, это HA NFS такой
Нет, это без NFS
Vadim
Нет, это без NFS
эммм, окей, хорошо, допустим (я тогда ничего не понял, конечно же, что та статья по ссылке от вас, что весь гугл говорит об NFS, об NFS мы спорили вчера). Для 9го все еще нужно совать модули в ядро?
𝚔𝚟𝚊𝚙𝚜
Да, там dkms
Vadim
ясно, спасибо
𝚔𝚟𝚊𝚙𝚜
Ну если нужен readwritemany можно запустить NFS но будет медленнее раза в 3
Slava
подскажите, плиз, как завести kubectl через socks прокси?
Slava
туннель поднял ssh -D <port> -f -C -q -N user@host.name.com
Slava
доблестный РКН заблочил IP адреса в hetzner'е (даже уже и разблочил,но не все провайдеры спешат обновлять у себя списки)
Bro
у меня репозиотий компании не был доступен
Bro
я позвонил в ростелеком
Bro
через некоторое время разблочили
blkmrkt
Кто-нибудь использовал Win10 Server в кач-ве ноды для куба с Ранчером v2?
Bro
воу это реально?
blkmrkt
воу это реально?
хмм точно, дебильный вопрос. Это ж нужен линукс в виртуалке, ок
Bro
даже на маке вроде через линукс контейнер
Vladimir
Где фотки?!
а фоток с прошлого митапа так и не завезли, да?
Artyom
Я точно знаю, что в докере недавно добавили такой функционал на винде
Artyom
Что можно мини учебный кластер запилить
Artyom
Надо погуглить
blkmrkt
Что можно мини учебный кластер запилить
мне в продакшн воркеров докидать нужно, просто нашел несколько забытых виндовс серверов, вот хочу запрячь
Pavel G
# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 test: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=64 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 4096MB) Jobs: 1 (f=1): [m(1)] [100.0% done] [305.8MB/101.8MB/0KB /s] [78.3K/26.4K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=16524: Sat Aug 11 00:45:34 2018 read : io=3071.7MB, bw=318037KB/s, iops=79509, runt= 9890msec write: io=1024.4MB, bw=106058KB/s, iops=26514, runt= 9890msec cpu : usr=14.28%, sys=69.56%, ctx=36192, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued : total=r=786347/w=262229/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): READ: io=3071.7MB, aggrb=318037KB/s, minb=318037KB/s, maxb=318037KB/s, mint=9890msec, maxt=9890msec WRITE: io=1024.4MB, aggrb=106058KB/s, minb=106058KB/s, maxb=106058KB/s, mint=9890msec, maxt=9890msec Disk stats (read/write): drbd1066: ios=773817/258151, merge=0/0, ticks=740/296, in_queue=469676, util=99.05%, aggrios=786347/262232, aggrmerge=0/0, aggrticks=236960/8916, aggrin_queue=246232, aggrutil=98.36% dm-3: ios=786347/262232, merge=0/0, ticks=236960/8916, in_queue=246232, util=98.36%, aggrios=786347/262274, aggrmerge=0/2, aggrticks=237100/8800, aggrin_queue=237792, aggrutil=98.17% nvme0n1: ios=786347/262274, merge=0/2, ticks=237100/8800, in_queue=237792, util=98.17%
А сеть какая? Или вы локально fio сделали?
Artyom
Artyom
Но надо поисследовать. Я кажется и оф. доке видел что-то про виндовс
Artyom
Сейчас не могу посмотреть
𝚔𝚟𝚊𝚙𝚜
Pavel G
Сеть 10G Ethernet, без RDMA
это FIO по сети?
𝚔𝚟𝚊𝚙𝚜
Один девайс локальный, другой удаленный, drbd в режиме полной синхронизации (protocol C)
𝚔𝚟𝚊𝚙𝚜
Если оба девайса удаленные то будет чуть поменьше, но не намного
Logan
@SinTeZoiD
Stas
/report
𝚔𝚟𝚊𝚙𝚜
Надо @SinTeZoiD в @report переименовать^_^
lenar
@SinTeZoiD @DenisIzmaylov spam
Михаил
Надо @SinTeZoiD в @report переименовать^_^
Или кому-то починить бота