если сам подниму скину мануал :)

Ок :)

а есть нюансы? хотя с кубернетисом всегда нюансы, а с какой целью вы федеративный поднимаете?

Несколько ДЦ я так понимаю

Ок :)

Хотя с твоим именем и фамилией, этим человеком должен был быть ты.. Было бы огонь 😂

то есть конечное приложение деплоится на разные датацентры?

а есть нюансы? хотя с кубернетисом всегда нюансы, а с какой целью вы федеративный поднимаете?

На самом деле есть всего один главный вопрос - можно ли получить данные по подам со всех кластеров одной командой

потому что создаются они с указанием кластера через контекст

то есть конечное приложение деплоится на разные датацентры?

именно, у нас есть несколько кластеров в различных регионах и нам надо вытащить кумулятивную информацию

у меня сегодня классический фейл был. передеплоивал приложение несколько раз, а оно работает не так как надо. пока меня пальцем не ткнули в то, что я с другим кластером работаю. вот и результат 11 часового рабочего дня

хорошо namespace был проставлен не prod

победил эти лимиты LimitNOFILE=262144

бесконечность не бесконечна для docker

эвоно как

представьте ситуацию. загружаете вы видео 1gb в некий аналог youtube. на 98% один из серверов (на котором и loadbalancer и аппликуха которая принимает это видео) подох. но у меня есть keepalived, nginx, ceph и вторая копия аппликухи на другом сервере, который через секунду стал мастером. у него есть /ceph/tmp, в котором 98% файла, предположим, где-то хранится статус этой загрузки. теперь вопрос знатокам: как прозрачно возобновить загрузку, чтобы клиент даже и не понял, что что-то произошло? спец софт на стороне клиента? модный javascript? а если он curl'ом загружал? можно сделать прозрачную загрузку для curl?

кажется не выйдет

ещё сессии можно перенести

а неклассифицированный трафик вряд-ли

я прикручивал ipvs балансировку с помощью викимедивской pyball

но там только http

ceph это radosgw тут?

можно попробовать связку ipvs+pyball

так сделано в 2гис

и кажется в яндекс

pyball?

да это петон от MediaWiki для управления ipvs

следит за бекендами, переносит tcp сессии балансит

keepalived умеет сесии переносить

а сессия то есть?

не могу ничего найти на тему pyball

ща

за компом сяду

только вот это https://github.com/boscoh/pyball

вот еще балансер https://github.com/google/seesaw

https://github.com/wikimedia/PyBal

но мне интересно как заставить приложение, которое занимается приемкой файла по post обмениваться всей этой информацией и сессиями с другими прилоэжениями. чтобы они на-лету смогли друг друга подменить

не мяч, а балансировка)

https://wikitech.wikimedia.org/wiki/LVS

тут от приложения зависит

где она стейт хранит

в памяти?)

я делал keepalived dr для nginx, который обменивался состояними tcp сессий. но вот если загрузка большого файла - оно не помогало.

чанками поди грузит?

можно написать прямиком сысоеву. обычно он ответчает или ктото за него )

вот мой вопрос как раз в том, есть ли такое. требуется ли кустомное ядро для этого?

а кто принимает то ? какое-то кастомное приложение? radosgw? надо смотреть имплементацию

пока никто. но нужен концепт

под ceph я подразумевал расшаренный tmp volume

ну вот radosgw умеет балансировку искаропки

там бекенд один

читаю

а фронтенды пофиг какие. аля s3 key-object

оно без apache никуда...

ну можно на nginx с патчем про чанки

я такое года 4 назад делал еще ) сейчас не знаю

что за патч?

сейчас кажется эти все патчи в апстриме есть. раньше были проблемы с continue 100 и загрузкой чанками.

https://github.com/bobrik/docker-radosgw/blob/master/conf/nginx.conf

https://github.com/bobrik/docker-radosgw/blob/master/conf/nginx.conf

👍

ну у цефа своих проблем много, но иногда работает ок )

flamp.ru мы так делали. я уже года три как уволился а оно все работает )

там вся статика в радосгв

6 датацентров

иногда прямо датацентрами все падает

пофигу работает

ну не прям под этот проект 6 датацентров, это так, шалости )

под видео я тоже пробовал, но там другие проблемы - буфферизация нджинкса хуже, чем у апача )

да и кроссдц цеф то еще садомазо )

а если буферизацию отключить?

кхм, я тут наткнулся на перформанс тест сети в докере от перконы, https://www.percona.com/blog/2016/08/03/testing-docker-multi-host-network-performance/

простите, что вмешиваюсьв разговор :)

без буфферизации совсем - не выйдет. всегда есть ошибки сети, сбои у стораджа. просто будет падать клиент, а это уже святое ) раз упало два и он не придет больше )

ну так себе бенчмарк ))

вееве ваш странно зафейлился ))

мы тестили подобное в опенстеке, результаты похожие.

латенси бы еще посмотреть

а не только оверхед

я вот только не пойму, они калико хотя прикопать и сделать канал? или как там его.

по хорошему, я не вижу нигде адекватных перформанс тестов, чтобы там сетап был раскрыт полностью, графики какие-нибудь

это надо к тру сетевикам

тесты на прикладном уровне это какие-то коровомили обычно