Потому и говорю про 20% в кластерных настроенных системах)
Там 21.87 на самом деле всегда
Bogdan (SirEdvin)
Bogdan (SirEdvin)
Иногда 22.56, но редко
Igorь
Откуда такие цифры?
Igorь
Тут довольно длинно расписывать, откуда 20% взялось, но могу показать ход мысли хотя бы.
Александр
Блин, остановите планету я сойду.
Александр
Хотя нет, с планетой все норм, это люди того
Александр
Во-вторых, при настройке системы часто хочется кластер с шардами и репликами, чтобы скрыть всё за днс, и разрабы не думали, куда писать. Там как ни крути будет пересылка данных между нодами, а она толстая
И для этого используется 1 сеть, я правильно понимаю?
Bogdan (SirEdvin)
Откуда такие цифры?
Из потолка, как бы. Как в целом и 20, потому что в реальности все очень плохо и там не посчитать
Александр
Я про физическую если чо
Igorь
Типа у тебя есть кластер из N шардов, которые скрыты за одной А записью. Тогда 1-1/N всего траффика будет исходить на другие шарды, чтобы переслать то, что должно лежать там.
Если количество реплик в каждом шарде K, то им тоже надо как-то сказать о том, что прилетело. Это K/N трафика будет уходить на репликацию. Ну и т.д.
Александр
Типа у тебя есть кластер из N шардов, которые скрыты за одной А записью. Тогда 1-1/N всего траффика будет исходить на другие шарды, чтобы переслать то, что должно лежать там.
Если количество реплик в каждом шарде K, то им тоже надо как-то сказать о том, что прилетело. Это K/N трафика будет уходить на репликацию. Ну и т.д.
И што? Это все на одном физ интерфейсе обрабатывается, да?
Александр
Bogdan (SirEdvin)
Вы же понимаете, что на репликацию траффик выделяется не в процентцах, она работает далеко не всегда и сильно зависит от объема данных, например
Bogdan (SirEdvin)
Трафик от пользователя не конвертируется напрямую в траффик для репликации
Igorь
Ладно. Каковы практические данные для конкретных кластеров? Теорию я примерно рассказал.
Igorь
Трафик от пользователя не конвертируется напрямую в траффик для репликации
Где как. В редисе - плюс-минус напрямую
Евгений
Типа у тебя есть кластер из N шардов, которые скрыты за одной А записью. Тогда 1-1/N всего траффика будет исходить на другие шарды, чтобы переслать то, что должно лежать там.
Если количество реплик в каждом шарде K, то им тоже надо как-то сказать о том, что прилетело. Это K/N трафика будет уходить на репликацию. Ну и т.д.
Звучит так будто вы только записываете, но ничего не читаете
Александр
Звучит так будто вы только записываете, но ничего не читаете
Ну он привел утрированный пример
Aleksey
100мбит это просто пример?
Евгений
20% эффективного трафика означает, что у него даже при rf 5 нужно только писать, чтения не делать
Александр
Igorь
Ну... Я немного с запасом брал
Bogdan (SirEdvin)
Ах да.. забыл про чтение
Просто у меня был опыт в основном с системами, где очень сильно привалирует чтение. Не технические системы где превалирует запись мне даже сложно представить.
Александр
При чтении трафик не умножается
Но данные все равно занимают полосу, т.е. 20/20 чтение/запись, плюс rf=4
Александр
Я ток про это
Igorь
С чтением сложнее. Там хз, сколько сервер будет отдавать
Александр
Да не важно, речь же про полосу 100mbps
Александр
Ваще странная тема
Александр
Вы как-то не так считаете имхо
Igorь
А как надо?
Bogdan (SirEdvin)
От потока данных?
Александр
Я ваще не понимать чо вы считаете
Александр
Честно говоря
Bogdan (SirEdvin)
+ надо расчитывать не весь кластер, а отдельные окружения, по идее
Александр
Как можно считать отдельное окружение от всего кластера?
Александр
Типа кластер не дает ни какой полезной нагрузки?
Bogdan (SirEdvin)
Ну, если мы говорим про условный Кубер, я не уверен, что там можно как-то адекватно расчитать необходимую ширину канала
Евгений
Но данные все равно занимают полосу, т.е. 20/20 чтение/запись, плюс rf=4
При rf=4 и чтении 20/20, только 3/5 трафика будут "системным". Это ж просто: (rf-1)*w / (rf*w+r)
Igorь
Да пока про абстрактную систему мы говорим, в которой есть кластер, в который только пишутся данные
Aleksey
Какой кубер та
Aleksey
Да пока про абстрактную систему мы говорим, в которой есть кластер, в который только пишутся данные
И она делает отложенную репликацию?
Igorь
Чё за кластер и как он внутри работает - вопрос вторичный
Igorь
И она делает отложенную репликацию?
Она делает какую-то репликацию. Ей так и так надо эти данные рассовать по нодам
Bogdan (SirEdvin)
Вы же понимаете, что от того, как он работает внутри, зависит то, сколько условного реплецирования трафика будет происходит?
Igorь
Отложенная или нет - без разницы
Aleksey
Каналы дуплексные
Aleksey
In не зависит от out
Igorь
Вы же понимаете, что от того, как он работает внутри, зависит то, сколько условного реплецирования трафика будет происходит?
Сильно сжать вряд ли получится
Aleksey
Репликация на out возможна мультикастом
Bogdan (SirEdvin)
Зависит от данных, текстовые, например, можно шакалить раз в 11, например. Метрики тоже сильно сжимаются хорошо
Aleksey
С ретраем потерянных кусков
Евгений
ftp это то, что я подумал?
Евгений
https://ru.m.wikipedia.org/wiki/Multicast_File_Transfer_Protocol
?
Aleksey
Да
Igorь
Каналы дуплексные
Это сложнее. По каналам там будет примерно так: 2 - in, 2 - out. Хотя зависит от числа реплик и числа шардов
Igorь
Не везде есть дуплексные каналы. Например, если есть 3 разных провайдера и у каждого провайдера распиханы по 1 мастеру и по реплике от других мастеров. Чтобы при отключении целого провайдера кусок данных не потерялся
Евгений
"Растянуть галеру на 3 датацентра"
Igorь
Только ради надежности
Aleksey
Тоесть кластер таки имеет характеристики и не умеет в мультик
Igorь
Опять же - смотря ценой чего
Aleksey
Раз кластер не абстрактный то можно все а то у меня ещё есть 2 десятка корнеркейсов
Denis 災 nobody
https://assets.nagios.com/downloads/nagiosxi/docs/Using_Nagios_BPI_v2.pdf
for Nagios XI.
то есть бесполезно.
Igorь
Хорошо, а насколько уже ширина канала будет в самом лучшем случае для абстрактного кластера?
Igorь
CDN в расчет не берём
Aleksey
Meh
Igorь
У меня получалось, что минимум в 3 раза, если только писать в него и не писать логи
Igorь
Ну и если клиенты не знают, что на каком шарде лежит