koichi
К чему это? Я вообще потерял ход ваших мыслей 😄
о том, что мастер-слейф реприсентейшен не может в распределенный, а только в отказоустойчивый
Mikhail
К чему это? Я вообще потерял ход ваших мыслей 😄
ну вы сказали, что если поставить слейв для базы она станет распределенной
koichi
как я понял)
Alexander
виртуальный
Но стоит мне добавить точно такую же 50 кг сервак, добавить в шкафчик, и подключить их оба и у меня уже физический кластер с виртуальным кластером?
Mikhail
о том, что мастер-слейф реприсентейшен не может в распределенный, а только в отказоустойчивый
ускорится работа, все будет шикарно и главное запросы будет быстрее отрабатывать
Mikhail
Конечно, ибо будет соержать больше одной ноды.
конечно, так смотрите, у вас 100 миллионов записей в секунду. Вы поставили еще одну ноду в режиме репликации. Что будет? тормозить сильнее)
koichi
ну, вот я читал про практику, где синхронные мастер-слейв работают по принципу: мастер, у которого один слейв, где они работают синхронно, а у слейва уже куча своих слейвов, это же хороший практис, вроде, что не так здесь в контексте распределенных систем? это же оно и есть в чистом виде
koichi
я в этом тот еще додик, но вроде вполне логично, не могу осознать что не так
koichi
У нас видимо разный дефинишн “распределенных систем”:D
да я вот об этом тоже задумался.. вхахв
Mikhail
конечно, так смотрите, у вас 100 миллионов записей в секунду. Вы поставили еще одну ноду в режиме репликации. Что будет? тормозить сильнее)
При асинхронной репликации - нет, это практически никак не будет отражаться на перформансе. А если взять условную leaderless replication, то производительность увеличится.
koichi
Но стоит мне добавить точно такую же 50 кг сервак, добавить в шкафчик, и подключить их оба и у меня уже физический кластер с виртуальным кластером?
ну, вроде бы у тебя просто по факту 2 физических кластера в двух разных шкафчиках, а виртуальные кластеры, да и все.. зачем сову на глобус тянуть
Mikhail
да я вот об этом тоже задумался.. вхахв
Еще раз: Распределенная система хранения данных - это ЛЮБАЯ система, данные которой РАСПРЕДЕЛЕНЫ каким-то образом между нодами. Ничего про то, как они распределны, какой перформанс, какая репликация и т.д. в определении НЕТ.
Mikhail
Но стоит мне добавить точно такую же 50 кг сервак, добавить в шкафчик, и подключить их оба и у меня уже физический кластер с виртуальным кластером?
Вы можете поставить в ряд хоть 3 хоть 33 единицы комбинированно или как угодно. Останется только озаботиться связностью, то есть чтобы входящая задача решалась этим пулом хостов.
Mikhail
да, я вот так и понял по тому, что ты ему отвечал, что в твоем случае речь идет лишь о том, что информация буквально распределена, ничего более
Так я и не понимаю, о чем речь и что тогда имеется в виду под “распределенными данными” с вашей стороны.
koichi
Так я и не понимаю, о чем речь и что тогда имеется в виду под “распределенными данными” с вашей стороны.
Ну, я как раз-таки не был против того, что это распределенный) Про отказоустойчивость писал другой Михаил..)
Alexander
ну, вроде бы у тебя просто по факту 2 физических кластера в двух разных шкафчиках, а виртуальные кластеры, да и все.. зачем сову на глобус тянуть
Нет. Просто я видел на работе один огромный сервак. 60 CPU, 500 TB, 300 RAM Весит 50 кг. Когда я спросил зачем такой огромный мне сказали: С одного такого можно сделать виртуальный кластер с несколькими нодами. Если мы подключим еще один такой 50кг сервак, мы получим физический кластер. Как только 1 сервак закончился, мы занимаем 2, закончился 2, подключаем 3 и тд и тд.
Mikhail
Так я и не понимаю, о чем речь и что тогда имеется в виду под “распределенными данными” с вашей стороны.
Я о том, чтобы входящий запрос мог разгружен двумя единицами, а не одной
koichi
Так я и не понимаю, о чем речь и что тогда имеется в виду под “распределенными данными” с вашей стороны.
Я как раз больше твоей стороны придерживаюсь, его сторону я просто не особо понимаю пока, так как не хватает знаний собрать все воедино, что он отвечает
Ö
Давайте садить деревья и собирать макулатуру!
Ö
Не баньте, пж
koichi
да я почти ничего тут не написал, второй Михаил и то больше знаний тебе дал, вхаха, я в этом дурачок
koichi
его лучше благодари)
Mikhail
Я о том, чтобы входящий запрос мог разгружен двумя единицами, а не одной
Вот, значит речь о том, чтоб увеличить write-capacity, что вообще из другой оперы. Вариантов масса, самые очевидные, которые приходят в голову: - использование Multi-leader replication - использование Leaderless replication - замена B-tree based на LSM tree based решения.
Mikhail
Тогда я понял разницу. 😁😁😁
А применение простое. Считай что у тебя есть задача где надо посчитать две формулы. Каждая формула считается 2 часа. У тебя сервер 4 ядра и 4 гига и это предел допустим. Ставишь ещё 1, и при получении задачи делишь ее на 2 между первым и вторым, таким образом решаешь быстрее задачу (параллельно) средствами кластера из двух нод и двух экземпляров приложения где каждое отвечает за свою задачу в рамках общего решения. Ну это очень просто объяснил
Mikhail
А по поводу ограничения на коннекты, условный EC2 m4.2xlarge поддерживает до 494781 TCP соединений одновременно.
Mikhail
Сейчас даже проверил.
koichi
и в статье читал про возможность 10м+
Alexander
А по поводу ограничения на коннекты, условный EC2 m4.2xlarge поддерживает до 494781 TCP соединений одновременно.
Тогда моя книга не ошибалась с тем что вы сказали. Я просто главу кластеров не так понял.
Mikhail
ес2 амазон хвастался 1м+ соединениями как-то
Смотря какой инстанс же, м4 - не самые большие.
koichi
Смотря какой инстанс же, м4 - не самые большие.
ну, тут уже углублденности, в которых я совсем дилетант)
koichi
я только из интереса читал..
Mikhail
ну, тут уже углублденности, в которых я совсем дилетант)
Думаю какой-нибудь m5zn.12xlarge поддерживает и 10M+, надо посмотреть документацию.
koichi
Думаю какой-нибудь m5zn.12xlarge поддерживает и 10M+, надо посмотреть документацию.
я читал статью, там было про raw sections или что-то такое.. и там про 10м+ было, но я не осилил
Mikhail
Это 1 узел?
Это 1 сервер, который в контексте ресурсов может быть одной нодой, в зависимости от вашей конфигурации. В тех же кубах часто 1 нода = 1 инстанс.
koichi
вроде бы на линкидине что-то, про ес2 амазоновский, гугл клауд и ажур
Максим
Доброц ночи ребята, не осуждайте сильно нужно ваше мнение Кароче прогуливал школу как мог двоечник жуткий нихера не знаю:) Потому что этот вопрос ни где не разбирался (можно ли стать кодером без школьной программы ?)
Mikhail
Можно все)
Максим
Хотелось бы побольше информации в чем будут самые большие затруднения,
koichi
если пропускать совсем щкольную пограмму, то будет сложно, можно формальную логику первого порядка и математику поизучать
Максим
Красиво спасибо за поддержку и мнение
koichi
Хотелось бы побольше информации в чем будут самые большие затруднения,
как для школьной программы до 9 класса, как прогерру тебе оттуда почти ничего не надо
koichi
максимум для кругозора
Максим
Не понял
koichi
но учебники по математике и информатики можно и полистать в свободное время
Максим
То есть вы имеете ввиду что из школы юзать можно матешу и информатику
koichi
Не понял
ну, в прямом смысле, учебный материал до 9 класса не дает знаний, которые повлияли бы особо на твои навыки как кодера
Максим
Оа
Максим
А если так уж заговорили про книги информатики и матеши есть рекомендации???
koichi
школьные учебники можешь просто загуглить свои и там поизучать) не вижу проблемы особо
koichi
если оттуда нисего не знать, то смысла читать что-то другое - нет, так как зачастую в книгах уже подразумевает наличие базы какой-либо
koichi
если другие книги это подразумевать не будут, то отличия от школьных книг не будет никаких
koichi
максимум другой стиль преподавания и подачи информации
koichi
Думаю какой-нибудь m5zn.12xlarge поддерживает и 10M+, надо посмотреть документацию.
а если не сложно, это же уже не сегодня будешь делать?) просто хотелось бы узнать про это хотя бы в двух словах
Максим
максимум другой стиль преподавания и подачи информации
Согласен зашёл на тренинг от епам там курс нацелен самостоятельно обучение автоматизированное тестирование, так первые уроки это основы информатики подача материала максимально короткая и понять очень сложно
Максим
Особенно когда за 10 виде по 4 минуты ты узнаешь столько нового и задумываешься стоит вдаваться в подробности или пропускать
koichi
Особенно когда за 10 виде по 4 минуты ты узнаешь столько нового и задумываешься стоит вдаваться в подробности или пропускать
в подробнлсти в таком случае лучше вдаваться всегда, потому что ты итак мало знаешь, нужно хотя бы что-то изучать более углубленно
koichi
Что именно делать и про что именно узнать?
есть ли варианты у вас, например, по документации поддержки 10м+ коннекшинов делать = посмотреть доку
Mikhail
есть ли варианты у вас, например, по документации поддержки 10м+ коннекшинов делать = посмотреть доку
Чуть позже могу глянуть. Но на самом деле, имхо, это не особо осмысленная метрика, смотреть сколько одновременных TCP коннекшенов можно открыть.
Mikhail
А так метрики можно тут посмотреть стандартные: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-optimized.html
koichi
Чуть позже могу глянуть. Но на самом деле, имхо, это не особо осмысленная метрика, смотреть сколько одновременных TCP коннекшенов можно открыть.
ну, мне жто интересно просто в техническом плане, потому что про это речь зашла от другого Михаила, так-то это вообще не нужно) Учитывая то, что и с небольшим количеством коннекшинов все работает прекрасно)
koichi
оо, спасибо большое!
koichi
Вечером гляну, если не забуду.
хорошо, спасибо, но напоминать и отвлекать не стану)
Void
Привет ребят , начал учить впервые прогрограмирование, с#, может кто подскажет где можно найти какие то задачки что бы практиковаться?