Михаил
Стюардессу можно раскопать
Nick
Википедию админишь? :)
Учебник по истории наверное
Sergei
интересно swift от openstack можно отдельно поднять 🤔
можно, но зачем использовать Свифт?
Dmitry
можно, но зачем использовать Свифт?
ну у нас выбора не особо много. minio, ceph, riak_cs, swift.
Sergei
ну у нас выбора не особо много. minio, ceph, riak_cs, swift.
ну какбе да. но вот из этого свифт зачем?
Dmitry
ну какбе да. но вот из этого свифт зачем?
он настолько плох что его даже в список s3 реализаций не надо включать?
Sergei
он настолько плох что его даже в список s3 реализаций не надо включать?
ну мне кажется что да. сторадж на питоне это ад пизды.
Dmitry
ну мне кажется что да. сторадж на питоне это ад пизды.
а на nodejs в список включим? https://github.com/scality/cloudserver
Dmitry
😂
Dmitry
Хотя это не то похоже. Оно просто для удобства локальной разработки видимо
Dmitry
То есть из чистых и адекватных альтернатив у нас есть только minio на golang и riak_cs на erlang. ceph же монстр, в котором совместимость с s3 не основной функционал, а swift на питоне не нужен
Vladimir
Dmitry
там нет riak_cs
Vladimir
допиши =)
Dmitry
+ в ceph вряд-ли норм с производительностью
Vladimir
инфа 146%
Dmitry
абсолютно нормально
а если сравнивать с локальными nvme дисками?
Vladimir
а смысл ? если там nvme диски =)
Vladimir
хотя конечно на больших объемах уже идут гибриды
Dmitry
а смысл ? если там nvme диски =)
где? Типо ceph сравним с локальными дисками по latency, iops?
Vladimir
иначе на nvme это будет очень дорого
Vladimir
где? Типо ceph сравним с локальными дисками по latency, iops?
а ceph локально на машине не может быть ? :) серьезно ?
Alexander 🐕
где? Типо ceph сравним с локальными дисками по latency, iops?
А это нормально - сравнивать распределенное решение и локальное?
Dmitry
А это нормально - сравнивать распределенное решение и локальное?
нет. Но примерный уровень падения производительности хотелось бы знать, а не слышать ответы мол тоже самое будет. Но лучше тесты погонять конечно самому
Vladimir
нет. Но примерный уровень падения производительности хотелось бы знать, а не слышать ответы мол тоже самое будет. Но лучше тесты погонять конечно самому
ну комон. Сделай ceph отдельно без кластера и сети и сравнивай падение. Надо в сети, тогда надо исходить из того, что у тебя , какие задачи итд итп, а не ожидать , что мол вот у вас есть дайте графики. Они тебе ничего не скажут и в твоем варианте может быть все плохо например
Aleksey
нет. Но примерный уровень падения производительности хотелось бы знать, а не слышать ответы мол тоже самое будет. Но лучше тесты погонять конечно самому
если тебе надо 200 iops будет тоже самое. только латенси хуже, проблемы распределенных систем в полный рост, а так тоже самое
Vladimir
вопрос тут уже денег _)
Dmitry
Уровень падения производительности чего именно?
ну замеры fio например. latency, iops, при random/линейном read/write
Aleksey
сгаладить деньгами распределенные системы. нууууу ок
Alexander 🐕
ну замеры fio например. latency, iops, при random/линейном read/write
Сейчас бы тестировать диски замерами fio Офигенный план Часто так делаешь?
Vladimir
Два чая этому господину !
Aleksey
что то то в этом чате начали часто рекомендовать локальный цеф. я пропустил какой то модный тренд ?
Alexander 🐕
И что тебе покажет замер fio, если не секрет? Ну, кроме того, что ты не врубаешься?
Vladimir
а потом как ceph тестировать будем и какую его часть ? :)
Alexander 🐕
нет, обычно сразу на СУБД тестирую и сравниваю
Ну, это, хотя бы, имеет смысл В отличие от тупой долбежки по стораджу
Евгений
нет, обычно сразу на СУБД тестирую и сравниваю
Ты уж определись, тебе S3 нужен или база данных
Alexander 🐕
Надо будет, кстати, на собеседованиях начать спрашивать, почему нет большого смысла тестировать производительность при помощи fio Жаль, конечно, что до этого вопроса будут доживать не только лишь все
Alexander 🐕
хабрахабр с тобой будет не согласен =)
Угу, я в курсе Именно поэтому я чувствую за собой правоту, бггг
Dmitry
Надо будет, кстати, на собеседованиях начать спрашивать, почему нет большого смысла тестировать производительность при помощи fio Жаль, конечно, что до этого вопроса будут доживать не только лишь все
ну с fio ты можешь определить границы возможностей стораджа же. А некоторые хараткер нагрузки на диск эмулируют аналогично СУБД. Вот например https://habr.com/ru/company/flant/blog/505100/
Dmitry
Ты уж определись, тебе S3 нужен или база данных
мне не надо. Не я s3 искал. Я в облаке беру
Alexander 🐕
Нет большого смысла для чего?
Да, собсно, никакого нет
Евгений
Да, собсно, никакого нет
Ну почему, вот облака у себя на страничках пишут максимум iops и latency, им имеет смысл запускать fio, чтобы померять. Вот гугл в своих cloud benchmarks так и делает
Alexander 🐕
Ну почему, вот облака у себя на страничках пишут максимум iops и latency, им имеет смысл запускать fio, чтобы померять. Вот гугл в своих cloud benchmarks так и делает
Так а нафиг мне максимумы-то В момент, когда достигается этот максимум, утилизация диска уже находится в жопе
Евгений
Технически - могу, но люди так никогда не делают почему-то (я не очень знаю, почему)
Если люди начнут молотком себе по голове бить, то ты против молотков начнёшь выступать?
Dmitry
Надо будет, кстати, на собеседованиях начать спрашивать, почему нет большого смысла тестировать производительность при помощи fio Жаль, конечно, что до этого вопроса будут доживать не только лишь все
Я конечно не сварщик. Но есть же несколько уровней тестирования. В том числе эталонное. Замеряешь возможности стораджа - fio Замеряешь возможности твоей СУБД на нескольких профилях подготовленных наборах данных и характере нагрузки Замеряешь свое приложение в целом бэкенды + СУБД на профилях похожие на реальный трафик
Alexander 🐕
Если люди начнут молотком себе по голове бить, то ты против молотков начнёшь выступать?
Так-то я против людей выступаю Молотки норм, нужно, чтобы они больше себя по голове били
Vladimir
Тебе не нужны, а им-то нужно написать на страничке их :)
Слушай , но это как minio, там такая маркетинговая лапша И быстрее , и кубернетес и лимитов нет. Как начинаешь это все щупать ставить, то прям грусть печаль и проблемы можно почитать только в ишью =)
Vladimir
так у тебя ceph. Нахер тебе minio сдался?
а ты думаешь у меня только один проект ? :)
Vladimir
надо ли Вот в чем вопрос =) Другой момент, что пограмисты стали настолько ленивыми жопами, что дальше своих кубиков ничего не видят
Vladimir
особенно когда они начинают втирать про очередной minio И как у них это все прошло тесты итд итп. Начинаешь задавать вопросы, чувствую себя как на приемки персонала на работу
Dmitry
особенно когда они начинают втирать про очередной minio И как у них это все прошло тесты итд итп. Начинаешь задавать вопросы, чувствую себя как на приемки персонала на работу
хз я с другой вселенной. Я уже рад когда прогер сам Dockerfile напишет. О k8s манифестах даже речи не идет пока. А СУБД, s3 это уже совсем не для них
Vladimir
главное , что бы он его нормально написал Вон есть проект portus , реализация докер регистри на рубях =) В общем там все очень плохо и с докер файлами и с зависимостями
Vladimir
в итоге harbor кажется просто конфеткой
Nick
Надо будет, кстати, на собеседованиях начать спрашивать, почему нет большого смысла тестировать производительность при помощи fio Жаль, конечно, что до этого вопроса будут доживать не только лишь все
Вопрос так себе. Сразу даёт понять что в компании «есть два мнения. Одно неправильное другое моё». Как-то может его переформулировать?
Dmitry
главное , что бы он его нормально написал Вон есть проект portus , реализация докер регистри на рубях =) В общем там все очень плохо и с докер файлами и с зависимостями
Да хотя бы хоть как-то написал. Чтобы было понятно от чего плясать. Переделать то быстрее чем выяснять как его приложение должно собираться и с нуля писать
Vladimir
так как документацию можно ждать вечно =)
Alexander 🐕
Вопрос так себе. Сразу даёт понять что в компании «есть два мнения. Одно неправильное другое моё». Как-то может его переформулировать?
Ну, можно и переформулировать Кандидат должен будет как-то дойти до мысли о том, что важные параметры дисковой подсистемы не изменяются линейно А с какой точки он начнет об этом думать - ну, это не очень важно
Dmitry
а ну это то да
меня вот еще помню прогеры просили вот это равзернуть https://github.com/huggingface/Mongoku (веб морда для монги) Если там сделать docker build с dockerfile из репы, то в итоге получаешь образ на 1.6GiB. Фронтендеры и докер 🤷
Леннарт Zh 🕊
Коллеги, а подскажите - сколько может стоить стартер кит (железо) и какие слои нужно иметь (минимум и разумный минимум) чтобы поверх них выстроить объектную хранилку с s3 API?