как-как, налить водки и выпить с грустью :)

идея конечно хорошая, но реализовывать пиздец местами

похоже ме пропустил всё то, о чём речь

взаимно, похоже существуют какие-то линии напряжения, которые не видны со стороны :)

1) гигантский оверхед по месту 2) если что с файликом случится - навернется все целиком

Посмотрела, у Вас, оказывается, хостинг. Тогда понятно, что то, что с ploop сложнее оверселлить по месту Вам не удобно. Можно оверселлить место, если Вы будете продавать менеджмент контейнеры, которые сами админите, и засуните внутрь контейнера утилиту, которая покажет через API биллинга то место, что клиенту продано (df -h, понятно, будет показывать меньше, чем продано в таком случае) Ещё... Вы zfs не пробовали? Я не пробовала, и не знаю, на сколько это продакшен-реади, юзать zfs для VZ контейнеров - там, наверное, куча разных подводных камней всплывёт, но по-идее, тут и проблем ext4 не будет, и производительность будет выше, особенно если кэш zfs положить на более быстрый SSD, PCI-express, и оверселлить сможете. Заодно можно кастомерам продать фичу снапшотов как клиентских бэкапов (но технические всё равно нужно оффсайт, за пределы сервера делать по понятным причинам)

Ксения, если вы готовы все эти работы проспонсировать то я думаю они с радостью попробуют

Ксения, если вы готовы все эти работы проспонсировать то я думаю они с радостью попробуют

Это же чат. Человек рассказал о проблеме, я рассказала своё видение, как её можно решить - хочу помочь. Кстати, если кто-то проспонсируют, я тоже могу решить :) Впрочем, наверное, не только я в этом чате.

Ну что, скандинавский аукцион? Смотрите, мне надо 1500-2000 шекелей, чтобы не сдохнуть с голоду в пустыне Негев на велосипеде.

1) гигантский оверхед по месту 2) если что с файликом случится - навернется все целиком

Ваши конкуренты, кстати, судя по этому репозиторию, как раз и юзают ZFS: https://github.com/FastVPSEestiOu/zfs-quota С VZ6 ядром. Вероятно, они все эти скрытые проблемы zfs + vz решили.

Посмотрела, у Вас, оказывается, хостинг. Тогда понятно, что то, что с ploop сложнее оверселлить по месту Вам не удобно. Можно оверселлить место, если Вы будете продавать менеджмент контейнеры, которые сами админите, и засуните внутрь контейнера утилиту, которая покажет через API биллинга то место, что клиенту продано (df -h, понятно, будет показывать меньше, чем продано в таком случае) Ещё... Вы zfs не пробовали? Я не пробовала, и не знаю, на сколько это продакшен-реади, юзать zfs для VZ контейнеров - там, наверное, куча разных подводных камней всплывёт, но по-идее, тут и проблем ext4 не будет, и производительность будет выше, особенно если кэш zfs положить на более быстрый SSD, PCI-express, и оверселлить сможете. Заодно можно кастомерам продать фичу снапшотов как клиентских бэкапов (но технические всё равно нужно оффсайт, за пределы сервера делать по понятным причинам)

аааа, ну сколько можно.. Ну т.е. я понимаю, 17 лет назад я в фидо был таким же, но, омг, не надо

при чем здесь оверселл места? У нас диски на 1.2 тера, вдс на 1 тер, оно в плуп просто не влезает

и мы привязаны к ехт4, потому что юзер квоты, причем секонд левел

@knutov ты можешь мне сделать пару вписок на ночь с душем? (еду не надо, ну я не откажусь, но обойдусь). Меня беспокоит Тверия числа второго-третьего и третьего-четвертого Хайфа.

и мы привязаны к ехт4, потому что юзер квоты, причем секонд левел

Это для битрикса нужны second-level квоты?

и мы привязаны к ехт4, потому что юзер квоты, причем секонд левел

кстати, а я тебе про project quotas на xfs уже говорил?

и не надо додумывать контексты, когда вообще ничего не знаете о .

и не надо додумывать контексты, когда вообще ничего не знаете о .

Почему не знаю? Я достаточно много работала в хостингах, с VZ, и даже видела это говно ( в смысле, CMS Битрикс)

кстати, а я тебе про project quotas на xfs уже говорил?

не говорил. @pavel_odintsov говорил про квоты с зфс, но там тоже есть нюансы

Raid10 из 8 ssd тестил кто?

Но, правда, Битрикс последний раз я видела 6 лет назад. Кажется, тогда ему никакие юзерские квоты в контейнере были не нужны. Что поменялось? Или Вы для другого их используете?

не говорил. @pavel_odintsov говорил про квоты с зфс, но там тоже есть нюансы

говорю. может тебе подойдет

Raid10 из 8 ssd тестил кто?

Я тестила. Просаживается I/O на запись. Грустно очень получается. Правда я тестила из дешёвых, консумерских SSD, у них очень прыгает скорость, а продаваны указывают среднюю

Я тестила. Просаживается I/O на запись. Грустно очень получается. Правда я тестила из дешёвых, консумерских SSD, у них очень прыгает скорость, а продаваны указывают среднюю

Цифры в студию

Цифры в студию

А у тебя есть вписки в Израиле? Желательно 2-3 размер :)

А у тебя есть вписки в Израиле? Желательно 2-3 размер :)

Нее, там увы нет.

говорю. может тебе подойдет

увы, нет. Оно типа как в зфс, только попроще. Тут встает несколько проблем - надо как-то прокидывать эти квоты внутрь контейнера, т.е. прокидывать рулилку наружу - это много дорогих человекочасов на интеграцию, и потом не очень понятен профит. Удаление миллионов мелких файлов на xfs лишь чуть лучше, чем на ext4.

Цифры в студию

Остались на прошлой работе :( Я там NDA подписывала :( Может, ты мне не поверишь, но я даже из своих исходников с работы, где NDA, беру только что-то самое интересное, для себя, и потом не показываю.

Какое нахуй нда на колво iops

увы, нет. Оно типа как в зфс, только попроще. Тут встает несколько проблем - надо как-то прокидывать эти квоты внутрь контейнера, т.е. прокидывать рулилку наружу - это много дорогих человекочасов на интеграцию, и потом не очень понятен профит. Удаление миллионов мелких файлов на xfs лишь чуть лучше, чем на ext4.

ммм... слушай, docker уже даже это взял. не надо вроде там ничего прокидывать

Что ты несешь

ммм... слушай, docker уже даже это взял. не надо вроде там ничего прокидывать

Docker в хостинге пока не оч :(

Raid10 из 8 ssd тестил кто?

на 4х тестил. Цифр не осталось, но они были быстрее, чем нам нужно было даже в пиках. Вообще по таким штукам можно ориентироваться на цифры из статьи про zfs на calomel.org

Docker в хостинге пока не оч :(

расскажи это лидеру шареда РФ

на 4х тестил. Цифр не осталось, но они были быстрее, чем нам нужно было даже в пиках. Вообще по таким штукам можно ориентироваться на цифры из статьи про zfs на calomel.org

4 работают как говно, я это и сам знаю, мне интересно 8

А кто лидер шареда в рф?

ммм... слушай, docker уже даже это взял. не надо вроде там ничего прокидывать

у докера у тебя внутри, условно, один юзер/проект/приложение. В этом кейсе я могу сделать раздел или даже звол без секонд левел квот. Но у меня не этот кейс. олсо, из докера ты можешь повысить права наружу. Это неприемлемо для нас.

А кто лидер шареда в рф?

Бегет?

А кто лидер шареда в рф?

Фил ?

расскажи это лидеру шареда РФ

Да, только рута же внутри они не дают? И не запускают ничего тяжелого, правда? Кстати, с ploop можно решить проблему количества i/o запросов. Можно замутить, скажем, raid10 из, например, десятка хардов, и дальше лимитировать количество i/o к каждому контейнеру. Должно работать. И места можно больше продать, чем SSD

Вот Фил может лидер, а насчет бегета не уверен

на 4х тестил. Цифр не осталось, но они были быстрее, чем нам нужно было даже в пиках. Вообще по таким штукам можно ориентироваться на цифры из статьи про zfs на calomel.org

Про zfs подумаю на 8, спасиб.

Да, только рута же внутри они не дают? И не запускают ничего тяжелого, правда? Кстати, с ploop можно решить проблему количества i/o запросов. Можно замутить, скажем, raid10 из, например, десятка хардов, и дальше лимитировать количество i/o к каждому контейнеру. Должно работать. И места можно больше продать, чем SSD

У них апачи под докером

> олсо, из докера ты можешь повысить права наружу. Это неприемлемо для нас. из не privileged контейнера?

Да, только рута же внутри они не дают? И не запускают ничего тяжелого, правда? Кстати, с ploop можно решить проблему количества i/o запросов. Можно замутить, скажем, raid10 из, например, десятка хардов, и дальше лимитировать количество i/o к каждому контейнеру. Должно работать. И места можно больше продать, чем SSD

еще раз, не надо сочинять контексты, когда не понимаете в теме. думаю, самый тяжелый хостинг по дискам из всех хостеров у нас в рф - у меня. На сколько я знаю - ни у кого больше нет такой плотности битриксов. Дак вот - у меня в пиках 3-5к иопс на запись. Это, формально, при наличии очищенных блоков на диске, минимум в 2.5 раза медленее, чем спецификации любого современного серверного ссд.

> олсо, из докера ты можешь повысить права наружу. Это неприемлемо для нас. из не privileged контейнера?

да. там регулярно находятся дырки.

мы делали оценку вероятностей и возможностей и посчитали маловероятным успевать фиксить проблему сразу же после того, как о ней станет известно

еще раз, не надо сочинять контексты, когда не понимаете в теме. думаю, самый тяжелый хостинг по дискам из всех хостеров у нас в рф - у меня. На сколько я знаю - ни у кого больше нет такой плотности битриксов. Дак вот - у меня в пиках 3-5к иопс на запись. Это, формально, при наличии очищенных блоков на диске, минимум в 2.5 раза медленее, чем спецификации любого современного серверного ссд.

Тяжко у вас..

Да, только рута же внутри они не дают? И не запускают ничего тяжелого, правда? Кстати, с ploop можно решить проблему количества i/o запросов. Можно замутить, скажем, raid10 из, например, десятка хардов, и дальше лимитировать количество i/o к каждому контейнеру. Должно работать. И места можно больше продать, чем SSD

UPDATE: удалила, что бы не запутать чат

Про zfs подумаю на 8, спасиб.

там смотрите статью - лучше не 10, а отмотать до тестов с включенным сжатием и выбрать тот вариант, который вам требуется по скорости

там смотрите статью - лучше не 10, а отмотать до тестов с включенным сжатием и выбрать тот вариант, который вам требуется по скорости

Да мне на время, пока ceph в разработке

мы делали оценку вероятностей и возможностей и посчитали маловероятным успевать фиксить проблему сразу же после того, как о ней станет известно

ну можно же прикрыться seccomp, apparmor и проч

они независимы от докера

ну можно же прикрыться seccomp, apparmor и проч

судя по гуглу - это не даст 100% защиты и даст заметное снижение производительности

судя по гуглу - это не даст 100% защиты и даст заметное снижение производительности

а всё же зачем вам квоты внутри контейнеров?

ну т.е. это вполне выход, если делать шаред хостинг типа бегета, но для битрикса каждый попугай производительности на счету

а всё же зачем вам квоты внутри контейнеров?

у нас шаред хостинг завернут в контейнеры

у нас шаред хостинг завернут в контейнеры

т.е. кастомер получает меньше, чем контейнер? И несколько кастомеров сидят в одном контейнере?

да, коммерческая тайна

да, коммерческая тайна

А зачем? На современной железке же запросто 50, а то и 150 VZ контейнеров живут

@schors я больше не могу

@schors я больше не могу

Я думал, только меня раздражает это. :D

а мне норм :3

а мне норм :3

Ты просто тяжелые хуяришь уже. :)

Ты просто тяжелые хуяришь уже. :)

вообще не употребляю.

а мне норм :3

+1

@schors я больше не могу

Ну насильно я, конечно, не буду Вам пытаться помочь. Вы же всё знаете, всё попробовали, а я, на Ваш взгляд, дура, а не инженер, который может Вам дать свежий, не замыленный взгляд на ситуацию. Продолжайте героически бороть проблему ext4.

Ну насильно я, конечно, не буду Вам пытаться помочь. Вы же всё знаете, всё попробовали, а я, на Ваш взгляд, дура, а не инженер, который может Вам дать свежий, не замыленный взгляд на ситуацию. Продолжайте героически бороть проблему ext4.

мне просто любопытно, а как вы выглядите?

мне просто любопытно, а как вы выглядите?

Оффтоп. Вконтакт и линкедин легко гуглятся.

мне просто любопытно, а как вы выглядите?

Стукнись к Белявскому или Крикову или Димульке

ERROR: S client not available

мне просто любопытно, а как вы выглядите?

+1)))

Ну насильно я, конечно, не буду Вам пытаться помочь. Вы же всё знаете, всё попробовали, а я, на Ваш взгляд, дура, а не инженер, который может Вам дать свежий, не замыленный взгляд на ситуацию. Продолжайте героически бороть проблему ext4.

Ты не инженер, ты devops

хД

а мне норм :3

да нормальные вопросы же

Оффтоп. Вконтакт и линкедин легко гуглятся.

вконтакт предлагает мне посмотреть "Мисс "Мокрая майка" в POLNOCH`"

я, конечно, непротив...

В другом канале девопс были вроде б фотки

В другом канале девопс были вроде б фотки

а что за другой канал?

Ну этот, где Измайлов

Признавайтесь, девапсы, а кто из вас нажимает на гитхабе rebase and merge вместо merge ?

вконтакт предлагает мне посмотреть "Мисс "Мокрая майка" в POLNOCH`"

Окей. Я сейчас отправлю Вам ссылку на профиль в личку.

Признавайтесь, девапсы, а кто из вас нажимает на гитхабе rebase and merge вместо merge ?

Нажимает? Мне уже страшно.

Признавайтесь, девапсы, а кто из вас нажимает на гитхабе rebase and merge вместо merge ?

Но ведь оно к хуям убивает весь коллоборейтив если несколько человек работало

а что дает коллоборейтив?

@schors я больше не могу

Я честно говоря не очень понимаю, что тут раздрожает... Ну задает человек вопросы

Похоже на известную девочку с улыбкой маньяка

Я честно говоря не очень понимаю, что тут раздрожает... Ну задает человек вопросы

Рискну предположить, что природа людей. На 2.7баном IT недавно было две статьи девчёнок, которые работали в Убере. Очень...... доставляют

http://i0.kym-cdn.com/photos/images/newsfeed/000/322/712/98b.jpg

Хотя там, конечно, Галеры, и происходившее не удивительно

http://i0.kym-cdn.com/photos/images/newsfeed/000/322/712/98b.jpg

Дадада)

Хотя там, конечно, Галеры, и происходившее не удивительно

линк чтоль дай

линк чтоль дай

https://ebanoe.it/2017/04/10/uber-women/

https://ebanoe.it/2017/04/10/uber-women/

в докере тоже харасили девушку недавно, ушла в core os

Но та из них, которая перебила шефа на митинге, конечно, была не права

Ахаха

проблема индустрии

Сейчас бы читать хуйню что там пишут и верить этому

Ебучие обиженки

невоороженным глазом видно предвзятое отношение, просто выше по чату хотя бы даже

https://ebanoe.it/2017/04/10/uber-women/

Второй раз скопипастилась та же самая ссылка, вот: https://ebanoe.it/2017/04/06/uber-sexual-harrassment/