🏳️ Phil
Ээ. В образах в клауде обычно чистый LAMP жи
Ну и нахер он кому нужен? И сайты сам добавляй, и настройки сам делай. Я и не встречал, чтобы кто-нибудь давал халтурить на LAMP. Не, я не утверждаю, что не пользубтся, но я плохо представляю ЦА. А вот "есть ли у вас ISP Manager и VestaCP" вижу часто. Всё это субъективно, конечно. Вот тот же owncloud или как там его, знакомые чуваки поставили из шаблона обмениваться картинками и визжат от восторга
🏳️ Phil
конечно же выживет и я даже думаю, что сможет держать в районе 1000 rps.
Конечно нет. Python+MySQL для 512Mb на одном ядре - неа
Sergei
Конечно нет. Python+MySQL для 512Mb на одном ядре - неа
меня не очень интересует стек, на котором он _сейчас_ написан. приложение clck.ru имплементированное нормально на rpi zero вполне может жить и выдавать очень некислую производительность. конкретно на rpi zero проблемой станет, когда индекс перевалит за 900 мегабайт примерно и придется фоллбечиться в sd-карту вместо чтения из рамы. и даже тогда sd-карта выдаст около 1000 iops. на конкретно этой задаче можно свести сложность к двум чтениям с карты при условии полностью холодного индекса. получаем 500 rps. в случае если мы можем поместить хотя бы часть индекса в память (а это почти наверняка правда) мы увеличиваем перформанс до 1000 rps.
Sergei
шаред - не про перформанс или его отсутствие. шаред - про покупку минимально необходимого сисадмина и минимально необходимого кого-нибудь, кто починит, если сломалось что-то не на самом сайте. за копейки. гиганты туда не лезут тупо потому что расходы на саппорт больше, чем доходы от клиентов. собственно, шаред и живет в тех местах, где труд стоит копейки.
Aragaer
А что тебе нужно?
у меня есть несколько машин - мой десктоп, впс, может быть нетбук в шкафу. Я хочу раскидать по ним по всем пачку разных сервисов. Сервисы умеют между собой общаться, если сказать им, как друг друга находить - то есть конфиги должны быть согласованы. Я хочу одну общую точку раскатывания и обновления всего этого добра. Сейчас пока экспериментирую с ансиблем например.
Sergei
Я не очень понимаю, что ты в теории с базой делать собрался. Даже если мы на языке ассемблера всё написали. Там такой некислый k/v
некислый k->v для стораджа, в котором ключ занимает фиксированное число байт, а значение - ограниченное число байт (e.g. до 16К?)
Aragaer
вот я тоже начинаю догадываться
Sergei
ты серьезно?
🏳️ Phil
шаред - не про перформанс или его отсутствие. шаред - про покупку минимально необходимого сисадмина и минимально необходимого кого-нибудь, кто починит, если сломалось что-то не на самом сайте. за копейки. гиганты туда не лезут тупо потому что расходы на саппорт больше, чем доходы от клиентов. собственно, шаред и живет в тех местах, где труд стоит копейки.
1. Ну так и есть да 2. Угу. Шаред например крайне популярен в США. Хочу пслушать про их труд за копейки. И мы возвращаемся к изначальному гиганты туда не лезут, но лезут создав сервисы в своих облачных услугах. Я запутался - лезут или не лезут? :)))
Sergei
в памяти потребуется держать 24 байта на урл
🏳️ Phil
некислый k->v для стораджа, в котором ключ занимает фиксированное число байт, а значение - ограниченное число байт (e.g. до 16К?)
И? Да, я серьёзно. Я вон сраную выгрузку не смог в Гиг запихать. Там посложнее чутка, но всё же. Хотя всё умерло на фиксированных IPv4 в ключе
🏳️ Phil
в памяти потребуется держать 24 байта на урл
24 байта на URL? Это если ты собрался просто перебором искать
🏳️ Phil
Мне всё равно, расстраиваю я кого-то или нет, но боевой clck.ru на pi zero - шапкозакидательство. Не прямо чтобы сильное, но оно
Sergei
8 байт достаточно для значения хеша. 8 байт на смещение на диске и 8 байт на длину объекта. на самом деле можно 2 байта на длину объекта, потому что мы не разрешим настолько длинные оригинальные урлы на самом деле. учитывая, что сторадж - append-only ты можешь в бекграунде периодически оптимизировать хеш-таблицу, чтобы она была плотной, а не разреженной в оперативе, оставляя разреженную часть очень небольшой. запись тривиальна: 1) считаем хеш 2) пишем объект на диск 3) пишем строчку в индекс (24 байта) чтение тривиально: 1) считаем хеш 2) читаем смещение и длину объекта из индекса 3) отправляем с диска сразу в TCP-сокет
Sergei
это даже не байтоёбство. работы на день.
🏳️ Phil
0. А мы учли свою проверку на уникальность при такой длине хэша? 1. Что такое "оптимизировать хэш-табицу"? Что за таблица? 2. Я пропустил место с мультиплексированием записи. С синхронной блокирующей небуферизированной записью тебе вся конструкция очень быстро фигвам нарисует 3. Я пропустил место собственно с индексом. Вероятно это как-то связано с (1), но я не вижу цифр 4. Я бы не стал утверждать, что небуферизированная логически беспорядочные чтение/запись не будет крайне неприятным узким местом, если мы говорим о нагрузках в 1000rps 5. В работу на день не включена конструкция по поддержанию целостности и/или восстановление. Хотя, конечно в простой конструкции это сделать проще. Но таки сделать надо
Vladimir
0. А мы учли свою проверку на уникальность при такой длине хэша? 1. Что такое "оптимизировать хэш-табицу"? Что за таблица? 2. Я пропустил место с мультиплексированием записи. С синхронной блокирующей небуферизированной записью тебе вся конструкция очень быстро фигвам нарисует 3. Я пропустил место собственно с индексом. Вероятно это как-то связано с (1), но я не вижу цифр 4. Я бы не стал утверждать, что небуферизированная логически беспорядочные чтение/запись не будет крайне неприятным узким местом, если мы говорим о нагрузках в 1000rps 5. В работу на день не включена конструкция по поддержанию целостности и/или восстановление. Хотя, конечно в простой конструкции это сделать проще. Но таки сделать надо
1. Стандартный процесс компакшена для подобных баз. По сути на базе того что ты знаешь что данные в основном дописыаются, старые ты можешь почитать и переписать как нибудь поэффетивнее для чтения
🏳️ Phil
2. А при чем тут это?
В смысле? Оно у тебя будет очень херово работать, если ты ничего не сделаешь с буферизацией записи
Vladimir
В смысле? Оно у тебя будет очень херово работать, если ты ничего не сделаешь с буферизацией записи
Вы изначально говорили о том чтобы оно помещалось в рам или на сд карту. Сд карта достаточно шустро работает так то.
🏳️ Phil
Вы изначально говорили о том чтобы оно помещалось в рам или на сд карту. Сд карта достаточно шустро работает так то.
Мы изначально говорили, что это должно заработать на pi zero. ну точнее, было такое утверждение. SD-карта вообше то ешё развлечение найти, чтобы шустро работало. Такая карта будет сравнима по цене с самим pi zero
🏳️ Phil
Ну и то, я не знаю как она будет работать на рандомном i/o
Vladimir
Или даже а1
Vladimir
Ну и то, я не знаю как она будет работать на рандомном i/o
https://www.amazon.com/SanDisk-128GB-microSDXC-Memory-Adapter/dp/B073JYC4XM 25 фунтов за 128 Гб. Можно взять 16-32 если слишком дорого Ну или фирму попроще
Vladimir
16 Гб стоит там же 7$
🏳️ Phil
Vladimir
на рандомном r/w?
Да, я с помощью fio гонял такую, у меня она для raspberry pi 4 была
🏳️ Phil
Ну ок :)))
🏳️ Phil
Но мы пропустили самое важное - 2
Vladimir
Но мы пропустили самое важное - 2
Почему? Делаешь WAL и фоновый процесс преобразования этого WAL в условный даже btree (хотя тут даже SQLite должен справится)
Vladimir
И забываешь про эти проблемы
🏳️ Phil
Я не знаю почему мы пропустили. Но это ещё один процесс, память и вот это всё. Что-то у нас уже много набралось. И ценник уже неплохой, а ещё бэкапа нет
🏳️ Phil
Вот кстати, ты пробовал что-то конкурентное на sqlite запускать?
Vladimir
Я не знаю почему мы пропустили. Но это ещё один процесс, память и вот это всё. Что-то у нас уже много набралось. И ценник уже неплохой, а ещё бэкапа нет
я не вижу проблем и согласен с сергеем что даже с учетом бэкапа и прочего это пишется за рабочий день программистом средней руки
Евгений
B+-tree не имеет смысла, если апдейтов нету
Vladimir
Вот кстати, ты пробовал что-то конкурентное на sqlite запускать?
да, пробовал, если с ним уметь обращаться то он будет шустрым
Vladimir
Там же дозапись в основном? Можно сразу в LSM tree жеж
можно, да, на такую задачу почти что угодно будет нормально работать
🏳️ Phil
Я видимо и тут, и тут плох. Я ни базу с деревом за вечер не напишу, ни sqlite не умею заставить шустро конкурентно работать
🏳️ Phil
Есть видимо какие-то чудесные ниндзюцу, мне не доступные
Vladimir
Я видимо и тут, и тут плох. Я ни базу с деревом за вечер не напишу, ни sqlite не умею заставить шустро конкурентно работать
если ты делаешь подход с разделением на базу из которой чтение и лог записи, то можно нормально работать конкурентно с sqlite. У него как раз фишка в том что чтения конкурентные он может
Евгений
Ну я не согласен, что это программистом средней руки за сутки пишется, тут нужен эмбедщик средней руки
Vladimir
Ну я не согласен, что это программистом средней руки за сутки пишется, тут нужен эмбедщик средней руки
да не, почти наверянка можно взять go, fasthttp и какую-нибудь либу для того же LSM и налабать не заморачиваясь
Vladimir
Не совсем понимаю. Про разделение. Чтение он может, да
добавлять новое в WAL и пока оно там - держать в памяти, периодически обновлять базу.
🏳️ Phil
Я кстати не знаю что такое LSM. Гугл мне показал про дерево, но это набор ничего не значащих для меня слов. + вечера два разбирать это :)))
Vladimir
Не уверен, что оно проживёт на pi zero
у меня нет pi zero :) есть правда rpi4 несколько штук
Sergei
Не уверен, что оно проживёт на pi zero
обычный камень, гигабайт рамы, какой эмбед?
Vladimir
Не уверен, что оно проживёт на pi zero
в зеро меня больше всего смущает что там как и в первом пи I/O очень такой себе и сеть висит на USB
Sergei
А. Всё. Понял. Ну вот видишь, начались сложности.
не начались. заимпортил либу и забыл про ембед.
Sergei
у зерохи 512
я про zero w говорил наверное
🏳️ Phil
Я кстати свою сраную выгрузку попробовал во всякие простые k/v пописать. Вобшем.. Всё плохо.
Vladimir
А. Всё. Понял. Ну вот видишь, начались сложности.
можно поступить как выше предлагали - взять lsm, готовую либу. Час чтоб в апи разобраться и готово.
Sergei
Я кстати свою сраную выгрузку попробовал во всякие простые k/v пописать. Вобшем.. Всё плохо.
я не пробовал, у меня нет опыта работы с настолько большими веб-проектами как clck.ru
🏳️ Phil
я не пробовал, у меня нет опыта работы с настолько большими веб-проектами как clck.ru
Ну изначально это была просито игрушка Бобука. Примерно как Go игрушка Пайка. Примерно в одно время гыгыгыгы
🏳️ Phil
Когда этим начал пользоваться сам яндекс, я поимел море администраивных проблем
Sergei
Ну изначально это была просито игрушка Бобука. Примерно как Go игрушка Пайка. Примерно в одно время гыгыгыгы
это ирония. тогда в дикое время все писали на пхп и майсиквеле. тогда стандартным хостингом был как раз шаред.
Tadeusz
🏳️ Phil
Апдейты кстати в clck.ru нужны. Возможно пометкой "заблокировано/удалено"
🏳️ Phil
это ирония. тогда в дикое время все писали на пхп и майсиквеле. тогда стандартным хостингом был как раз шаред.
Нет конечно. Уже тогда всё говорили, что шаред давно умер. Я как-то подпривык за это время :)))
Евгений
обычный камень, гигабайт рамы, какой эмбед?
Ну гигабайт рамы это для просторного го маловато
🏳️ Phil
у тебя какие задачи в твоей выгрузке?
Да я пытался её из xml на диск писать в kv, чтобы потом боту кормить. Это был провал
🏳️ Phil
Ну гигабайт рамы это для просторного го маловато
Блин. Ну нет же. Ну это же всё ненаучное териотезирование
Евгений
если брать rocksdb лучше взять cpp
Ну я бы на чистых сях писал