« Rev
@ru_devops   300
Fwd »


Aleksey
образы виртуалок в объектное хранилище
будто бы у тя все базы живут в одной виртуалке
Pavel
Проблема рассинхрона различных баз данных действительно сложна
Pavel
Ну желательно надо стараться сделать так чтобы рассинхрон данных не был критичен, например через event sourcing
Aleksey
там просто часто пишут типа каждый микросервис со своей базой данных
Aleksey
и это типа огонь
Nikolay Markov
товарищи, а кто-нибудь работал плотно с protobuf/msgpack? знаете разницу между ними?
Pavel
и это типа огонь
Огонь конечно, но я уверен что через пару лет такой подход раскритикуют и будут писать что он невероятно сложный и запутанный. Я уже читал утверждения что проект должен оставаться монолитом так долго насколько это возможно. Только потом от него надо начинать отпиливать кусски сервисов.
Pavel
Msgpack в корне различны
Pavel
Первое бинарнный джейсон
Aleksey
так все и говорят. монолит путь для 90% проектов. 10% оставшихся готовы решать проблемы микросервисов
Pavel
Второе - монстропротоокол ;)
Nikolay Markov
Первое бинарнный джейсон
погоди, бинарный json - это же как раз msgpack
Nikolay Markov
там schemaless формат, сериализовал - послал
Pavel
Ну да мессадж пак - бирырнй джейсон
Pavel
Плюс оптимизированная сериализация обычно
Pavel
Обрисуй задачу)
Pavel
Как по мне, единственная причина юзать оверинжиниреный протобаф - это gRPC
Pavel
Также рекомендую capnp
Pavel
Оч круто и оч быстро)
Vladimir
Также рекомендую capnp
А capnp он о чем?
Nikolay Markov
Я
мне надо примерно 50к в секунду бинарных сериализованных структур довольно четкого формата пересылать
Roman
Хотя, вру
Roman
Не cbor
Nikolay Markov
Если у тебя четкий формат - лучше какой-то protobuf или cbor
у меня сишные структуры хитрожопые довольно, но их же можно просто частично на блобы разложить?
Nikolay Markov
по сути, это сетевой траффик
Nikolay Markov
то есть структуры - это блоки дампов бинарных сетевых пакетов
Vladimir
@Enchantner протобуф от сериализатора сильно зависит. Есть гугловый, он работает, совместимый, но средненький. Например для го есть gogoprotobuf и он очень сильно интереснее
Nikolay Markov
мне надо для C++ и Scala
Vladimir
и для других языков тоже есть альтернативные реализации которые веселее
Vladimir
@pavel_odintsov кстати, ты для Го на этот самый gogo/protobuf смотрел же?
Pavel
Grpc я юзаю на го и плюсах
Pavel
сетевой трафик - это ко мне :)
Pavel
capnp тебе товарищ :)
Igor
читаю хабр, а там алексу чистякову респекты высказывают.
Igor
Он правда вездесущ.
Alexander 🐕
Because I care
Igor
patroni кажется прекрасной штукой
Igor
надо будет заюзать и попробовать собрать кластер постгресов
Rad
Здравствуйте, подскажите пожалуйста по поводу borgbackup #borg, я правильно понимаю что для бекапа данных с хоста X на хост Y у меня имеются два варианта: 1. На хосте Х установить Borg, создать пользователя , сгенерировать ключи, закинуть публичный на Y (где также необходимо создать пользователя) и далее уже на хосте Х borg init user@Y:/path/to/repo , и далее кроном переодически бекапить. 2. Не устанавливать borg на хост X , а с хоста Y монтировать через sshfs необходимые директории и бекапить уже как локальные Получается в первом случае мы должны полностью доверять хосту X , во втором случае сжатие будет происходить уже на хосте Y . Поправьте меня если я где-то не прав и возможно у кого нибудь имеются примеры или best practice, тоже не откажусь.
Nick
1 - можно ограничить возможность запуска до borg serve (в документации про это написано) 2 - сжатие всегда происходит на стороне клиента
Nick
и я поленился попробовать, но сдается мне что поверх sshfs будет медленно.
Sergei
Всем добрый день. Может кто-нибудь подскажет, есть ли у glusterfs авторизация клиентов?
Denis
Рад, мы рады тебя видеть здесь)
Nick
Всем добрый день. Может кто-нибудь подскажет, есть ли у glusterfs авторизация клиентов?
нет, начиная с 3.2, кажется, нету (а раньше вроде была). и глюстерфс - это очень, очень медленно. Если все данные фактически не рид онли, которые надо гарантированно раскидать по десятку ДЦ, то лучше им не пользоваться
Gregory
а чем пользоваться?
Nick
а чем пользоваться?
а для какой задачи?
Gregory
например в случае когда есть какой нибудь бложик на php и нужно как то реплицировать загружаемые пользователями аватарки и прочие картинки на несколько нод
Gregory
пишут их не часто, а читают постоянно
Dmitry
а чем пользоваться?
кто первый расскажет про ceph?
Nick
и если это бложик то файлов мало
Nick
а если файлов мало, то была какая-то штука на питоне, которая вешалась на инотифай и рсинкала при добавлении
Pavel
Rsync
Denis
Lsync
Nick
вот даже готовая статья - https://habrahabr.ru/post/132098/
Nick
с альтеративами в тексте
Nick
а вот если не бложик и файлов миллионы то всё куда интереснее
Dima
у lsyncd очень не хватает в базовой поставке нормального конфига, вот такого плана: https://github.com/axkibe/lsyncd/issues/376#issuecomment-218974606
Dima
а то там чтобы сделать conf.d - нужно изучить камасутру.
Vladimir
https://github.com/xaionaro/clsync
Vladimir
И они там у себя его где то используют
Vladimir
Но я не тыкал никогда
Dima
круто. они его не форкнули, а написали lsync but on c" due to "lsyncd" that written on "LUA"
Dima
thanks! я это изучу, как раз есть кейс.
Dima
как раз мой кейс. It really eats 100% CPU sometimes.
Nick
оно при любом случае будет есть проц
Nick
потому что в винде можно просто повесить инотифай на фс, а в линуксе - надо на каждый каталог
Nick
и когда каталогов много - приехали
Dima
хмм можно попробовать обходить через помещение многих каталогов в один каталог, на котором будет inotify. если гора не идет к магомету, то магомет идет к горе.
Nick
нет, так работать не будет )
« Rev
@ru_devops   300
Fwd »