G72K
Ну у него сотня баз и снимают бекапы абы как без распределенных транзакций
У кого-то не так? :) Ну если сервисов действительно десяток и больше
George
Если нет транзитивных зависимостей, то это не выглядит проблемой
D
@ru_gitlab ?
Спасибо
Combot
Dmitry K. (0) увеличил репутацию George Gaál (13.24) (+0.88)
George
А>Б>С>А можно разорвать введением нового сервиса Д
Евгений
А>Б>С>А можно разорвать введением нового сервиса Д
А, это называется циклическая зависимостт
George
А>Д А>Б>С>Д
Евгений
А транзитивная это просто А>Б>Ц
George
Ну, ок. Пускай будут циклы
G72K
Хорошо, я может тут XY проблемой в сложной форме страдаю. Давайте сначала. Есть 10 сервисов, все читают и пишут в кафку при взаимодействии с другими, но внутри у каждого какой-то накопленный стейт. Как забутстрапить новое окружение , которым хоть как то можно пользоваться . Бекапов прода восстановить туда нельзя.
George
Если бекап Б более всеобемлющ, чем А
George
🤷‍♂
G72K
Ну, запускаешь. Начинаешь лить данные как будто у тебя начало мира, точка 0
Оно в первой же точке налива истечет исключениями и взорвется
Navern
Можно делать внутри данных сервиса некие чекпоинты:) где все засинкано в какой то момент времени. И потом научиться выдирать мелкую часть данных консистетно и без пд
Alexander 🐕
По идее, тот самый 1% можно получить, вытащив все нужные зависимости, что тот еще гемор, конечно
Alexander 🐕
Типа, взяв и сдампив весь стейт, нужный для процессинга сообщения
G72K
А есть возможность деперсонифицировать сообщение прямо по приходу?
Не понял идею. Это сообщение оно откуда придет, от наливалки данных?
Alexander 🐕
Типа, для одного процента сообщений в бэкграунде деперсонифицировать стейт и складывать в какое-нибудь тихое место
G72K
Типа, для одного процента сообщений в бэкграунде деперсонифицировать стейт и складывать в какое-нибудь тихое место
Ну для эксперимента скажем что можно. Для обработки этого входящего сообщения нужна запись в сервисе пользователей. Откуда мы эту запись возьмём в новом окружении?
Pavel
Есть входящий поток, делай на основе него нагрузуу
Alexander 🐕
Или просто выдумаем айдишник, а потом уже ему что-то сопоставим
Евгений
Все так:))
Легче уж на таракана переползти и снимать бекап в транзакции :)
G72K
Вытащим из текущего, деперсонифицируем и отложим, потом зальем в тестовый?
Т.е. в момент откладывания входящего сообщения мы его анализируем и понимаем чего нам не хватает и идём в другой сервис чтобы отложить ещё и кусочек стейта из него? Выглядит как воссоздание World по крупицам, из которого все равно придется генерировать запросы для всех сервисов, с чего собственно обсуждение и началось
George
Обфусцировать бекап?
Не хотят, т.к. у каждого сервиса свой микро стейт
G72K
Есть входящий поток, делай на основе него нагрузуу
Я нагрузку то сделаю,только его обслужить никто не сможет из за исключений, так как стейт пустой , а стейт наполняется чтением из топиков зависимостей
Pavel
Ну я понел, нужно некое первичное состояние, чтоб юзер хоть авторизовался
rus
Не хотят, т.к. у каждого сервиса свой микро стейт
Понимаю, но мне видится это единственным нормальным варинтом, если честно.
G72K
У вас там полюбому же очередь есть? Кладите в 2, одна продовая, а другая для тестов
Это могу, но если я проиграю эту тестовую очередь в новом чистом окружении ничего кроме ошибок я не получу, так как помимо этой очереди сервис читает другие , чтобы накопить базу знаний (стейт) о мире
Pavel
Пеши генератор.. мы на одной из моих работ, писали ьак генератор юзерзаписей в главной бд, и на основе их танком наполняли всё остальное
rus
Вобщем варианты плохие и очень плохие. :)
Ага. Чем больше условий тем более всратые решения =)
Pavel
Полюбасу кодить придецца)
G72K
Пеши генератор.. мы на одной из моих работ, писали ьак генератор юзерзаписей в главной бд, и на основе их танком наполняли всё остальное
Воооот. Про то и речь . Писать генератор хочу, но не хочу прям уж на голом ЯП, может паттерн какой есть или фреймворк. Как то же люди делают скажем нагрузочное тестирование многих связанных сервисов разом
Pavel
Думаеца, все кастыляют. Но, на основе гореплея и стат модели, можно неплохо воспроизвести прод нагрузку. Предварительно наполнив базу фейками
Pavel
Хуйню спизднул, с гореплеем даже модель строить не надо
Pavel
Наполняешь базу, патчишь оеплеи данными из базы...
Pavel
Получаешь хуету
Pavel
Сложная штука на самом деле
Pavel
Без модели и генерить юзеров и запросы низя
G72K
А как твой генератор будет склеивать сложные стейты о которых говорили выше?
Ну идея с которой пришел в том, чтобы сначала придумать мир непротиворечивый мир World и написать функции World -> [RequestToSvc] для каждого сервиса. Затем проиграть эти запросы на все сервисы в тестовом окружении начиная с сервиса у которого нет зависимостей
G72K
Может легче тогда уж единую входную точку и сделать рест?
Забыл ответить на это выше. Не совсем понял, это как? :)
Евгений
Ну, чтобы можно было одним постом захреначить прям всё
G72K
Ну, чтобы можно было одним постом захреначить прям всё
Обернуть генератор запросов в сервис который ходит по сервисам и наполняет из дело техники :) как написать этот генератор - вот это проблема
Pavel
Замокать непойдет
Pavel
Нужен мир же
George
Нужна Вирт реальность
George
@aftertime
rus
Нужен мир же
Замокать мир
Pavel
Речь про другие тесты
Roman
https://twitter.com/fleming_matt/status/1225464515904577537?s=19
Виктор
Привет всем! Можете подсказать как реализовать webhooks go для автоматического скачивания последнего гита? мой hooks.json: [{ "id": "deployment", "execute-command": "/home/master/webhooks/deployment/deploy.sh", "command-working-directory": "/home/master/aqua/", "response-message": "Executing deploy script...", "trigger-rule": { "match": { "type": "payload-hash-sha1", "secret": "Kekos", "parameter": { "source": "header", "name": "X-Hub-Signature" } } } }] мой deploy.sh: #!/bin/bash git pull docker-compose down docker-compose up --build Не понимаю, почему github не отправляет webhook по адресу=( , хотя если я через браузер лезу, то хотябы ответ есть
George
Не отправляет или формат веб хука не соответствует?
Denis 災 nobody
кто сталкивался с http://www.bashbooster.net/
Евгений
Библиотека для баша. Что дальше? Фреймворк?
Denis 災 nobody
башсибл
Denis 災 nobody
башеф )
Denis 災 nobody
басолт.. болт..
Ivan
Библиотека для баша. Что дальше? Фреймворк?
https://github.com/Bash-it/bash-it https://github.com/nerdgeneration/www.sh