George
ну?
George
проэмулируй внешний мир
George
делов-то
Pavel
Бекапа чего? Прода? Кто его анонимизировать будет
Мы анонимизируем, раскатываем, анонимизируем, открываем разрабам
G72K
А как можно неконсиститентно дергать апи?
Очень легко. Генерим тестовые запросы для одного, генерим для другого , ничего не сходится - разные валюты и разные даты :) надо описать мир, потом отобразить мир в каждый сервис
Евгений
Не надо заводить данные в тестинг с помощью интернал апи, юзай экстернал апи
Pavel
Опятьжы, можно всегда написать близкий к реальности генератор нагрузки. Регистрация, выставление ордеров, сработка алертов, это вот всё. Если нада.
G72K
Не надо заводить данные в тестинг с помощью интернал апи, юзай экстернал апи
1. Не все сервисы попаду сразу в новое окружение, но у сервисов есть апи (входящие очереди), туда можно положить что-то сэмулировав непопавшие сервисы . Внешний или не внешний, эмулируем входы на границах нового окружения. 2. Входов этих много, на них надо подавать консистентные (согласованные) данные и ещё правильно выбрать порядок кого первого кормить. Так вот вопрос, чтоб не писать это все с нуля может есть уже готовые штуки :)
George
нет
Pavel
Ну и да, я сетаки щытаю, что сервис должен быть сам по себе самодостаточен. Есть входные данные, выходные, а всё вовне для тебя не существует. Подавай поток и работай с ним
Евгений
1. Старайся не завязываться на готовый X, если у тебя тестовый Y, а X от него зависит. Всегда иди по цепочке зависимостей 2. Не очень понятно, есть ли готовый клиент для твоего приложения? Нет, нету
Pavel
Тебе както пох, что там и как торгуется, ты просто хватаешь запросы на сработку ордеров
Pavel
( если это сервис алертов )
George
есть проблема
G72K
Мы анонимизируем, раскатываем, анонимизируем, открываем разрабам
Прям много сервисов сразу с нуля бутстрапить такими данные умеете?
George
предположим. что в ордере есть клиент ХХХ и он указан как айди во внешнем сервисе
George
а потом данные клиента поменялись - что должно быть при просмотре старого ордера ?
George
или запекать все данные в структуру ордера, которые там могут быть нужны
Pavel
Ну у нас хоть и компонентов овер дохуя, связность между ними слабая
G72K
1. Старайся не завязываться на готовый X, если у тебя тестовый Y, а X от него зависит. Всегда иди по цепочке зависимостей 2. Не очень понятно, есть ли готовый клиент для твоего приложения? Нет, нету
1. У меня не тестовый Y, у меня тестовый X Y Z :) они там друг от друга как то нециклично зависят,но так же зависят от A B C , которые в первую версию тестового окружения не попадут
Евгений
Твои проблемы от того что ты хочешь на две колёсные пары повесить несколько движков :)
G72K
1. Старайся не завязываться на готовый X, если у тебя тестовый Y, а X от него зависит. Всегда иди по цепочке зависимостей 2. Не очень понятно, есть ли готовый клиент для твоего приложения? Нет, нету
2. Понятно что клиента нет. Вопрос в том как формализовать генерацию входящих запросов, которые наполнят эти сервисы непротиворечивыми данными. Вот пример с валютами и переводами. Как это сделать без человеческого фактора,типа "давайте договоримся что данные должны быть за период 2019 года, список валют A,B,C" в тикете
Евгений
Эм, ну ты заранее придумываешь чем заполнять тестовый контур, может немного крутилок даёшь
Combot
Alexwowrastalion420 Meza has been banned! Reason: CAS ban.
Евгений
Тут без человеков никак
Pavel
+
Евгений
Без человеков это уже фаззинг называется :)))
G72K
Ну тестовый контур надо строить от глубоких зависимостей
Ну давай конкретно. Рекомендуешь начинать depth first . Заносим в новое окружение сервис курсов валют, у него нет зависимостей . Все ок. Наполняем его тестовыми данными. Следующим заносим сервис денежных переводов, надо для него негенерировать данных. Решаем не лезть в базу руками, а дергать АПИ, что б как в жизни. Откуда генерилке запросов знать на какие даты и какие валюты их делать? Можно прочитать в тикете и накодить как там сказано. И наделать ошибок . А можно нагенерить сначала запросы на переводы (но не отправлять их), затем из них выдрать даты и валюты, по этим данным наполнить сервис курсов и уже только затем дергать сервис переводов запросами которые мы нагенерировали заранее. Тогда по завершению процесса данные в двух сервисах будут гарантированно согласованными. Вот эту хореографию писать голыми руками не хочется, хочу инструменты облегчающие жизнь
G72K
По этому я и говорю с самого начала, хочется как то намоделить внешний мир, и потом его отобразить в конкретные запросы к разным сервисам. Когда мы проиграем эти запросы в правильном порядке, весь мир окажется внутри сервисов красиво уложенным , без дыр
Евгений
Не очень понимаю, как ты хочешь моделировать внешний мир, что ты имеешь в виду? Тебе не внешний мир надо моделировать, а прям запросы, в правильном порядке
Pavel
Если входной поток данных стандартизирован, то запатчил бы гореплей, на подмену пд
D
Господа, а вот если у меня есть .gitlab-ci.yml с пачкой инклудов и анкорами, мне можно как-то где-то посмотреть итоговый результат после всех манипуляций?
Pavel
Но это блжд сложна выглядит
Pavel
Ансиболь?
А он тут при чем?
George
Ну, гореплей ансиболи
Pavel
Гореплей это другое
Дурак из фильма
ну я взял на себя смелость и заменил US на EN, чтоб не смущать людей
Я просто подумал, что это не дескрипшн там. А типа обозначение филиалов чатика, рушный и англобазарящий.
G72K
Не очень понимаю, как ты хочешь моделировать внешний мир, что ты имеешь в виду? Тебе не внешний мир надо моделировать, а прям запросы, в правильном порядке
Да, нужны запросы, но запросы к разным сервисам можно сделать консистентными функцией World -> ([ReqSvc1], [ReqSvc2])
G72K
Гореплей с фиксами?)
Если есть все запросы с последнего обновления стейта любого из сервисов, все версии всех сервисов, то да , можно :)
Евгений
Pavel
Расскажи
https://github.com/buger/goreplay
G72K
Нельзя, потому что важен порядок
Скажем svc2 зависит от svc1, то вроде можно, почему нет?
Евгений
А World -> (A, World), это обычная стейт-монада, то есть набор операций
G72K
Ворлд вообще линейный тип, а ты предлагаешь его забыть, так не бывает
Я пока не знаю,что такое линейный тип,но послушал бы почему сервисы наполнить как я хочу нельзя
George
Горе-плей
G72K
Ну давай конкретно. Рекомендуешь начинать depth first . Заносим в новое окружение сервис курсов валют, у него нет зависимостей . Все ок. Наполняем его тестовыми данными. Следующим заносим сервис денежных переводов, надо для него негенерировать данных. Решаем не лезть в базу руками, а дергать АПИ, что б как в жизни. Откуда генерилке запросов знать на какие даты и какие валюты их делать? Можно прочитать в тикете и накодить как там сказано. И наделать ошибок . А можно нагенерить сначала запросы на переводы (но не отправлять их), затем из них выдрать даты и валюты, по этим данным наполнить сервис курсов и уже только затем дергать сервис переводов запросами которые мы нагенерировали заранее. Тогда по завершению процесса данные в двух сервисах будут гарантированно согласованными. Вот эту хореографию писать голыми руками не хочется, хочу инструменты облегчающие жизнь
@demeliorator , есть соображения? Ищу наркоманов
Евгений
Я пока не знаю,что такое линейный тип,но послушал бы почему сервисы наполнить как я хочу нельзя
Ну потому что в самом описании мира нет информации о том в каком порядке заполнять твои апи и, тем более, как именно
G72K
Если входной поток данных стандартизирован, то запатчил бы гореплей, на подмену пд
Можно , но в реальности поток можно взять только на сейчас, а значит надо как-то воссоздать стейт на момент ДО сейчас
Евгений
Но вообще если у тебя Ъ-рест, то можно всё одним запросом херануть :)
Alexander 🐕
@demeliorator , есть соображения? Ищу наркоманов
А почему нельзя взять реальные данные и тестировать на них?
Alexander 🐕
То есть, можно и тестовые нагенерировать, конечно же, но это выглядит сложнее
Евгений
G72K
Если входной поток данных стандартизирован, то запатчил бы гореплей, на подмену пд
Можно конечно лить, пока ошибки до минимума не сойдут,типа все потихонечку не сложится красиво. Это как паппет несколько раз запускать, пока он до конца не дойдет :)
Alexander 🐕
Он не может снять консистентный бекап
Так и не нужен консистентный-то?
Alexander 🐕
Можно взять данные "до вчера"
Alexander 🐕
Я их в жизни не очищу.
Так не нужно очищать их все, достаточно 1%
Alexander 🐕
Или 0.1%, whatever
Евгений
Так и не нужен консистентный-то?
А он вот хочет консистентности
G72K
Ну потому что в самом описании мира нет информации о том в каком порядке заполнять твои апи и, тем более, как именно
Я согласен захардкодить зависимости сервисов, ОК . т.е. получу ([ReqSvc1], [ReqSvc2], .... ) и буду знать в каком порядке их проигрывать просто потому что я знаю как, без формальностей :)
Alexander 🐕
А он вот хочет консистентности
Ну, данные "за вчера" вполне могут быть консистентыми, кажется Хотя, я не знаю, зависит от
G72K
Так не нужно очищать их все, достаточно 1%
Как выбрать 1% в стейте каждого сервиса,чтобы в конце осталась 99% сходимость ? :)
Евгений
Ну, данные "за вчера" вполне могут быть консистентыми, кажется Хотя, я не знаю, зависит от
Ну у него сотня баз и снимают бекапы абы как без распределенных транзакций