Основная проблема в тестах на проде, что вы срете себе в базу, статистику и прочие вещи тестовыми сущностями.

не ну если это смоук етсты с локали, то никакая стата не портится

Если это тесты _на проде_ то стата в любом случае портится.

Или вы просто не собираете стату.

если это api ?

ну у нас в тикетс, есть тест которы стукает апишку на статус код и проверяется время ответа, чтоб не более определённого времени отвечала

Ну, тут есть два варианта, или вы не мониторите api и не собираете с него метрики, или вы гнете себе стату.

и если дольше, то алярм, все ночью просывпаются и мылятся)

если это апи между сервисами, то зачем там метрика?

Ну, тут есть два варианта, или вы не мониторите api и не собираете с него метрики, или вы гнете себе стату.

проверяли на проде всё. Для того, чтобы не портить статистику, разработчики где-то в свойствах таких покупок/клиентов добавляли "test" и статистика их не считала. так что это возможно

если это апи между сервисами, то зачем там метрика?

Потому что если у вас есть апи, то скорее всего оно несет в себе какую-то бизнес логику, а не просто так for fun добавлено.

проверяли на проде всё. Для того, чтобы не портить статистику, разработчики где-то в свойствах таких покупок/клиентов добавляли "test" и статистика их не считала. так что это возможно

тоже вариант, мы так заказы делаем, если они с опреденных email, то сразу отменяются

проверяли на проде всё. Для того, чтобы не портить статистику, разработчики где-то в свойствах таких покупок/клиентов добавляли "test" и статистика их не считала. так что это возможно

Довольно спорная, но частично работающая история.

А причём здесь мой кейс до твоего? Я тебе сказал пример "теста" апишки на проде у себя и всё

проверяли на проде всё. Для того, чтобы не портить статистику, разработчики где-то в свойствах таких покупок/клиентов добавляли "test" и статистика их не считала. так что это возможно

Это настраивается в adwords и в ya.metrika) добавляются диапазоны ip на исключение)

Тут вопрос в том, что проще поднять production-like инстанс, чем втыкать костылей и следить, что бы они везде корректно отрабатывали.

Потому что если у вас есть апи, то скорее всего оно несет в себе какую-то бизнес логику, а не просто так for fun добавлено.

оно несёт логику, и дапустим у тебя есть система отдающая кол-во людей у тебя зарегистрированных на сайте, один метод, эту апи у тебя дёргает сайт, зачем там метрика?

у тебя никогда не будет production-like инстанс на hiload проектах, ну или заплатишь столько денег что не оправданно дорого это будет

Тут вопрос в том, что проще поднять production-like инстанс, чем втыкать костылей и следить, что бы они везде корректно отрабатывали.

Не всегда проще

Не всегда проще

ok.

Это настраивается в adwords и в ya.metrika) добавляются диапазоны ip на исключение)

нууу или как то так) знаю только то, что статистика у нас не портилась

оно несёт логику, и дапустим у тебя есть система отдающая кол-во людей у тебя зарегистрированных на сайте, один метод, эту апи у тебя дёргает сайт, зачем там метрика?

Затем, что даже когда вы меняете цвет кнопки на лэндинге - нужно собирать метрики. Иначе вы не получаете фидбэк от ваших изменений и ковыряетесь в проекте вслепую.

Плюс иногда нужно проверить, что прод не умер

Плюс иногда нужно проверить, что прод не умер

Для этого есть мониторинг, а не тестеры.

Решать это тестированием - самый адовищный вариант, который только может быть. Хуже, наверное, только не проверять вообще.

Мониторинг может показать, что есть проблемы

докер-контейнеры нормально запускают винду? или шаманить надо?

Зачем?

А мы гоняли, но затем подчищали. Прична - работа приложения могла зависеть от данных на нем. Тут, конечно, что-то с архитектурой, но кровавый энтерпрайз и пятая команда, которая пилила это, дают свое.

Мониторинг может показать, что есть проблемы

Как и тесты, да.

А мы гоняли, но затем подчищали. Прична - работа приложения могла зависеть от данных на нем. Тут, конечно, что-то с архитектурой, но кровавый энтерпрайз и пятая команда, которая пилила это, дают свое.

Ну, значит вам нужен нормальный дамп тестовых данных для test env.

А не гонять на проде.

Затем, что даже когда вы меняете цвет кнопки на лэндинге - нужно собирать метрики. Иначе вы не получаете фидбэк от ваших изменений и ковыряетесь в проекте вслепую.

ты скажи зачем метрика сервису который отдаёт другим сервисам данные, и эти сервисы не смотрят наружу, пользователи не могут их дёрнуть

ты скажи зачем метрика сервису который отдаёт другим сервисам данные, и эти сервисы не смотрят наружу, пользователи не могут их дёрнуть

Пользователь так или иначе их дергает, только через внешние сервисы. Метрики там нужны для мониторинга того, как это работает. Производительность, количество обращений, скорость ответов, откуда как стучатся.

Потому что если у вас в сервисе есть код, который не собирает метрики - вы не контролируете работу этого кода.

ну и как тебе помешает тест? у тебя в день сервис дёргуют 100к раз, и ты думаешь что метрика испортиться от 10 тестов ?

если так, то у тебя проблемы с метрикой

Ну, значит вам нужен нормальный дамп тестовых данных для test env.

Там все плохо было. Я не бдшник, могу ошибаться, но причина была в 100 Тб данных.

Там все плохо было. Я не бдшник, могу ошибаться, но причина была в 100 Тб данных.

Я почти уверен, что там не 100тб уникальных комбинаторных данных.

докер-контейнеры нормально запускают винду? или шаманить надо?

докер-контейнеры никак не запускают винду

докер-контейнеры нормально запускают винду? или шаманить надо?

Винду в контейнере? Или ты имеешь ввиду контейнеры из под винды?

нет, винду в контейнере

обратно - я знаю, можно

нет, винду в контейнере нельзя запустить. это ж контейнер, а не виртуалка

ясно, спасибо

нет, винду в контейнере

https://docs.microsoft.com/en-us/virtualization/windowscontainers/quick-start/quick-start-windows-server

но это не полноценная windows

ну я-то нагуглил)

мне нужен не гуй, а ядро винды, точнее её cmd

вот, мне кажется подойти может, но я решил тут спросить...

нет, винду в контейнере

а зачем?

надо запустить ядро винды, запустить 1 батник (не мною сделанный) и получить ответ сейчас это крутится на отдельной машине, мне показалось, что для запуска 1 раз в сутки 1 скрипта из под определенной винды - слишком накладно иметь отдельную виртуалку

информации что делает bat-ник у меня нет и его переделывать я не могу, вот такие условия

информации что делает bat-ник у меня нет и его переделывать я не могу, вот такие условия

я думаю надо было начать с этого

(:

мне нужен не гуй, а ядро винды, точнее её cmd

так ядро или cmd?

информации что делает bat-ник у меня нет и его переделывать я не могу, вот такие условия

wine ?

но это не полноценная windows

+ нужен win server

хостовая ОС какая?

мне кажется что переписать скрипт легче чем всё это поднять )

так ядро или cmd?

мне нужно запустить батник я не силен в архитектуре OS, поэтому ассоциирую запуск ядра и запуск команд связанных с ядром винды - с cmd

мне кажется что переписать скрипт легче чем всё это поднять )

да, я так же подумал, но ищу альтернативные варианты, чтобы представить 2 пути улучшения ситуации

@nzakr так какая хостовая ОС,

nix?

ubuntu

ERROR: S client not available

или debian, не важно, я думаю

есть обе

тогда виртуалка.

вайн может не прокатить

ну вообще да. виртуалочка мелкая.

причем можешь ее ad hoc поднимать/гасить

ок, спасибо за советы

ок, спасибо за советы

Посмотреть что батник делает вообще без шансов?

пока не имею к нему доступа

сейчас этап "планирования"

думаю, что всё можно запилить баш скриптом, а крутится на винде, потому что делалось N лет назад

Верно мыслишь

лучше переписать, конечно )

Всем привет :)

Привет, Александр. Это тема для флудилки. И, да. Это была реклама.

показалось забавным, решил поделиться

я не заинтересованное лицо)

Всем привет :)

Привет. В шапке есть список каналов

так что, ни у кого не появлялось востребованности снимать скрины браузера при падении теста (используя junit)? С RunListener еще попробую, но чую, что там тоже будет проблема с тем, что выполнится после метода с аннотацией After

Обмажутся бесполезными аллюрами так что потом код трогать страшно

кстати да, смотрел сегодня доклады про этот алюр, собственно а нафиг он нужен, почему нельзя просто вывести нормальный текст ошибки?

может я не врубился, растолкуйте

чтоб заказчику дороже продавать красивые картинки :)

кстати да, смотрел сегодня доклады про этот алюр, собственно а нафиг он нужен, почему нельзя просто вывести нормальный текст ошибки?

например если тестов ранится много

и как он помогает?

там как-то можно прикрутить штуку что бы смотреть какие сейчас выполняются а какие-то уже выполнились.

например если тестов ранится много

какая разница сколько их ранится? любой CI умеет в отчет

и как он помогает?

все структурировано, можно быстро визуально понять сколько упало и при необходимости посмотреть конкретную ошибку и скрин

анализ ускоряет одним словом

какая разница сколько их ранится? любой CI умеет в отчет

имелось ввиду если ошибка не одна а тонны)

так любой CI умеет тебе показать конкретные ошибки и скрины