руками все стопятьсот сценариев чекаешь?

не устаешь?

блин вот давайте не падаьт в крайности

да я не впадаю) только мастер можно тестить, почему нет. просто посмотреть ветку с фичей, а потом посмотреть интеграцию на мастере лучше

помню мне однажды на очень хитрый вопрос, который я задаю на собесе ответили очень смешно)

мы можем деплоить со скоростью ручного тестирования)

да я не впадаю) только мастер можно тестить, почему нет. просто посмотреть ветку с фичей, а потом посмотреть интеграцию на мастере лучше

вот говоришь лучше ветку посмотреть. чем? бага находится раньше? ДА. В мастере ебаьтся с локализацией бага не нужно будет? ДА. Но по трудозатратам это проигрывает модели когда тестится только один раз потом мастер с этими фичами. Ибо дешевле потом поебаться с локализацией чем проверять все два раза. Ну опяьт же... это в теории. Мне тоже ваша модель нравиться больше. Но рук предлагает такую модель. И я не могу найти оправданий почему так не стоит делать кроме того что сам же выше и написал

вот говоришь лучше ветку посмотреть. чем? бага находится раньше? ДА. В мастере ебаьтся с локализацией бага не нужно будет? ДА. Но по трудозатратам это проигрывает модели когда тестится только один раз потом мастер с этими фичами. Ибо дешевле потом поебаться с локализацией чем проверять все два раза. Ну опяьт же... это в теории. Мне тоже ваша модель нравиться больше. Но рук предлагает такую модель. И я не могу найти оправданий почему так не стоит делать кроме того что сам же выше и написал

не надо проверять 2 раза ВСЕ

почему нет?

ветка смотрится досконально, мастер смотрится на местах возможных конфликтов

а как понять что в мастере ничего не сломалось?

после локализации и устранения добавляется еще одна регрессионка и забывается

ветка смотрится досконально, мастер смотрится на местах возможных конфликтов

воооо я так на предыдущей работе и работал

на стыке новой функциональности

если есть 10 кусков, добавился к одному куску подкусок, зачем смотреть остальные 9?

но в текущий момент спор за счет такой модели в том числе я не выиграл )

вот говоришь лучше ветку посмотреть. чем? бага находится раньше? ДА. В мастере ебаьтся с локализацией бага не нужно будет? ДА. Но по трудозатратам это проигрывает модели когда тестится только один раз потом мастер с этими фичами. Ибо дешевле потом поебаться с локализацией чем проверять все два раза. Ну опяьт же... это в теории. Мне тоже ваша модель нравиться больше. Но рук предлагает такую модель. И я не могу найти оправданий почему так не стоит делать кроме того что сам же выше и написал

В случае если нету автотестов то возможно он и прав

??? Такой вопрос: кто-то знает хорошие конторы, которые за деньги сделают penetration testing аудит? Крутые прямо ребята нужны ???

IBM рекомендую, особенно из UK бранча. Нас аудировали. Ребята топ. Рекомендую

с разработчиками всм"

ладно всем спасибо =)

Постойте ка, а разве тут разрешен мат?

Где мат?

Уже раза 3 видел

Николай, давайте формулировать без мата. Здесь разные люди собрались.

IBM рекомендую, особенно из UK бранча. Нас аудировали. Ребята топ. Рекомендую

спасибо

Пожалуйста, помогите с nginx-ом. Никаких материалов не могу найти.

https://www.nginx.com/blog/nginx-caching-guide/

Николай, давайте формулировать без мата. Здесь разные люди собрались.

хорошо. извините

Пожалуйста, помогите с nginx-ом. Никаких материалов не могу найти.

спрашивай

Мдааа, я все делал неправильно

Приложение полностью на https, так что squid отпадает.

nginx и varnish тоже отпадают, потому-то у меня нет доступа к приложению со стороны сервера.

например задача...пройти по 10 ссылкам посмотреть что баннер на месте и все ок. как реализовать на мобильники в двух браузерах. Стандартном + хром есть варианты без шнура? То есть как то удаленно... вжух... и у тебя открыты все нужные вкладки во всех нужных браузерах во всех нужных устройствах...?) ну ладно ладно...если вдруг нет. а со шнуром как оптимально? селениум подрубать? а прощще есть?)

nginx и varnish тоже отпадают, потому-то у меня нет доступа к приложению со стороны сервера.

если есть задача загрузить данные с сайта и "раздавать" их для остальных сессий – посмотри hoverfly

например задача...пройти по 10 ссылкам посмотреть что баннер на месте и все ок. как реализовать на мобильники в двух браузерах. Стандартном + хром есть варианты без шнура? То есть как то удаленно... вжух... и у тебя открыты все нужные вкладки во всех нужных браузерах во всех нужных устройствах...?) ну ладно ладно...если вдруг нет. а со шнуром как оптимально? селениум подрубать? а прощще есть?)

browserstack? :)

посмотрю спс. На всякий случай. Есть еще варианты?)

если есть задача загрузить данные с сайта и "раздавать" их для остальных сессий – посмотри hoverfly

Вы про это: https://github.com/SpectoLabs/hoverfly

Вы про это: https://github.com/SpectoLabs/hoverfly

ага

оно умеет собирать траффик с сервака, а потом перераздавать его

оно умеет собирать траффик с сервака, а потом перераздавать его

А с HTTPS как?

А с HTTPS как?

смотри, я сам в своих реальных проектах не юзал. но разницы между https и http тут не должно быть. оно ведь не сниффает траффик, оно траффик собрало – считай загрузило ответы от REST API и условную статику, а потом перераздает собранное :)

когда тестировал, тестировал не с https

Даже думал про shared cache между инстансами chrome.

когда тестировал, тестировал не с https

Хмм, надо попробовать

а зачем тебе вообще понадобилось кеширование?

а зачем тебе вообще понадобилось кеширование?

Много селениумов + хромов в докер контейнерах работают с разными аккаунтами на одном и том же веб-апп.

ну и хорошо, пусть грузят реальные данные, или там супертяжеляк?

Веп-апп довольно неповоротливый, только загрузка около 20 секунд, а с кешом хрома около 3-6 секунд.

Вот и подумал про кеширование.

не, ну так-то все правильно звучит, наверное полезным будет кеширование. но я не фанат, выше озвучивал почему – добавляется уровень, на котором может потеряться ошибка

Но веб-апп полностью на https

не, ну так-то все правильно звучит, наверное полезным будет кеширование. но я не фанат, выше озвучивал почему – добавляется уровень, на котором может потеряться ошибка

А если использовать shared cache между хромами? Или звучит как безумство?

А если использовать shared cache между хромами? Или звучит как безумство?

я никогда такое не использовал, если честно. пошарить кэш между всеми докерами? а это точно будет быстро и надежно?

я никогда такое не использовал, если честно. пошарить кэш между всеми докерами? а это точно будет быстро и надежно?

Вот думаю об этом.

ну можно попробовать, хуже точно не будет) просто ведь общий кэш означает общую сессию и общий локал сторейдж по идее, или я не прав?

ну можно попробовать, хуже точно не будет) просто ведь общий кэш означает общую сессию и общий локал сторейдж по идее, или я не прав?

Вот именно это хочу и узнать.

Кстати, спасибо за Hoverfly. Попробую.

я не очень люблю применять такие штуки в тестах, если честно, и стараюсь все сделать проще и в тупую, если так можно) просто с нагромождением сложных технических решений возрастает процент ошибки

даже простейший докер селениум иной раз добавляет непредвиденные ошибки с решениями из серии it's a magic

А если использовать shared cache между хромами? Или звучит как безумство?

это будет похоже на пользовательский сценарий? по мне так загрузка изначального приложения - не есть плохо. один раз загрузил, остальные тесты с этим же инстансом вебдрайвера прогоняешь, в рамках фактически SPA режима.

если это нужно для мобильных приложений, всегда опирайся на то, что в мобильных устройствах наверняка из памяти вкладки выгружаются. на iOS, андроиде, страницы отмирают, снова подкачивая js-бандлы. Смысла пытаться эмулировать уже загруженное приложение я не вижу только исходя из необходимости экономии времени, лучше придумать оркестрацию тестирования в параллели и скомпоновать по возможности сценарии в рамках одной роли аутентификации на предмет разных сценариев в одной сессии (одном инстансе вебдрайвера)

а зачем тесты с одним инстансом вебдрайвера гонять? мне кажется, это атомарности и изолированности не добавляет

а шаренный кеш - добавляет изолированности? :)

так я не топил за шаренный кэш)

ERROR: S client not available

не добавляет вообще ни разу

если пользователь в рамках своей сессии не закрывая страницу может делать операции - зайти в дашборд, потыкаться, сходить на публикацию чего-нибудь, засабмитить что-нибудь. То, в принципе, в рамках экономии выполнения тестов, это сделать можно

но это не исключает необходимость изолированных тестов

и опять же это вопрос того, как организованы будут тест-сьюты, обеспечивая наибольшую область покрытия

но имхо опять же - я б лучше нащупал, сколько агентов максимально можно загрузить тестами без возникновения ошибок при параллелизации, или придумать re-run логику в этом случае, и гонять медленные тесты по-честному

мне кажется, что если нужна скорость – лучше тесты попараллелить, чем выполнять все операции последовательно в рамках одной сессии. ведь есть шанс, что они друг другу помешают

Огромное спасибо за детальное обсуждение. Знаю что, лучше делать по правилам, стандартам и best practices. Проблема в том, что идентифицировал bottleneck в системе, и просто думаю/пробую разные варианты. Да, шаренный кеш не изящен.

Проблема именно в том, что именно загрузка самая долгая часть всего.

Да, есть requirement параллелизации.

Про изолированнось согласен на 100%.

Вот такая дилемма получается: производительность vs изолированность + чистота среды

Производительность едва ли панацея от вообще чего бы то ни было. в случае тестирования (на качество это не влияет, а делать ненужные вещи чаще с большей энергией - такое себе))) Т.е. фактически если у тебя ручное тестирование + автоматизированные не превышает выделяемого времени на тест фичи, то производительность (скорость) тестов - это, фактически, бесполезное улучшение. Потому что модели тестирования бывают разные: где-то коммит разработчика будет зареджектен автоматом при помощи CI потому что твои UI тесты упали. А где-то они не являются блокерами, но параллельно рассказывают о том, как дела с продуктом в его текущем состоянии.

Без понимания, для чего ты хочешь ускорять тесты - во что упереться - смысла упираться в это нет. Тесты гоняются на тестовых агентах, которые нужны другим тестировщикам? как часто разработчики коммитят код, который нужно по-каждому коммиту запускать набор тестов? _Нужно_ ли вообще запускать все тесты? может, подумать над запуском групп тестов в зависимости от тегов задачи в Jira?

Или такой вопрос: может ли уровень разработки предоставить тебе пофичный релиз, релиз 5-6-10 фич за сутки с деплоем на бой, чтобы каждая из фич изолированно проверялась? А если разработка осуществляется сбором какой-то релизовой ветки из нескольких фичевых - то полный регрессионный прогон имеет смысл запускать в: а) на машине тестировщика, когда он проверяет фичу и сам решает какую группу тестов запустить на своем железе б) на "общем" тестовом контуре на фичу в) на "общем" тестовом контуре на на ветку релиз-кандидата (если у тестировщиков "тонкие" клиенты) Когда от каждой конкретной фичи нужно быть зарилеженной "сегодня" или "через 2 часа" - с начала тестирования, а регрессия предполагает 15 браузеров и разные разрешения под адаптивную верстку - тогда, возможно, и правда стоит задуматься над тем, чтобы каждый тест выполнялся на 15-20% быстрее.

Приложение полностью на https, так что squid отпадает.

а вот и нет. там есть SSL Bump http://wiki.squid-cache.org/Features/SslPeekAndSplice

к слову, при "классической" настройке прокси меняет заголовки. имеет смысл также сделать приседание с фильтром пакетов и использовать уже transparent proxy

Привет, подскажите, пожалуйста, какой-нибудь канал для автоматизаторов? Или может у кого есть инфа по правильной настройке selenium grid + connection тестов. При browser.get(url) стало падать много TimeoutException, не могу побороть.

Привет, подскажите, пожалуйста, какой-нибудь канал для автоматизаторов? Или может у кого есть инфа по правильной настройке selenium grid + connection тестов. При browser.get(url) стало падать много TimeoutException, не могу побороть.

При работе в параллели производительность каждого вебдрайвера падает, после get попробуйте вызвать implicitly wait для загрузки первой страницы. Остальные манипуляции с сайтом я бы делал через поиск элементов с ожиданием.

Спасибо, попробую. Да, кстати, запуск действительно в параллельном режиме + docker selenium grid, пробовал разную конфигурацию, 1 нода - 1 инсанс, 1 нода - 3 инстанса, контролирую потребление cpu/mem и т.п., результат был одинаковый, только в однопоточном режиме отрабатывает нормально.

Спасибо, попробую. Да, кстати, запуск действительно в параллельном режиме + docker selenium grid, пробовал разную конфигурацию, 1 нода - 1 инсанс, 1 нода - 3 инстанса, контролирую потребление cpu/mem и т.п., результат был одинаковый, только в однопоточном режиме отрабатывает нормально.

а у меня вот летят паралелльные тесты в 4 потока в одном контейнере и норм все

но у меня все инстансы вебдрайвера в одном контейнере, а не в разных

изучите код запуска браузера, может у вас переменные глобальные или что-то типа того

python, фикстурой создаю коннект и выставляю нужные ожидания, далее driver прокидываю тесту, после отработки теста - коннект прибивается. driver = webdriver.Remote( command_executor=RemoteConnection(request.config.option.selenium_url, keep_alive=False, resolve_ip=False), desired_capabilities=request.param, ) driver.implicitly_wait(request.config.option.implicitly_wait) driver.set_page_load_timeout(request.config.option.page_timeout) Падает именно на первичном открытии url. в 10-20% случаев (если параллельный запуск) и в 0-5% если однопоточный

а какую ошибку пишет браузер?

то есть какой лог у докер-контейнера на момент падения теста?

TimeoutException: Message: timeout: cannot determine loading status При падении каждый тест снимает скришот, но в данном случае скрин не снимает, я так понимаю браузер просто не стартует.

ооо

было такое. и воспроизводится рандомно, верно?

не стабильно и не всегда

думал уже пробовать использовать https://github.com/bayandin/devtools-proxy чтобы понять что там происходит в контейнере, но может быть тут подскажут быстрее=)