Alexandr
Поделитесь может быть у кого то совсем нет ручного тестирования, мне интересно на каких технологиях и какого рода продукты разрабатываете
============ FALCON ============
Мне квжется оно везде есть
Alexandr
============ FALCON ============
Теоретически при применении tdd можно сильно сократить ручное тестирование
============ FALCON ============
Или же вообще удалить
============ FALCON ============
Но я может фантазирую в какой то степени)
Dmitry
можно раскатывать на лояльную аудитории и это считать ручным приемочным тестированием, таким образом жить без ручных тестировщиков
Alexandr
Ну в теории я тоже много чего могу рассказать, мне интересен реальный опыт
Pavel
Реального опыта с совсем убрать ручное тестирование я не встречал :)
Alexandr
Вот и я тоже, но вдруг оно есть, и наверное есть, интересно в каких масштабах применимо
Стас Щетинников
Реального опыта с совсем убрать ручное тестирование я не встречал :)
я убирал совсем ручное тестирование - именно ручных тестировщиков. Сама проверка работоспособности сервиса никуда не исчезала, конечно же. Регресс - автоматом, бизнес тестирование - ПО, за качество отвечает команда инженеров (разработчиков), среди которых никаких QA не было (и на самом деле не надо).
Pavel
Тестировщиков - да, такое возможно и реально.
Pavel
Ручное тестирование - увы )
Стас Щетинников
Вообще, ручные тестировщики, да и автоматизаторы тестирования - не нужны, а скорее обычно даже вредны в 90% случаев.
Pavel
Стас, не согласен. Ручных тестировщиков надо переучивать. Автоматизаторы, по сути, это уже разработчики :)
Стас Щетинников
Ручное тестирование - увы )
Ну нефункциональное тестирование не автоматизировать. Проверять, что пользовательский путь "нормальный" все равно руками. Функциональные требования в большинстве случаев запихиваются в UI и API тесты (если мы про веб/мобильные приложения).
============ FALCON ============
Чем компенсировали отсутствие ручного тестирования?
============ FALCON ============
Хотя кажется вы уже ответили
Стас Щетинников
Стас, не согласен. Ручных тестировщиков надо переучивать. Автоматизаторы, по сути, это уже разработчики :)
Не-не-не. Когда есть ручные тестировщики и стадия(!) тестирования, она развращает разработку - и ребята пусть и неосознанно стараются довести задачу до "отправлено в тестирование", а не до сделано. Да и когда находится ошибка в проде - стандартная проблема "не досмотрело тестирование, или поселило баг разработка". Вообще, я про вредность отдельной стадии тестирования и тестировщиков всех видов могу долго говорить ;)
============ FALCON ============
Другой вопрос, что именно пришлось компенсировать и каков был путь до приемлемого результата
============ FALCON ============
А сопротивление разработчиков было?
============ FALCON ============
👍
Pavel
Pavel
но вот выделение разработчика, который будет в первую очередь отвечать за acceptance test automation, например - очень ок.
Стас Щетинников
Pavel
Ручные тестировщики могут писать кейсы не скриптами, а языком.
Pavel
Но их лучше обучать таки писать скриптами :)
Стас Щетинников
Стас Щетинников
Андрей
Андрей
Стас Щетинников
Я когда-то по поводу тестирования писал:
1) Мне кажется, что единственный устойчивый вариант с автоматизацией тестирования - это когда автоматизацией тестирования занимается разработка. Т.е. 100% разработки пишет автотесты (интеграционные, функциональные).
Если этим занимается отдельный отдел автоматизации тестирования или выделенный какой-то человек, то получается плохо, эти тесты живут отдельно от разработки, новые фичи покрываются тестами только спустя какое-то время и написаны тесты плохо. Потому что хороший автотестировщик - это крайне редкий зверь.
2) Мне кажется, что не все можно покрыть автотестами, поэтому ручное "тестирование" все-равно должно быть.
Существует много вещей, которые покрыть автотестами невозможно или тяжело - всякие нефункциональные требования - налазит кнопочка на другую или нет, правильно ли отрисовываются стили, удобно будет новой фичей пользоваться или нет, вписывается ли новая кнопка в общий дизайн и в гайдлайн, а вообще эта фича решает задачу бизнеса?
Но все эти вещи может проверить ПО, который заказывал фичу, точнее ДОЛЖЕН вручную проверить, что будет уходить в продакшн.
3) Мне кажется, что ручное тестирование в идеале должно быть бизнес-тестированием, а не проверкой, есть ли 500ки, открывается ли вообще страничка и т.д.
В ручное бизнес-тестирование фича должна приходить в рабочем состоянии. Если сервис пятисотит, странички не открываются из-за багов в js-коде и т.д., то разработчик официально объявляется мудаком, получает минуса в карму и с ним лично проводится разъяснительная работа о том, как так получилось, что он собственный код ни разу не запустил и считает ли он это нормальным.
4) Мне кажется, ручное тестирование должно тестировать фичи, а не релизы.
Автотесты, которые пишет разработчик сильно уменьшают возвраты с тестирования + если регресс у нас покрыт автотестами, то ручное тестирование фичи, которое на самом деле должно быть "бизнес-тестированием" занимает в среднем порядка 10% от времени разработки этой фичи.
Кроме того, фича - то что можно спрограммировать, проверить и выложить - должна быть маленькая. Если фичи - большие, то вероятность там найти ошибки - большая, количество возвратов сильно больше, лишнего тестирования той же самой функциональности тоже сильно больше.
5) Мне кажется, что ручное тестирование имеет смысл для сложной интеграции и легаси
Например, тестирование интеграции в телефонии.
Андрей
Пункт 5 в идеале сводится к 3 (мы же делаем интеграцию для решения задач бизнеса), а вообще - очень нравится текст
============ FALCON ============
Я когда-то по поводу тестирования писал:
1) Мне кажется, что единственный устойчивый вариант с автоматизацией тестирования - это когда автоматизацией тестирования занимается разработка. Т.е. 100% разработки пишет автотесты (интеграционные, функциональные).
Если этим занимается отдельный отдел автоматизации тестирования или выделенный какой-то человек, то получается плохо, эти тесты живут отдельно от разработки, новые фичи покрываются тестами только спустя какое-то время и написаны тесты плохо. Потому что хороший автотестировщик - это крайне редкий зверь.
2) Мне кажется, что не все можно покрыть автотестами, поэтому ручное "тестирование" все-равно должно быть.
Существует много вещей, которые покрыть автотестами невозможно или тяжело - всякие нефункциональные требования - налазит кнопочка на другую или нет, правильно ли отрисовываются стили, удобно будет новой фичей пользоваться или нет, вписывается ли новая кнопка в общий дизайн и в гайдлайн, а вообще эта фича решает задачу бизнеса?
Но все эти вещи может проверить ПО, который заказывал фичу, точнее ДОЛЖЕН вручную проверить, что будет уходить в продакшн.
3) Мне кажется, что ручное тестирование в идеале должно быть бизнес-тестированием, а не проверкой, есть ли 500ки, открывается ли вообще страничка и т.д.
В ручное бизнес-тестирование фича должна приходить в рабочем состоянии. Если сервис пятисотит, странички не открываются из-за багов в js-коде и т.д., то разработчик официально объявляется мудаком, получает минуса в карму и с ним лично проводится разъяснительная работа о том, как так получилось, что он собственный код ни разу не запустил и считает ли он это нормальным.
4) Мне кажется, ручное тестирование должно тестировать фичи, а не релизы.
Автотесты, которые пишет разработчик сильно уменьшают возвраты с тестирования + если регресс у нас покрыт автотестами, то ручное тестирование фичи, которое на самом деле должно быть "бизнес-тестированием" занимает в среднем порядка 10% от времени разработки этой фичи.
Кроме того, фича - то что можно спрограммировать, проверить и выложить - должна быть маленькая. Если фичи - большие, то вероятность там найти ошибки - большая, количество возвратов сильно больше, лишнего тестирования той же самой функциональности тоже сильно больше.
5) Мне кажется, что ручное тестирование имеет смысл для сложной интеграции и легаси
Например, тестирование интеграции в телефонии.
Тоже нравится
Artem
Коллеги, где будет чат, если телеграмм закроют? Или все через впн/прокси продолжат?
Свят
А чего делать, когда разраб тянет и пилит свою ветку фанка легаси, а возможности влить самому нет, ждёт отдел, который ревьюит и мерджит. Но те работают с лагом в пару недель, а разрабов таких штук 40 и то, что работало сегодня, будет конфликтовать завтра, а через 2 недели вовсе будет 💩, а легаси огромный монолит.
Вопрос с надеждой на волшебную пилюлю, но скорее просто боль :(
Alexandr
Тоже по большей части согласен, единственно очень поменял взгляд на тестировщиков и их ценность после прочтения книги Гибкое тестирование
Андрей
Vitalii
Vitalii
Vitalii
Ещё не видел разработчика, который бы не накосячил. При этом неважно есть тестировщики в команде или нет - все разработчики косячили !
Denis
Я когда-то по поводу тестирования писал:
1) Мне кажется, что единственный устойчивый вариант с автоматизацией тестирования - это когда автоматизацией тестирования занимается разработка. Т.е. 100% разработки пишет автотесты (интеграционные, функциональные).
Если этим занимается отдельный отдел автоматизации тестирования или выделенный какой-то человек, то получается плохо, эти тесты живут отдельно от разработки, новые фичи покрываются тестами только спустя какое-то время и написаны тесты плохо. Потому что хороший автотестировщик - это крайне редкий зверь.
2) Мне кажется, что не все можно покрыть автотестами, поэтому ручное "тестирование" все-равно должно быть.
Существует много вещей, которые покрыть автотестами невозможно или тяжело - всякие нефункциональные требования - налазит кнопочка на другую или нет, правильно ли отрисовываются стили, удобно будет новой фичей пользоваться или нет, вписывается ли новая кнопка в общий дизайн и в гайдлайн, а вообще эта фича решает задачу бизнеса?
Но все эти вещи может проверить ПО, который заказывал фичу, точнее ДОЛЖЕН вручную проверить, что будет уходить в продакшн.
3) Мне кажется, что ручное тестирование в идеале должно быть бизнес-тестированием, а не проверкой, есть ли 500ки, открывается ли вообще страничка и т.д.
В ручное бизнес-тестирование фича должна приходить в рабочем состоянии. Если сервис пятисотит, странички не открываются из-за багов в js-коде и т.д., то разработчик официально объявляется мудаком, получает минуса в карму и с ним лично проводится разъяснительная работа о том, как так получилось, что он собственный код ни разу не запустил и считает ли он это нормальным.
4) Мне кажется, ручное тестирование должно тестировать фичи, а не релизы.
Автотесты, которые пишет разработчик сильно уменьшают возвраты с тестирования + если регресс у нас покрыт автотестами, то ручное тестирование фичи, которое на самом деле должно быть "бизнес-тестированием" занимает в среднем порядка 10% от времени разработки этой фичи.
Кроме того, фича - то что можно спрограммировать, проверить и выложить - должна быть маленькая. Если фичи - большие, то вероятность там найти ошибки - большая, количество возвратов сильно больше, лишнего тестирования той же самой функциональности тоже сильно больше.
5) Мне кажется, что ручное тестирование имеет смысл для сложной интеграции и легаси
Например, тестирование интеграции в телефонии.
Стас, согласен на 100% со всем, что написано. Тестировщики, в общем-то, не нужны. Нужно бизнес-тестирование, и это обязанность PO. Внутренне качество должно быть на совести разработчиков и точка.
Vitalii
А если они это качество не обеспечивают ?
Николай
#whois
Привет!
Меня зовут Николай Заостровцев. В ИТ более 20 лет, 14 лет был CIO.
Сменил направление на разработку продуктов.
Сейчас работаю в стартапе внутри инкубатора Kaspersky Lab.
Совмещаю ряд ролей, включая PO и SM.
Сам работаю в Москве, команда распределенная.
Чат нашел по рекомендации.
Интересен опыт других, готов делиться своим.
PSMI, ICP, ICP-ATF
============ FALCON ============
============ FALCON ============
В больших аутсорс компаниях заводят целые отделы qa и аатоматизаторов
Dmitry
Поднаброшу про тестирование. Когда разрабы не пишут авто тесты на свой код, мотивируя это тем, что нужно быстро сделать, этим самым в большинстве случаев они выйдут с релизом позже, все это будет из-за большого кол-ва дефектов, которые найдет QA. Тоесть кажется, что мы "экономим время", но на деле мы его теряем. Если вообще посмотреть на адептов TDD, именно из известных людей, кто за него топит, это люди с большим опытом разработки, которые уже поняли на собственном опыте, что инвестиция в юнит тесты окупается очень быстро. Особенно в век agile'изма. И разработчик, который не хочет их писать, не может считаться профессионалом. Большая проблема в индустрии разработки это не зрелость. Есть пирамида тестирования. Если делаешь по ней, твой продукт гибок, мало дефектов, ты стабилен как волк. Но люди обращают внимание только на приемочные автотесты почему-то. Нанимают автотестера, он пишет большое количество хрупких приемочных автотестов и на этом история заканчивается. Их тяжело писать, поддерживать, итд. И вообще такой подход называется ice cream cone антипаттерн. Абсолютное большинство компаний сейчас юзает этот паттерн, вместо того чтобы развивать своих разрабов в юнит тестировании, что во первых даёт более гибкую архитектуру, более тестируемую итд. В общем одни плюсы. Последние пару лет есть сдвиг в эту сторону, но прозрение индустрии пока не вижу.
============ FALCON ============
Но я с вами согласен что качество на совести разраба, с другой стороны процесс должен быть так поставлен чтобы все вопросы решались
Стас Щетинников
Сложно) для многих нанять тестировщика проще будет думаю))
так тестировщики никак не решают проблему качества, они просто не позволяют плохому продукту вылиться в прод, а процент брака остается такой же. за счет тестирования снижается количество багов на проде, но увеличивается time to market сильно.
============ FALCON ============
Так и есть
============ FALCON ============
Я вообще имею в виду что это сдвиг в сознании, а это нелегко дается
============ FALCON ============
Вы говорите о качественном скачке, а тут люди не хотят на командное владение кодом переходить.
============ FALCON ============
Не говоря уже о тдд)
Vitalii
Vitalii
А многим ли вообще охота тестировать ? Мне кажется, что разработчикам интересно кодить, а не тестировать. Ну а насчёт продакта - бизнес есть бизнес. Подавляющее большинство вообще вникать не хочет в тестирование. Они выполняют банальные проверки и все. Чтобы выполнить качественное тестирование, это же нужно быть аналитиком отчасти.
Vitalii
А если идёт несколько проектов и продакту надо бэклог по всем постоянно модифицировать, придумывать что-то новое да ещё и все проекты плотно тестить... никакого времени не хватит. Понятно когда один продукт
Daria
Я когда-то по поводу тестирования писал:
1) Мне кажется, что единственный устойчивый вариант с автоматизацией тестирования - это когда автоматизацией тестирования занимается разработка. Т.е. 100% разработки пишет автотесты (интеграционные, функциональные).
Если этим занимается отдельный отдел автоматизации тестирования или выделенный какой-то человек, то получается плохо, эти тесты живут отдельно от разработки, новые фичи покрываются тестами только спустя какое-то время и написаны тесты плохо. Потому что хороший автотестировщик - это крайне редкий зверь.
2) Мне кажется, что не все можно покрыть автотестами, поэтому ручное "тестирование" все-равно должно быть.
Существует много вещей, которые покрыть автотестами невозможно или тяжело - всякие нефункциональные требования - налазит кнопочка на другую или нет, правильно ли отрисовываются стили, удобно будет новой фичей пользоваться или нет, вписывается ли новая кнопка в общий дизайн и в гайдлайн, а вообще эта фича решает задачу бизнеса?
Но все эти вещи может проверить ПО, который заказывал фичу, точнее ДОЛЖЕН вручную проверить, что будет уходить в продакшн.
3) Мне кажется, что ручное тестирование в идеале должно быть бизнес-тестированием, а не проверкой, есть ли 500ки, открывается ли вообще страничка и т.д.
В ручное бизнес-тестирование фича должна приходить в рабочем состоянии. Если сервис пятисотит, странички не открываются из-за багов в js-коде и т.д., то разработчик официально объявляется мудаком, получает минуса в карму и с ним лично проводится разъяснительная работа о том, как так получилось, что он собственный код ни разу не запустил и считает ли он это нормальным.
4) Мне кажется, ручное тестирование должно тестировать фичи, а не релизы.
Автотесты, которые пишет разработчик сильно уменьшают возвраты с тестирования + если регресс у нас покрыт автотестами, то ручное тестирование фичи, которое на самом деле должно быть "бизнес-тестированием" занимает в среднем порядка 10% от времени разработки этой фичи.
Кроме того, фича - то что можно спрограммировать, проверить и выложить - должна быть маленькая. Если фичи - большие, то вероятность там найти ошибки - большая, количество возвратов сильно больше, лишнего тестирования той же самой функциональности тоже сильно больше.
5) Мне кажется, что ручное тестирование имеет смысл для сложной интеграции и легаси
Например, тестирование интеграции в телефонии.
Очень интересно! У нас сейчас нет тестировщика, но разработка на подряде, поэтому в штат хотим вывести лида одного пока.. вот думаю, каков риск..
Daria
А ещё: друзья, есть здесь гуру конфлюенс? Кто может поделиться бест практиками ее ведения, как с джирой линковал, структуру делал? Буду очень благодарна за лайфхаки и время❤️
Я на очень примитивном уровне с ней работала, даже стыдно..
Dmitry
============ FALCON ============
Фактически если речь идет об энтерпрайз, то время между обнаружением бага и его фиксам и попаданием к клиенту может занять как минимум год.
============ FALCON ============
Есть еще понятие fail fast
============ FALCON ============
Хорошая вещь, даже в архитектуре применяют)
Стас Щетинников
============ FALCON ============
Плюсую
Vitalii
Стас Щетинников
Alina Bryleva
нет, не зависит. В 99% нынешней разработки, нет.
Как-то категорично звучит.
Основная цель тестирования - достижение приемлимого качества продукта.
Критерии качества определяется командой и рынком.
Юнит тесты - девеллперы,
Функциональное, Интеграция, нагрузочное, производительность и регрешн - автоматизация, и кстати далеко не всегда. Бывают случаи, когда быстрее/дешевле вручную протестировать что-то, чем дописать и исправить много зависимого кода. не важно кто занимается автоматизацией тестов, главное - качество продукта.
Юзабилити, ui и прочее - только мануальное тестирование, если ПО имеет достаточно времени - ок, только я очень сомневаюсь в качестве проведенного тестирования.
Профессиональный тестировщик не тот, кто принимает решение о допуске релиза в продакшн, а тот кто способен оценить качество продукта и поддерживать его. Это делается с помощью определенных метрик, которые используют qa.
Ответственность за качество лежит на всей команде разработки, включая qa и dev. Чтобы у девов создавалась ценность качества продукта, лучше проводить ретро, чем удалять из команды квалифицированных qa или заставлять писать девов автотесты. Я бы не обесценивала чужой труд.
Max
Как-то категорично звучит.
Основная цель тестирования - достижение приемлимого качества продукта.
Критерии качества определяется командой и рынком.
Юнит тесты - девеллперы,
Функциональное, Интеграция, нагрузочное, производительность и регрешн - автоматизация, и кстати далеко не всегда. Бывают случаи, когда быстрее/дешевле вручную протестировать что-то, чем дописать и исправить много зависимого кода. не важно кто занимается автоматизацией тестов, главное - качество продукта.
Юзабилити, ui и прочее - только мануальное тестирование, если ПО имеет достаточно времени - ок, только я очень сомневаюсь в качестве проведенного тестирования.
Профессиональный тестировщик не тот, кто принимает решение о допуске релиза в продакшн, а тот кто способен оценить качество продукта и поддерживать его. Это делается с помощью определенных метрик, которые используют qa.
Ответственность за качество лежит на всей команде разработки, включая qa и dev. Чтобы у девов создавалась ценность качества продукта, лучше проводить ретро, чем удалять из команды квалифицированных qa или заставлять писать девов автотесты. Я бы не обесценивала чужой труд.
интересно узнать, как тестирование достигает качество продукта?
Alina Bryleva
Смотря что вы имеете ввиду под качеством продукта. Если не помогает достигать, то как минимум влияет на качество, не оттестированная версия может сильно повлиять на продукт.
Alina Bryleva
Но мне кажется это не сильно относится к теме чата.
Alina Bryleva
Мне больше интересно, как ПО или дев оценивает время на тесты?что они учитывают или не учитывают при оценке.
Max
Тестирование никак не влияет на качество, конечно если только под влиянием не понимать и внесение ясности относительно объекта тестирования.