Тестовый фреймворк может делать это за него

Причем он может гонять сотни и тысячи мутаций

а не вставкой ли кода, который может повлечь негативный эффект?

Я иногда так делаю ;) Это называется junior мутационное тестирование ;)

А есть такие фреймворки, которые делают инъекции в исполняемый код?

https://github.com/padraic/humbug например

Есть, но немного. Видимо это непопулярно

По мне это трата времени

Достаточно два юниттеста с нужным значением и заведомо фиговым

Если настроить то делать ничего не надо, он сам будет портить код и давать отчеты. Как я это понимаю.

Тестовый фреймворк может делать это за него

а вот об этом я и не знал, интересноо даже :) а как это происходит - автоматом как-то, по сетам или как-то иначе?

Я еще не пробовал, вот и спрашиваю кто имеет опыт.

Ну у него есть там наверно какие-то правила, как в рантайме поменять исходный код методов.

А мутацинное нужно безопасникам, т.к им важно что бы в их код не впихнули своё и не получили профит.

Это как со старым артмани

Достаточно два юниттеста с нужным значением и заведомо фиговым

Но ведь таких мест потенциально могут быть сотни. Придется писать сотни дополнительных тестов.

Или подобными софтинками

А мутацинное нужно безопасникам, т.к им важно что бы в их код не впихнули своё и не получили профит.

Когда код исполняется у пользователя, тесты уже давно прошли и остались на серверах разработчиков, как они помогут?

Так и надо проверять что пользователь не может туда впихнуть то что ему надо

А как это сделать лучше всего? Правильно, взять релизную версию и смотреть

Просто код должен быть закрыт от юзера, вот и все

А когда он не закрыт, начинаются утечки и ни какое мутацинное тебе не поможет

Причем тут вообще код закрыт от юзера ?

Это как со старым артмани

ох чё я тут вспомнил... как сотрудники евросетей с помощью артмани затарись айфонами за копейки...

Причем тут вообще код закрыт от юзера ?

Потому что других причин не вижу для того что бы тратить бабки на мутацинное

Потому что других причин не вижу для того что бы тратить бабки на мутацинное

Оно спасает от потенциальных ошибок которые прогеры могут допустить в коде, а тесты это пропустят.

Какие?

Какую ошибку может допустить прогер, что бы его код менялся в рантайме?

вы про какие утечки и про какой рантайм? :) мутационное нужно в большей степени для "тестирования тестов". упрощенно, если внести изменения в код, выполнить тесты, и окажется, что тесты по-прежнему зеленые, то значит такие тесты недостаточны. только и всего

а вас в тестирование безопасности унесло)

Ну только там я вижу этому применение

вы про какие утечки и про какой рантайм? :) мутационное нужно в большей степени для "тестирования тестов". упрощенно, если внести изменения в код, выполнить тесты, и окажется, что тесты по-прежнему зеленые, то значит такие тесты недостаточны. только и всего

я в контексте юнит-тестов это слышал :)

Какую ошибку может допустить прогер, что бы его код менялся в рантайме?

Это не имеет отношения к изменению кода в *рантайме* вообще

да, мутационное чаще для них и обсуждают) хотя, имхо, можно применить к любым автотестам. да хоть к ручным, только пользы меньше

результатом мутационного тестирования могут быть как тест-кейсы, так и тест-скрипты? кто-то проводил такое тестирование на проекте?

результат - не кейсы и не скрипты, а отчет

у тебя уже есть на руках автотесты, качество которых ты хочешь проверить. это и оцениваешь по результатам тестирования

отчет, на подобии тест-плана, правильно я понимаю?

т.е. мутац.тест. может исполнять и мануальщик и автоматизотор

результат - не кейсы и не скрипты, а отчет

вы проводили такой тип тестирования?

отчет, на подобии тест-плана, правильно я понимаю?

Отчет в котором написано: "Если вы в методе SomeClass::someMthod() вместо return true; сделаете return false;, то тесты не упадут, айайай"

план тестирования - документ, в котором ты описываешь, что, где, когда и как будешь тестировать. отчет - документ с информацией об уже выполненном тестировании и его результате

приблизительно понятно.. просто никогда не делали такой тип тестирования, поэтому спрашиваю. Спасибо за объяснения! :)

вы проводили такой тип тестирования?

на реальных проектах - нет

а на каких проводили?

т.е. мутац.тест. может исполнять и мануальщик и автоматизотор

Мануальщик будет вручную код править - выглядит как костыль

т.е. мутац.тест. может исполнять и мануальщик и автоматизотор

любой, кто имеет доступ к автотестам, к исходному коду продукта, его изменению, и желательно понимает, что в нем написано

с предыдущих комментариев я поняла, что мутац.тест. может применятся и для мануальных тест-кейсов.. или оно применимо только для кода?

Нет, для мануальных тест кейсов оно не применимо

про ручное тестирование я, конечно, перегнул. что там проверять? сломать часть интерфейса и посмотреть на внимательность тестировщиков?) да и в мутационном тестировании изменения кода предполагаются небольшие, вроде подмены оператора. поэтому речь скорее об автотестах

тогда результатом всегда является список кусков кода, которые надо протестить?

пытаюсь понять, как именно должен выглядеть отчет)

Отчет в котором написано: "Если вы в методе SomeClass::someMthod() вместо return true; сделаете return false;, то тесты не упадут, айайай"

типа с таких кусков

например, отчет с результатом прогона автотестов до мутационных изменений кода, и результатом прогона автотестов после изменений - есть отличие или нет

ага, так понятно) спасибо!

тогда результатом всегда является список кусков кода, которые надо протестить?

Ну да, в том и смысл

бан

Mutation testing нужно для оценки качества тестового набора, возможно где-то используется, при тестировании high critical систем, но я видел только академические статьи.

Потому что это рандомное тестирование по сути) без гарантии какого то результата

Не рандомное, результат абсолютно понятный.

Каждый раз результат будет новый

прям уж каждый раз?

Хм дейстивтельно в определении нету ничего похожего на random. Однако в статье, считающейся прародителем этого метода, есть строки: First proposed by Acree [23] and Budd [24], in sampling only a randomly selected subset of the mutant programs are run. The effects of varying the sampling percentage from 10% to 40% in steps of 5% were later investigated by Wong [25].

это немного про другое

Хм нигде в доках не могу найти, как же конкретно производятся мутации в тестах

мутации не в тестах, а в коде тестируемого приложения

Да да, я опечатался

Ну по моей логике, если потенциальных мест в коде десятки или сотни, то будет слишком долго последовательно их все менять и каждый раз гнать тесты. Легче просто выбрать случайный небольшой набор. Но и результате будет неповторяемый

в программе средней сложности могут быть десятки и сотни тысяч мутаций минимум, понятно, что вручную все это не делается.

Даже автоматизированно - там комбинаторный взрыв

Если есть 30 места для мутаций например, то получается 2^30 вариантов

Mutation testing нужно для оценки качества тестового набора, возможно где-то используется, при тестировании high critical систем, но я видел только академические статьи.

В инф.безопасности можно такое использовать?

да нет же блин, причем тут инф. безопасность??

Аудит системы

В отчете будет только видно какие части плохо покрыты тестами. О безопаности ничего сказать нельзя.

(прошу прощения за опечатки, быстро печатаю)

Проводите ли вы дейли митинг, если в офисе из вашей команды 2 человека, а остальные не могут по скайпу присутствовать?)

Для отсутствия на дейли митинге должна быть уважительная причина, о которой необходимо заранее предупреждать лида. Часто переносили на другое время, если кто-то не мог. Но митинг должен быть каждый день

Проводите ли вы дейли митинг, если в офисе из вашей команды 2 человека, а остальные не могут по скайпу присутствовать?)

Было такое , но приходилось присутствовать , выглядело очень тупо и непродуктивно , но делался митинг только ради митинга и не более

Мы потом уже между собой это называли

"Просто пойти постоять"

Галочка ради галочки – это в любом деле плохо(

Проводите ли вы дейли митинг, если в офисе из вашей команды 2 человека, а остальные не могут по скайпу присутствовать?)

если есть о чем сообщить или что обсудить, почему бы и нет

а вообще да, согласна, что надо заранее предупреждать о невозможности присутствия

если есть о чем сообщить или что обсудить, почему бы и нет

+

Мечта: Дейли митинг с 10-ю аутистами

или с 15-ю глухонемыми

???????

типичный дейли митинг

хех. вот сейчас как раз-таки пишут про то, что способные аутисты ценятся софтверными гигантами

хех. вот сейчас как раз-таки пишут про то, что способные аутисты ценятся софтверными гигантами

я бы их в скрам не загоняла

я бы их в скрам не загоняла

могу согласиться лишь только потому, что не имел дела с ними - но читал про их некоторые особенности, да.

Не хочешь идти на митинг - притворись аутистом

Не хочешь идти на митинг - притворись аутистом

+++

вот почему некоторые кажутся такими необычными. они просто на митинг не хотят)

гггг

Накатывает за полчаса до митинга?)

И откатывает сразу после?))