Долго не получалось добраться до блога, но вот я опять вещаю :). Сначала хочу напомнить, что мы уже разобрали 6 техник тест дизайна:
* Allpairs Algorithm testing
* Orthogonal Arrays Testing
* State-Transition Testing
* Decision Table Testing
* Boundary Value Testing
* Equivalence Class Testing
И перед тем как приступить к разбору новых техник тест-дизайна хотелось бы написать статью об использовании комбинаторных техник (например Orthogonal Arrays Testing или Allpairs Algorithm testing). Точнее о разумном использовании комбинаторных техник. На написание этой статьи меня натолкнула статья Баха и Шредера "Pairwise Testing: A Best Practice That Isn’t". Они в ней рассматривают проблемы конкретно allpairs algorithm testing, но как по мне, то все их замечания можно применить к любым комбинаторным техникам.
Статья их появилась из-за того, что многие стали относить allpairs algorithm testing к best practices заочно, считая его панацеей в тестировании. Мол применил технику и все ненужные тестовые данные исчезли, а остались исключительно отличные тестовые данные, которые обеспечивают идеальное тестовое покрытие. Ну и до поры до времени тестировщики чувствуют себя спокойно и уверенно, пока баги на удивление таки не начинают выползать. Почему такое может происходить мы попробуем рассмотреть в этой статье.
Где нас ждет провал?
Allpairs algorithm достаточно деликатная техника, ее нужно использовать с умом. Бах и Шредер приводят следующие случаи, когда вас может поджидать провал в использовании попарного тестирования:
1. Вы определили неверные значения переменных/входные значения.
2. Вы определили не достаточно хорошие оракулы.
3. Вы не уделили внимание наиболее возможным комбинациям переменных.
4. Вы не знаете как переменные взаимодействуют.
Будем разбирать наглядно что это значит.
* Allpairs Algorithm testing
* Orthogonal Arrays Testing
* State-Transition Testing
* Decision Table Testing
* Boundary Value Testing
* Equivalence Class Testing
И перед тем как приступить к разбору новых техник тест-дизайна хотелось бы написать статью об использовании комбинаторных техник (например Orthogonal Arrays Testing или Allpairs Algorithm testing). Точнее о разумном использовании комбинаторных техник. На написание этой статьи меня натолкнула статья Баха и Шредера "Pairwise Testing: A Best Practice That Isn’t". Они в ней рассматривают проблемы конкретно allpairs algorithm testing, но как по мне, то все их замечания можно применить к любым комбинаторным техникам.
Статья их появилась из-за того, что многие стали относить allpairs algorithm testing к best practices заочно, считая его панацеей в тестировании. Мол применил технику и все ненужные тестовые данные исчезли, а остались исключительно отличные тестовые данные, которые обеспечивают идеальное тестовое покрытие. Ну и до поры до времени тестировщики чувствуют себя спокойно и уверенно, пока баги на удивление таки не начинают выползать. Почему такое может происходить мы попробуем рассмотреть в этой статье.
Где нас ждет провал?
Allpairs algorithm достаточно деликатная техника, ее нужно использовать с умом. Бах и Шредер приводят следующие случаи, когда вас может поджидать провал в использовании попарного тестирования:
1. Вы определили неверные значения переменных/входные значения.
2. Вы определили не достаточно хорошие оракулы.
3. Вы не уделили внимание наиболее возможным комбинациям переменных.
4. Вы не знаете как переменные взаимодействуют.
Будем разбирать наглядно что это значит.
