testomat.io управление авто тестамиНа встрече AT.Info Posidelki в городе Одесса был задан интересный вопрос - "Какие метрики существуют для измерения эффективности авто-команды?".
Коллеги, какие у вас есть идеи ?
Автотестинг внедряется не просто так. Есть вполне конкретные цели:
- Уменьшение затрат на тестирование
- Уменьшение цикла тестирования
- Увеличение тестового покрытия за счет делегирования рутинных задач машине
- Прочее
Эти цели направлены на уменьшение/увеличение каких-то вполне себе измеряемых показателей. Соответственно, чтобы оценить эффективность нужно текущие показатели просто сопоставить с некоторыми оценочными. Например, в ряде случаев вполне можно оценить, работу скольких мануальщиков может заменить работа одного автоматизатора.
Можно собирать вспомогательные измерения, например, время на разработку и время на поддержку существующих тестов, % покрытия автотестов и т.д. Самое главное, правильно подобрать срез этих данных, на основании чего потом и делать выводы.
понятно, что есть цели уменьшить время и увеличить скорость прогона тестов, но
я думаю, главный показатель или метрика автоматизации - это насколько хорошо выполняется тестирование в общем, т.е. ловятся ли баги, успевают ли ручные тестировщики пройти весь спектр тестов, успевают ли он покрыть, то что планировали и даже больше.
автоматизация - это не отдельный процесс, а процесс для ТЕСТИРОВАНИЯ, потому судить надо по конечному результату