Какие метрики существуют для измерения эффективности авто-команды?

На встрече AT.Info Posidelki в городе Одесса был задан интересный вопрос - "Какие метрики существуют для измерения эффективности авто-команды?"

 

Коллеги, какие у вас есть идеи ?

Автотестинг внедряется не просто так. Есть вполне конкретные цели:

  • Уменьшение затрат на тестирование
  • Уменьшение цикла тестирования
  • Увеличение тестового покрытия за счет делегирования рутинных задач машине
  • Прочее

Эти цели направлены на уменьшение/увеличение каких-то вполне себе измеряемых показателей. Соответственно, чтобы оценить эффективность нужно текущие показатели просто сопоставить с некоторыми оценочными. Например, в ряде случаев вполне можно оценить, работу скольких мануальщиков может заменить работа одного автоматизатора.

Можно собирать вспомогательные измерения, например, время на разработку и время на поддержку существующих тестов, % покрытия автотестов и т.д. Самое главное, правильно подобрать срез этих данных, на основании чего потом и делать выводы.

понятно, что есть цели уменьшить время и увеличить скорость прогона тестов, но 

я думаю, главный показатель или метрика автоматизации - это насколько хорошо выполняется тестирование в общем, т.е. ловятся ли баги, успевают ли ручные тестировщики пройти весь спектр тестов, успевают ли он покрыть, то что планировали и даже больше.

автоматизация - это не отдельный процесс, а процесс для ТЕСТИРОВАНИЯ, потому судить надо по конечному результату