t.me/atinfo_chat Telegram группа по автоматизации тестирования

Какие метрики существуют для измерения эффективности авто-команды?

metrics
Теги: #<Tag:0x00007f9c463a2cc8>

(d3unka) #1

На встрече AT.Info Posidelki в городе Одесса был задан интересный вопрос - "Какие метрики существуют для измерения эффективности авто-команды?"

 

Коллеги, какие у вас есть идеи ?


(KaNoN) #2

Автотестинг внедряется не просто так. Есть вполне конкретные цели:

  • Уменьшение затрат на тестирование
  • Уменьшение цикла тестирования
  • Увеличение тестового покрытия за счет делегирования рутинных задач машине
  • Прочее

Эти цели направлены на уменьшение/увеличение каких-то вполне себе измеряемых показателей. Соответственно, чтобы оценить эффективность нужно текущие показатели просто сопоставить с некоторыми оценочными. Например, в ряде случаев вполне можно оценить, работу скольких мануальщиков может заменить работа одного автоматизатора.

Можно собирать вспомогательные измерения, например, время на разработку и время на поддержку существующих тестов, % покрытия автотестов и т.д. Самое главное, правильно подобрать срез этих данных, на основании чего потом и делать выводы.


(Mykhailo Poliarush) #3

понятно, что есть цели уменьшить время и увеличить скорость прогона тестов, но 

я думаю, главный показатель или метрика автоматизации - это насколько хорошо выполняется тестирование в общем, т.е. ловятся ли баги, успевают ли ручные тестировщики пройти весь спектр тестов, успевают ли он покрыть, то что планировали и даже больше.

автоматизация - это не отдельный процесс, а процесс для ТЕСТИРОВАНИЯ, потому судить надо по конечному результату