t.me/atinfo_chat Telegram группа по автоматизации тестирования

Использование метрик в автоматизации тестирования. Часть 1.

metrics
Теги: #<Tag:0x00007fb2f685f088>

(Mykhailo Poliarush) #1

Об использовании метрик уже много сказано и написано. Многие команды тестирования применяют их, но, увы, они не всегда используются в процессе автоматизации тестирования. А почему нет? Ведь все то, что поддается количественному измерению, дает нам уверенность в том что, во-первых, процесс работает, во-вторых, он предсказуем. Полученные данные можно использовать для управления процессом разработки автоматизации. Но с другой стороны с метриками нужно быть осторожными, так как от пользы до вреда всего лишь один шаг и неверно представленная информация может послужить вам как фактор обвинения. И все же, несмотря на все вышеупомянутые риски, мой опыт показывает, что метрики нужно использовать, как уточнения подсчета требуемых ресурсов, прослеживание прогресса и возврата инвестиций.

Сегодняшнее развитие технологий и постоянный процесс автоматизации работы, дает нам большее количество кода и сложные продукты с новой функциональностью и дефектами, которые не так уж легко тестировать. В свою очередь, сложность порождает уменьшение тестового покрытия и определенно уменьшает качество продукта. Я уже не говорю за постоянно поджимающие сроки сдачи. Потому, выгоды автоматизации тестирования налицо, а осторожно (тщательно) подобранные метрики могут дать представление о статусе выполнения автоматизации тестирования.

Правильно построенная автоматизация тестирования (см. также, что не стоит делать в автоматизации тестирования) может помочь вам уменьшить негативный тренд при большом количестве ручного тестирования. Нижеприведенный график показывает насколько автоматизация уменьшает время тестирования и стоимость поставки при увеличении тестового покрытия и общего качества продукта, конечно же при множественном прогоне автоматических тестов.

Выгода автоматизации

Метрики автоматизации тестирования могут быть полезны при определении целей покрытия, прогресса и качества.

А собственно, что такое метрика?

Метрика – это стандарт измерения каких-либо характеристик. В нашем случае, метрики могут использоваться для того, что бы отслеживать предыдущую и текущую производительность и/или предугадывать будущую производительность.

Виды метрик

Большинство метрик в тестировании делятся на три основные категории:
  • Покрытие. Параметры измерения успешности прохождения и тестового покрытия.
  • Прогресс. Параметры идентифицирующие прогресс относительно критериев успешности.
  • Качество. Измерение производительности, маштабируемости, удовлетворения заказчика и так далее.

Что такое метрика автоматизации тестирования?

Метрики автоматизации тестирования - это метрики, которые измеряют производительность процесса автоматизации тестирования, затраченные ресурсы и артефакты. В основном, они служат, как дополнительная информация к основным метрикам тестирования. 

Читайте в следующих статьях:
  • Что такое хорошая метрика автоматизации тестирования?
  • Метрики
    • Индекс автоматизации
    • Прогресс автоматизации
    • Прогресс тестирования
    • Покрытие автоматическими тестами 
    • Defect Density
    • Defect Trend Analysis
    • Defect Removal Efficiency
    • ROI