testomat.io управление авто тестамиОб использовании метрик уже много сказано и написано. Многие команды тестирования применяют их, но, увы, они не всегда используются в процессе автоматизации тестирования. А почему нет? Ведь все то, что поддается количественному измерению, дает нам уверенность в том что, во-первых, процесс работает, во-вторых, он предсказуем. Полученные данные можно использовать для управления процессом разработки автоматизации. Но с другой стороны с метриками нужно быть осторожными, так как от пользы до вреда всего лишь один шаг и неверно представленная информация может послужить вам как фактор обвинения. И все же, несмотря на все вышеупомянутые риски, мой опыт показывает, что метрики нужно использовать, как уточнения подсчета требуемых ресурсов, прослеживание прогресса и возврата инвестиций.
Сегодняшнее развитие технологий и постоянный процесс автоматизации работы, дает нам большее количество кода и сложные продукты с новой функциональностью и дефектами, которые не так уж легко тестировать. В свою очередь, сложность порождает уменьшение тестового покрытия и определенно уменьшает качество продукта. Я уже не говорю за постоянно поджимающие сроки сдачи. Потому, выгоды автоматизации тестирования налицо, а осторожно (тщательно) подобранные метрики могут дать представление о статусе выполнения автоматизации тестирования.
Правильно построенная автоматизация тестирования (см. также, что не стоит делать в автоматизации тестирования) может помочь вам уменьшить негативный тренд при большом количестве ручного тестирования. Нижеприведенный график показывает насколько автоматизация уменьшает время тестирования и стоимость поставки при увеличении тестового покрытия и общего качества продукта, конечно же при множественном прогоне автоматических тестов.
Метрики автоматизации тестирования могут быть полезны при определении целей покрытия, прогресса и качества.
А собственно, что такое метрика?
Метрика – это стандарт измерения каких-либо характеристик. В нашем случае, метрики могут использоваться для того, что бы отслеживать предыдущую и текущую производительность и/или предугадывать будущую производительность.
Виды метрик
- Покрытие. Параметры измерения успешности прохождения и тестового покрытия.
- Прогресс. Параметры идентифицирующие прогресс относительно критериев успешности.
- Качество. Измерение производительности, маштабируемости, удовлетворения заказчика и так далее.
Что такое метрика автоматизации тестирования?
Читайте в следующих статьях:
- Что такое хорошая метрика автоматизации тестирования?
- Метрики
- Индекс автоматизации
- Прогресс автоматизации
- Прогресс тестирования
- Покрытие автоматическими тестами
- Defect Density
- Defect Trend Analysis
- Defect Removal Efficiency
- ROI