Часть 1, Часть 2, Часть 3, Часть 4

Резюме

Данная статья описывает подходы Agile-разработки к автоматизации тестирования в средних и крупных проектах.

Рассмотрен вариант создания маленьких команд разработчиков автоматизированных тестов, которые будут применять принципы гибкой разработки к проблеме автоматизации тестирования. Это означает, что ежедневно они будут работать совместно с тестировщиками, участвующими в проекте, и искать пути применения различных технологий (большинство из них недорогие или с открытым кодом) для автоматизации специфических заданий каждого тестировщика. Они будут это делать в реальных и измеримых мини-проектах, выполнение которых не займет больше недели (а то и меньше). Разработчики автоматизированных тестов также будут сотрудничать с программистами, чтобы убедится, что разрабатываемый продукт имеет функционал, для тестирования которого есть смысл применять автоматизацию. Разработчики автоматизированных тестов будут применять технологии для различных потребностей тестировщиков, не ограничиваясь только выполнением тестов.

Принципы автоматизации тестирования

При планировании систематичной и продуктивной автоматизации тестирования, полезно будет помнить о нижеследующих принципах. Они были сформулированы исходя из опыта многих инженеров и менеджеров по автоматизации тестирования, на протяжении последних 15 лет. Некоторые из них я подробно объяснил в своей статье «Test Automation Snake Oil» и в моей книге «Lessons Learned in Software Testing».

1. Автоматизация тестирования не может заменить тестировщика
   Человек-тестировщик, даже без опыта и специального образования, способен выполнять такие задания и замечать такие моменты, которые автоматизированный тест либо не сможет реализовать, либо не заметит. Но реалии таковы, что даже со всеми ограничениями, автоматизация может иметь существенное значение в процессе тестирования. Зачастую, более эффективно думать про автоматизацию как про расширение возможностей людей-тестировщиков, а не про замену ручного тестирования автоматизированным. Эффективные попытки автоматизации начинаются с эффективного обдумывания процесса тестирования. Отсутствие хорошей стратегии тестирования делает из автоматизации серию повторяющихся действий, которые редко помогают выявить ошибку.
2. Автоматизация тестирования – это больше, чем просто выполнение тестов
   Большинство людей, услышавших об автоматизированном тестировании впервые, представляют себе что-то вроде «тестирования пока мы спим». Другими словами, они просто ожидают, что компьютер запускает тесты. Это действительно один из полезных видов автоматизации. Но автоматизация тестирования подразумевает под собой, помимо этого, намного больше. Например, для каждого пункта в приведенном далее списке, можно применить автоматизацию в какой-то мере, даже если все остальные будут выполняться «вручную».
   
   1. Генератор тестов (генератор данных и скриптов). Инструменты автоматизации могут создавать специальные данные, например, произвольные электронные письма, или наполнять базу данных, или генерировать комбинации параметров и данных, которые нам необходимы при тестировании;
   2. Конфигурации системы. Инструменты могут сохранять или воссоздавать параметры системы, устанавливать систему в определенное состояние, или создавать, или восстанавливать «образы» жестких дисков;
   3. Симуляторы. Инструменты могут симулировать подсистемы или условия среды (окружения), которые не доступны (или временно недоступны) для тестирования, либо слишком дорогие, чтобы использовать их в реальности;
   4. Выполнение тестов (среда и тестовые скрипты). Инструменты могут управлять тестируемым приложением самостоятельно, или симулировать работу пользователя с графическим интерфейсом приложения, или обходя графический, использовать альтернативный тестируемый интерфейс;
   5. Исследование. Инструменты могут показать то, что осталось бы невидимым для людей. Они могут статично анализировать продукт, парсить файлы с логами, или проводить мониторинг параметров системы.
   6. «Детекторы»(оракулы). Под детектором подразумевается любой механизм для определения успеха или неудачи. Инструменты могут выявлять определенные виды сбоев в продукте.
   7. Запись действий и анализ охвата тестами. Инструменты могут отслеживать процесс тестирования и предоставить отчет о том, что было и что не было бы протестировано. Также могут записывать выполняемые действия, чтобы позже применить их в других тестах.
   8. Управление процессами тестирования. Инструменты могут сообщать о результатах тестирования, упорядочивать идеи для тестов, подсчитывать метрики.
3. Автоматизация может мгновенно устаревать
   Программные проекты напрямую используют код, который находится в эксплуатации. Тестовый код – это не код в эксплуатации. Поэтому в типичном проекте по разработке программного обеспечения разрешаются изменения производственного кода, даже если это повлечет за собой неработоспособность существующего тестового кода. Это вполне нормальное, вообще говоря, это целесообразное, экономически обоснованные действия. Если продукт будет изменяться, вы имеете, в основном, всего два пути: инвестировать средства в тестовый код, чтобы он был устойчив к таким изменениям, либо же делать код настолько дешевым и легкокорректируемым, чтобы не беспокоится о том, что он станет неработоспособным в случае изменений продукта.