Оценка и выбор инструмента автоматизации

Выбор инструмента автоматизации

Успех каждой автоматизации тестирования лежит в определении правильного инструмента автоматизации. Для того чтобы сделать окончательный выбор необходимо провести детальный анализ различных инструментов. Должен признаться, что это требует определенных сил и ресурсов, а также планирования. В последствии, затраты на исследование и обучение, полученные на протяжении апробации инструментов, дадут вам помощь в выполнении и реализации автоматизации тестирования или же проекта автоматизации. 

Зачем это нужно

Я думаю, что такие термины, как деньги, время и ресурсы уже сроднились со всеми ИТ специалистами. Как и везде, эти факторы являются основными при анализе выбора инструмента автоматизации. Тут все просто, если у вас или у вашего заказчика хватает денег, то вы явно выберите самый хороший (дорогой) продукт на рынке, который будет представлять обширную функциональность и поддержку. Но, увы, это утопия, а реальность не такая. Хорошие инструменты автоматизации стоят не так уж дешево. Зачастую, вам приходится оправдывать автоматизацию, а также выбор инструмента автоматизации. Давайте, разберемся, что для этого нужно. 

Возможные и необходимые шаги апробации инструментов автоматизации

  1. Выработка требований на разработку автоматизации тестирования 
  2. Критерии разработки автоматизации, основанные на требованиях 
  3. Отбор инструментов удовлетворяющих критерии
  4. Оценка основных инструментов автоматизации
  5. Детальный анализ результатов 
  6. Разработка прототипа, по результатам анализа результатов
  7. Анализ результатов прототипа (ов)
  8. Принятие решения и внедрение инструмента автоматизации 

Конечно, в это обобщенные шаги, которые могут быть сокращенные в зависимости от конкретной ситуации 

Критерии отбора и выбора инструментов автоматизации

  • Лицензия и стоимость
    • Стоимость продукта
    • Стоимость поддержки в год
    • Стоимость обучения
    • (Возможно) Стоимость консультаций
    • Тип лицензии (Именованная или параллельная)
    • Репутация и финансовая стабильность компании предоставляющая продукт
  • Технические моменты
    • Поддержка операционных систем
    • Поддержка баз данных
    • Интеграция с тестируемой системой
    • Необходимость отдельных серверов или же машин
    • Совместимость с интеграционными инструментами (Continuous Integration). Например, Ant, Maven, Bamboo.
    • Версионный контроль
    • Открытость и расширяемость кода для интеграции с другими инструментами
    • Настраиваемые отчеты
  • Разработка
    • Время и деньги необходимые на разработку
    • Навыки и опыт работы людей, которые будут работать над автоматизацией
    • Кодирование и запись/воспроизведение
    • Легкость написания тестовых сценариев
    • Простота поддержки тестовых сценариев
    • Документация 

Заключение

Оценка инструментов автоматизации необходимый процесс, который требует исследований, изучений и анализа, независимых от того, кто делает эту оценку. Выше описанные подсказки помогут вам сделать правильный выбор лучшего инструмента, который вам необходим.

1 лайк

Как человек, который занимался выбором инструмента могу добавить еще пару моментов:

Важно понимать, что продукт на который падет ваш выбор должен развиваться во времени. Ибо ваша система не будет всегда стоять на месте и возможно в будущем будут использованы технологии, с которыми инструмент попросту не сможет работать.

Как по мне то забыт один из главных аттрибутов - сообщество, так называемое комьнити. Думаю говорить почему так не надо :)

1 лайк

Кстати по поводу сообществ и коммюнити. Есть и другая сторона медали. Например, у нас на проекте используется узко-специализорованный инструмент GreenHat. Опыта работы с ним ни у кого не было, потому как особо не было много много вендоров, которые предостваляли данную автоматизации. Но мы его приобрели и теперь данный инструмент набирает популярность у нас в компании, а нас уникальная экспертиза и все приходят к нам, даже со стороны заказчика :). Так что, если вы вендор, то поводу этого момента можно и подумать. Вот так вот!

Ох, уж мне этот GreenHat (ныне IBM) Integration tester такое УГ…

О его качестве и удобстве работы я тут не говорю. Просто если есть уникальная экспертиза в каком-то не очень популярном и не очень хорошем продукте, то на этом можно сиграть. Как было в моем случае.

Ну, да. Иметь что-то уникальное - оно завсегда хорошо. :smile: