Как оценивать или выбрать лучшее решение по автоматизации тестирования?! Чеклист и опрос

[polusok (Mykhailo Poliarush)]

Сегодня на одном из моих проектов были обсуждения оценки инструментов и подходов автоматизации на различных проектах с целью выбрать лучший. Разговоры длинные и нудные, а вот результат может быть полезный для вас! Вашему вниманию чек-лист для оценки автоматизации тестирования.

Список составлен под наш проект на английском, но какие-то пункты вы можете переиспользовать для ваших проектов. Надеюсь будет полезным!

Чеклист для оценки

• architecture (framework)

  • code structure
  • architecture patterns and modularity
  • components, systems, actions reusability
  • tests and code readability, expressiveness
  • ability to add and program new (unknown) integrations (http, rest, xml/rpc, ssh, ws, databases, web ui, jams, queues, etc)
  • different data types processing and test data management (xls, xml, html, pdf, json)
  • ability to integrate other solutions into current
  • localization and configuration support
  • environment support
  • tools, libs, 3rd party modules, IDE cost

• development processes

  • code development speed (how easy to add\fix new\existing systems, connections, integrations, etc)
  • change management (branch management, code reversion, etc)
  • parallel code development (code conflicts resolving, merging, etc)
  • dev team interactions (easy to do code quality, inspections, code review, etc)

• infrastructure

  • multi-environment support (dev, stage, preprod, sit , production, etc)
  • parallel execution support and test execution speed
  • ability to run tests by name(s), folders, suites, tags, programming conditions, etc
  • ability to scale to support 2x, 5x, 10x times test execution load
  • tools and licenses cost

• maintenance

  • easy to apply fix\changes to overall code, system, tests, test suites, test data etc
  • easy to deploy\revert changes for test execution
  • error handling and recovering
  • documentation: support, access, readability, integrity
  • routines automation (stubs, mocking, monitoring, analytics, test data generation, other support tools etc.)
  • defects scanning and clustering
  • cost and licenses renewals

• usability & management

  • easy to run and see results
  • overal statistics, summary reports, trends diagrams, historical data
  • detailed reporting, exporting to different formats

Стоит ли оценивать автоматизацию?

• да
• нет
• не знаю

Когда стоит делать оценку?

• на этапе проектирования
• на этапе реализации
• на этапе эксплуатации
• на всех этапах и регулярно
• когда возникают проблемы
• когда менеджмент захочет
• другой ответ, напишу в комментариях

Зачем вы выполняли оценку автоматизации?

Для …

• выбора лучшего инструмента автоматизации
• выбора лучшего подхода автоматизации
• оценки реализованной автоматизации
• идентификации проблем
• разработки дальнейшей стратегии развития
• хз зачем мы это делали, не знаю
• другой ответ, напишу в комментариях

А как вы оцениваете ваши решения и проекты по автоматизации? И какая инициатива стартует этот процесс?

Спасибо за лайки и комментарии!