Как оценивать или выбрать лучшее решение по автоматизации тестирования?! Чеклист и опрос

Сегодня на одном из моих проектов были обсуждения оценки инструментов и подходов автоматизации на различных проектах с целью выбрать лучший. Разговоры длинные и нудные, а вот результат может быть полезный для вас! Вашему вниманию чек-лист для оценки автоматизации тестирования.

Список составлен под наш проект на английском, но какие-то пункты вы можете переиспользовать для ваших проектов. Надеюсь будет полезным!

Чеклист для оценки

  • architecture (framework)

    • code structure
    • architecture patterns and modularity
    • components, systems, actions reusability
    • tests and code readability, expressiveness
    • ability to add and program new (unknown) integrations (http, rest, xml/rpc, ssh, ws, databases, web ui, jams, queues, etc)
    • different data types processing and test data management (xls, xml, html, pdf, json)
    • ability to integrate other solutions into current
    • localization and configuration support
    • environment support
    • tools, libs, 3rd party modules, IDE cost
  • development processes

    • code development speed (how easy to add\fix new\existing systems, connections, integrations, etc)
    • change management (branch management, code reversion, etc)
    • parallel code development (code conflicts resolving, merging, etc)
    • dev team interactions (easy to do code quality, inspections, code review, etc)
  • infrastructure

    • multi-environment support (dev, stage, preprod, sit , production, etc)
    • parallel execution support and test execution speed
    • ability to run tests by name(s), folders, suites, tags, programming conditions, etc
    • ability to scale to support 2x, 5x, 10x times test execution load
    • tools and licenses cost
  • maintenance

    • easy to apply fix\changes to overall code, system, tests, test suites, test data etc
    • easy to deploy\revert changes for test execution
    • error handling and recovering
    • documentation: support, access, readability, integrity
    • routines automation (stubs, mocking, monitoring, analytics, test data generation, other support tools etc.)
    • defects scanning and clustering
    • cost and licenses renewals
  • usability & management

    • easy to run and see results
    • overal statistics, summary reports, trends diagrams, historical data
    • detailed reporting, exporting to different formats

Стоит ли оценивать автоматизацию?

  • да
  • нет
  • не знаю

0 участников

Когда стоит делать оценку?

  • на этапе проектирования
  • на этапе реализации
  • на этапе эксплуатации
  • на всех этапах и регулярно
  • когда возникают проблемы
  • когда менеджмент захочет
  • другой ответ, напишу в комментариях

0 участников

Зачем вы выполняли оценку автоматизации?

Для …

  • выбора лучшего инструмента автоматизации
  • выбора лучшего подхода автоматизации
  • оценки реализованной автоматизации
  • идентификации проблем
  • разработки дальнейшей стратегии развития
  • хз зачем мы это делали, не знаю
  • другой ответ, напишу в комментариях

0 участников

А как вы оцениваете ваши решения и проекты по автоматизации? И какая инициатива стартует этот процесс?

Спасибо за лайки и комментарии!

2 лайка