Нужен совет по оценке тестового покрытия

общие вопросы
,
#1

Добрый день! нужен совет. на данные момент все тесты для регрессионного тестирования у нас хранятся в тестлинке. я новый сотрудник и мне поставили задачу оценить тестовое покрытие тестами. первое что пришло в голову - матрицы трассировки. но опять же для этого нужна система управления требованиями, которой как таковой нет.
поделитесь опытом и идеями по поводу, как можно быстро создать настраиваемую матрицу трассируемости

#2

Если нет записанных требований, то используйте фичи и струкрутру приложения как требования. Пример:
У меня есть стандартный калькулятор в Windows, я могу не понимать всего, но, поверхностно могу очертить его струкруту:

  • Калькулятор:
    • Вид:
      • Простой
        • Операции
          • Сложение тесты: (ссылка или id, или имя файла на тесты)
          • Вычитани
          • Умножение
        • Программист:
          • Что такое бинарная система??? O_O
          • Десятиричная система:
            • Операции
              • Сложение тесты: (ссылка или id, или имя файла на тесты)
              • Вычитани
              • Умножение

Самый простой способ – это определить структуру через структуру пользовательского интерфейса. Ты может появится проблема, что появится черезмерные повторения.

Если известна внутреняя структура, например, сужествуте модуль Базовых операций, и известно, то его можно тестировать один раз и детально в любом режиме для десятиричной системы, провести смоук тест для вскх остальных режимов, и отдельно в режиме “Программист” для двоичной и восьмиричной системы исчисления.

Структура тестов:
Вы можете использовать тесты как требования. Ведь они тоже как-то структуированны. В тестах есть пример использования и ожидаемый результат. Но, все зависит от качества тестов, конечно.
Опишите все что покрывают тесты и потом добавьте все то, что не описанно в тестах, но есть в приложении.

Форматы:

Всего их два: для создания матрицы трайсебилити вы можете использовать либо древовидную структуру либо табличную, вы также можете комбинировать древовидную и табличную структуру вместе (слева – дерево, справа – таблица).
Для более удобной работы с деревтями, посмотрите на MindMaps: XMind, например

#3

Древовидная структура мне не подойдет, так как чтобы выловить определенное требование мне нужно будет разворачивать все родительские ветви. ме нужен какой-н инструмент, где можно быстро сформулировать тесты и уже более точно остановиться на на самих тестах.
сейчас я пробую cradle 3sl. в принципе это СУТ. но там можно и cформировать uses case. единственное неудобство: что сами кейсы представлены будут в виде блок-схемы, в моем случае, это может не совсем пойти в моей организации.
мне нужен именно инструмент, где есть такая опция как “матрица трассировки”. таблицы xcl и древовидная структура в типа xmind не совсем подойдет

#4

Я думаю, вам в первую очередь нужно определится, в каком виде вы хотите видеть эту матрицу.

В тестлинке есть, например, требования и отчеты:

На основе требований, которые в таком случае нужно внести, можно создать отчет посредтвом тестлинка, либо работая с базой данный в отдельной репортинг тулзе, Power BI или Tableau например.

Я бы сделал прототип в екселе, показал менеджменту, учел правки и пожелания, и уже на основе этого искал бы что-то конкретное. Есть множество других продуктов, которые позволяют это сделать, но подходы у каждого разные и требуют допилки под конкретный процесс. Есть Jira и Zephir, есть еще TestRail.

Но, опять же, если у вас нет системы управления требованиями, то для решения текущей задачи:

  и мне поставили задачу оценить тестовое покрытие тестами

я бы не вводил новых систем и инструментов, но решение, конечно, за вами