testomat.io управление авто тестамиПроблема: Как можно определить качество большого количества тестов?
Решение: Воспользуйтесь оракулом. Это программа, которая вычисляет правильный ожидаемый результат.
Контекст:
- Участники: Любые.
- Продукт: Продукт не может быть первым в своем роде, так как никакого оракула еще не будет существовать.
- Цели: Тщательная проверка достоверности и надежности тестов.
Стратегия тестирования:
- Создание тестов: Входные данные могут генерироваться случайным образом.
- Выполнение тестов: Основа тестов должна проектироваться таким образом, чтобы была возможность передавать одни и те же входные данные продукту, и оракулу для последующего сравнения.
- Оценка: Оракул предоставляет основу для оценивания. Некоторые дополнительные правила могут понадобиться, чтобы определить область, в которой оракул является компетентным, и определить необходимую степень точности.
Атрибуты качества:
- Сопровождение и поддержка: Высокая.
- Проверка: Высокая. Входные данные должны генерироваться и храниться отдельно(скрипты на основе данных). Это позволяет легко их оценивать, как в контексте поиска ошибочных данных, так и для оценки покрытия.
- Целостность и зависимость: Может варьироваться. В основном, она зависит от надежности программы-оракула. Точность вычислений необходимо проверять, для уверенности что они соответствуют требованиям.
- Возможность повторного использования: Высокая.
Следующий шаг.
Скрипты на основе данных.