хорошие тесты нельзя построить без независимых данных.

как минимум должно действовать правильно - данные которые использовались один раз не могут быть использованы второй раз.

но в реальности тяжело придерживаться таких правил, делать очистку БД перед каждым прогоном, выполнять роллбеки и т.д.

можно конечно еще генерировать уникальные данные, как один из вариантов решения.

а как вы решаeте вопрос независимости данных для ваших тестов?

Проблема: Как можно определить качество большого количества тестов?

Решение: Воспользуйтесь оракулом. Это программа, которая вычисляет правильный ожидаемый результат.

Контекст:

• Участники: Любые.
• Продукт: Продукт не может быть первым в своем роде, так как никакого оракула еще не будет существовать.
• Цели: Тщательная проверка достоверности и надежности тестов.

Стратегия тестирования:

• Создание тестов: Входные данные могут генерироваться случайным образом.
• Выполнение тестов: Основа тестов должна проектироваться таким образом, чтобы была возможность передавать одни и те же входные данные продукту, и оракулу для последующего сравнения.
• Оценка: Оракул предоставляет основу для оценивания. Некоторые дополнительные правила могут понадобиться, чтобы определить область, в которой оракул является компетентным, и определить необходимую степень точности.

Атрибуты качества:

• Сопровождение и поддержка: Высокая.
• Проверка: Высокая. Входные данные должны генерироваться и храниться отдельно(скрипты на основе данных). Это позволяет легко их оценивать, как в контексте поиска ошибочных данных, так и для оценки покрытия.
• Целостность и зависимость: Может варьироваться. В основном, она зависит от надежности программы-оракула. Точность вычислений необходимо проверять, для уверенности что они соответствуют требованиям.
• Возможность повторного использования: Высокая.

Следующий шаг.
Скрипты на основе данных.