Я думаю идеально - это логировать в Вашу Тест Менеджмент систему. Т.е. сконфигурировать интеграцию и отмечать PASS/FAIL для каждого степа в тесткейсе (возможно с комментариями). Я видел и работал с таким в проекте где связка С# тестов с Microsoft Test Manager и хочу это стедать сейчас в проекте где Java+Webdriver+TedtNG тесты, а TestRail как Тест менеджмент. Такой подход позволяет избежать лишнего логирования и идет интеграция с Тест Кейсами, т.е. автоматизация не оторвана от ручного процесса тестирования.
P.S.
Правда в Тест Менеджмент программах должен быть API который позволяет так интегрироваться, поэтому если кейсы к екселе, то ничего не получится или потребует гигантских усилий.
Целесообразно было бы использовать XML или JSON или другие форматы межсистемного взаимодействия, т.к. существует множество библиотек для их конвертации в нужный формат и они достаточно гибкие в плане насыщения данными.
Также есть подходы, в которых можно использовать БД для логирования. Например SqlLite использовалась в одном проекте. Использование БД может позволить хранить историю запуска тестов и собирать статистику по багам в обход трекинговых систем.
Если полезете смотреть, то там же рядом и пример сохранения структуры результатов в XML (сюиты, в них сценарии, в них тест резалты) tmx.codeplex.com/TMXHelper/ExportResultsToXML
Многие тест-менеджмент системы принимают на вход экселевские файлы (я даже одну такую конвертилку писал для одной непопулярной системы :) Зато API был с этой системе просто супер! Жаль, что система сошла на нет)
Кстати, и фитнес принимает эксель (у нас ребята это пользовали).
не поверите, писал, писал ответ, потом только заметил что я и создавал эту тему…
пока тестов не много, стартанул новый проект и пока все в самом начале
реализовал данный подход (правда его еще надо будет довести до ума как руки дойдут), образно:
WCF Web Service
mongo db - для хранения результатов
asp.net страничка - для удаленного запуска тестов и отображения результатов. С фильтрами (по тесту, дату, результату и т.д.)
тест агент - консольное приложение которое “слушает” веб сервис - запускается на
пк, где выполняются тесты. у нас это отдельная машина
схема работы такая:
есть смок тесты, которые проверяются базовый функционал и дает
“зеленый свет”, т.е. билд можно брать в тестирование. Они запускаются
не посредственно “из билда”, т.е. из CI (TeamCity)
Есть регрешен тесты:
тесты запускаются с веб странички (выбираем тесты, машину где
установлен тест агент, нажимаем запустить). Дается команда веб
сервису на запуск тестов. Тест агент слушающий сервис получает
команду и запускает тест из консоли (аля mstest.exe
/testcontainer:… /test: a,b,c
по окончанию работы, тест постит результат (success/failed/error
message/exception) в веб сервис (веб сервис сохраняет результат в
базу)
отсылает лог о прохождении, в формате примерно как в первом посте -
на почту (в html формате с подстветкой текста - шаг теста, отладочная
информация, варнинг, ошибка, и т.д)
Любой желающий заходит на веб страничку (которая дергает сервис командой “дай мне результаты бла бла бла” и видит результаты прохождения теста(ов) в таблице
p.s. в целом хватало и обычных отчетов на почту, это сделал так - для саморазвития
testomat.io управление авто тестами