Добрый день!
Посоветуйте, пожалуйста, бесплатный инструмент для запуска soapUI тестов через web интерфейс и так же просмотр результатов?
Запускать планирую через testrunner (возможно удаленно).
Отчеты хотелось бы наиболее подробные.
Пока склоняюсь к Jenkins, но имхо это из пушки по воробьям. Лучший вариант какой нибудь web сервер, который будет отображать уже созданные soapUI html тесты, текстовые логи и в режиме реального времени показывать прохождение тестов.
Спасибо!
тут зависит от того насколько вы хотите много или немного заморачиваться и что-то делать
самый простой вариант будет, как вы уже сказали это jenkins, потому что он уже предоставляет всю необходимую вам функциональность
его можно быстро поднять и без всяких проблем, а тем более, даже если будут, то решить их очень легко, так как это популярный инструмент
другого инструмента, существующего, который просто бы запускал soapui не знаю
как альтернативные варианты, можно еще сделать:
если придут еще в голову какие-то варианты, то напишу
но по себе скажу, если бы я хотел сделать, что-то свое и быстро, то бы выбрал первый вариант, но это потому что я хорошо знаю python.
не знаю, как это сработает для вас
А почему же Jenkins - из пушки по воробьям?
Он как раз идеально подходит под ваши требования. Веб-сервер, отчёты, вывод логов в реальном времени - это же и есть Jenkins!
P.S. Как запускать SoapUI скрипты из ANT: http://blog.codeborne.com/2012/04/soapui-tests-with-antivy.html
Спасибо!
Решил остановиться все-таки на jenkins, возникли вопросы:
1. Selenium тесты запускаю через teamcity, там real time прописывается каждый test_step (passed/failed), запустил soapui тесты с помощью bat, в jenkins вывод идет только в консоль. Нет ли в нем другого отображения прохождения тестов?
2. Стоит ли заморачиваться с запуском тестов с помощью сборщиков (maven/ant) есть ли у них преимущества по сравнению с простым bat запуском?
так зачем вам тогда jenkins если у вас есть уже teamcity
просто настройте запуск в teamcity и не устанавливаете дополнительную систему, которая будет делать тоже что и teamcity
для того, чтобы получить какие-то результаты в CI, нужно сгенерировать junit report
это можно сделать через testrunner.bat/.sh -j
j : Turns on exporting of JUnit-compatible reports, see below
а дальше надо просто указать где сгенерировались выходные результаты
teamcity сильно загружена сборками самих проектов, поэтому решил использовать альтернативы.
Удалил лишние параметры в testrunner.bat и отчет начал рисоваться, но есть одна проблема, отчет формируется только после полного прохождения тестов.
Может кто встречал плагин, который формирует отчет в момент прогона на основе консольного вывода, так как некоторые тесты очень долгие, а в консоли смотреть не совсем удобно?
14:32:30,273 INFO [SoapUIProTestCaseRunner] Assertion [Match content of [value]] has status FAILED
14:32:30,273 ERROR [SoapUIProTestCaseRunner] ASSERTION FAILED -> XPathContains assertion failed for path [//value[0]] : Exception:Missing content for xpath [//value[0]] in Response
1. Если Teamcity и так загружена, а вы на этот же сервер поставите ещё и Jenkins, он станет ещё более загруженным.
Может, стоит разгрузить TeamCity, подумать об очерёдности проектов и пр.? Наверняка в TeamCity, как и в Jenkins, можно настроить "View", так чтобы проекты группировались по разным страницам. Тогда на одном экране не будет слишком много проектов.
2. Нет, такого плагина не встречал. А зачем это нужно? Если хотите следить за исполнением тестов в реальном времени - запускайте их на своей машине. А Continuous Integration нужен для независимого запуска.
1. jenkins будет на другом сервере.
2. Иногда очень удобно, увидев, что тесты начали сыпаться, остановить их, скорректировать входные данные и запустить заного, не ожидая их полного выполнения 20 минут.
я такого плагина не видел, но можно сделать два тест свита один с критичными тестами и другой с остальными
запускаете критичные и если они проходят, то выполняете остальные
testomat.io управление авто тестами