testomat.io управление авто тестамиСам работаю с postman-ом, но сейчас хочу не просто запускать набор тестов с использованием тестовых данных из внешнего файла и передачей необходимых переменных из одного запроса в другой а хочу часть информации из ответов творчески обработать и сохранить во внешний файл (json или csv) для последующего анализа. То есть нужна больше функция не тестирования (проверки ответов на соответствие ожидаемому содержимому) а сбора, обработки и сохранения полученной информации.
В постмане такой функциональности насколько я знаю нет. Смотрю в сторону soapUI (немного его использовал в ручном тестировании) но готов осваивать и другие инструменты для этого.
Поясню маленько:
Проект работает с данными:
- которых очень много
- от нас они не зависят и свои тестовые данные для проверки нашей логики мы туда добавить не можем
- данные меняются в разную сторону.
Поэтому для автоматизации тестирования api мы подбираем какие то входные данные, ответ на которые и хотим проверить, но в случаи их изменения тест падает и приходится искать другой объект для данного теста который бы соответствовал критерию проверки. Что может быть не быстро, учитывая что бывают достаточно редко встречающиеся комбинации свойств. Поэтому появилась идея параллельно тестам в автоматическом режиме (через api) рандомно запрашивать объекты, проверять какие у них есть комбинации свойств и при нахождении нужных сохранять реквизиты данного объекта для использования его в будущем в качестве тестового (после ручной проверки в некоторых внешних системах).
надо заглушки поставить , что бы ответы были одинаковые всегда
у нас где то под 100 разных запросов и 20 микросервисов, наши микросервисы так же по api запрашиваю и получают информацию от кучи микросервисов основного проекта, которые уже обращаются непосредственно к данным. Где предлагаете ставить заглушки?
у вас wsdl есть ?
нет, у нас типа REST, запросы и ответы в json, есть swagger
POSTMAN тоже умеет писать в файл при помощи newman и fs
Если судить по сравнению опен сорс версии с про Compare SoapUI vs. ReadyAPI | SoapUI, то Data-Driven Testing в SoapUI OS (опен сорс) вообще отсутствует 
.
про Data-Driven Testing у них написано: Dynamically Driven Tests, CSV or TXT, Excel, JDBC, Auto Generated.
You can boost your test coverage in just a few clicks with SoapUI Pro’s data-driven testing. You can import data via a DB connection, CSV, Excel or generate data, like addresses and credit-card numbers automatically.