Проверка JSON схемы через валидатор в автотесте API

общие вопросы
, , ,
#1

Всем привет!
При написании автотестов API мы обязательно должны проверять:

  • Статус код ответа.
  • Данные ответа относительно запроса в тест-кейсе.

В свох проектах я еще составляю JSON схему на ответ метода, описываю поля с типами, указываю обязательные ключи и тд, всё в рамках JSON Schema Draft. Далее JSON инстанс скармливаю валидатору схемы. И это отлично работает когда схема небольшая и методы по 5 раз в месяц не переделывают. Но если в ответе ключей много и проект активно развивается, то в проекте начинаются:

  • Постоянные падения из-за новых ключей или расширения типов. Хотя это и не является валидным падением. Приходится править схему и перезапускать тесты.
  • Выяснения о непрошедших тестах, которые отвлекают автоматизатора, ПМа, разработчика.

В связи с этим 2 вопроса:

  • Как вы проверяете ответы с большим количеством ключей при активной разработке API?
  • Включаете ли вы проверку схемы в обязательные проверки?
#2

Привет! А нельзя проверять значение каждого ключа в ответе?

#3

Можно, но почти всегда не нужно. Есть тест кейс и данные к нему, вот их и надо проверять. Мой вопрос немного не про это.