testomat.io управление авто тестамиВсем привет!
В одном докладе прозвучала интересная, на мой взгляд, идея, проведения краткого smoke-теста с использованием jmeter (в принципе это может быть любая другая подходящая тулза). Суть в том, что в сценарии jmeter накликиваются какие-то критичные урлы (страницы, баннеры, урлы интеграции и др), по которым скрипт проходит очень быстро и позволяет отловить неработающий функционал. Докладчик сказал, что способ вполне эффективный, учитывая специфику тестируемого ресурса (banki.ru в его случае).
Хочу попробовать применить такой способ для одного из проектов (в качестве пилотного, потом размножить, если полетит).
Есть проблема, что функционал не успевает тестироваться вручную, автотестов тем более нет, функционал добавляется в спешке и выкатывается на бой. С помощью описанного способа (как на бою, так и на тесте) предполагаю отлавливать конкретные факапы, типа 404, 500 и т.д., без проверки логики.
Предвижу сложности с поддержкой (частые изменения), поэтому предполагаю делать много маленьких сценариев. При поломке сценария (не из-за бага, а из-за изменения) он тупо перезаписывается (record-n-play)
Кто что думает? Какие мысли, советы? Буду рад услышать, если у кого-то есть похожий опыт. Для чего применялся? Есть ли польза? От чего она есть, от чего нет? Какие сложности (подводные камни) возникают? И т.д.
P.S. “функциональный” в названии взят в кавычки, т.к. он не нагрузочный, но и не особо функциональный