дальше надо обеспечить максимально независимый запуск автоматизации, т.е. чтобы ресурсы, логи, репорты и т.д. использовались в изоляции для одного запуска
каждой джобе можно выставить concurrent execution
дальше нужно обеспечить достаточное количество слейвов для параллельного запуска джобов
Или в п.1. можно сделать одну параметризированную джобу, где будет выбираться енвиронмент и источник тестовых данных.
вот как раз вот это походу и самое сложное - “дальше надо обеспечить максимально независимый запуск автоматизации, т.е. чтобы ресурсы, логи, репорты и т.д. использовались в изоляции для одного запуска”. Как вы у себя такое реализовуете?
Это обеспечивает сам Jenkins, если поставить флаг в задании “Разрешить параллельный запуск задачи”, то для каждой параллели создается свой личный воркспейс на время выполнения.
А как же тогда быть с тем, ведь каждый такой паралельный запуск смотрит на один тестовый стенд, следовательно в одну базу. Так или иначе они будут зависимы при паралельном запуске
самый главный вопрос, если использовать одну джобу на все случаи жизни, как тогда отслеживать стабильность сборок и результаты предыдущих сборок на тех же енвах ?
сделайте по джобе на каждый кейс, они то бесплатные в Дженкинсе
А можно поподробнее? Какой смысл запускать ту же самую джобу (с того же самого бранча, те же тесты, тот же environment)? [quote=“evgmoskalenko, post:1, topic:15575”]
на тестовом энваирменте - запускают 2-а QA
[/quote]
Дак выше же писал, может не правильно выразился или не так поняли, ссори
Чтобы параллельно проверили разные люди. И экзекьютор не ждал пока выполнится предыдущий тест.
все, кроме набора тестов - может быть одинаковым Кто-то скажем хочет выполнить одну пачку тестов, кто-то другую. В разное время эти пачки тестов могут меняться у разных экзекьютеров (поэтому выносить в сьюты смысла нет). А еще при этом надо допустим кому-то и сьюты запускать и ждать пока закончится тест прошлых экзекьютеров.
Я сейчас дженкинс подываю для своих целей и вот столкнулся с такой проблемой, что я не хочу плодить кучу джоб. Одно дело если сделать разные джобы на разные сьюты - тут я соглашусь, есть смысл и нет смысла другому человеку снова сьют целый запускать. Дождись его выполнения и посмотри отчет.
Но скажем если в это же время из этих же тестов кто-то (5 разных человек) хочет запускать свои какие-то пачки тестов -Dtest=test1, test2, test 555, то мне надо создать пять параметризированных джоб а хотелось бы одну
Я наверное вижу это так, что в докере у меня должны подыматься такие тесты со своим независимым окружением и с похожей базой данных и прочим… Интересно как другие такое делает.
Этих разных человек еще даже нет, все это пока в моей голове. Я как создатель всей этой инфраструктуры - не хочу, чтобы копировались джобы. Копирование джоб - это потом будет адский треш из таких джоб. А проект в итоге может быть не один, а 10 и уровни тестирования могут быть разными: интеграционные тесты, системные.
При одном подходе сложно разгребать, при другом подходе, клонируется куча джоб, которые так или иначе надо как-то поддерживать. Изменяя хаб или что еще придется потом редактировать всю эту кучу. Вот собственно из-за этого я и интересуюсь, как делают другие люди.
Мне нравится подход, когда не надо ничего разгребать, одну джобу можно запускать паралельно 100 раз и при этом не сложно понять по отчетам кто и когда запускал и что запускал. Скажем есть одна параметризированная джоба, которую могут запускать многие (там можно запустить пачку разных тестов с разных веток), и отдельная джоба на разные сьюты и одна джоба на ветку мастер и одна джоба на предрелизную ветку. И отдельная джоба на TestRail, с которого также параметризировано можно запускать разным экзекьюторам, при этом все отчеты упадут в нужный тест-ран тест-рейла.
Вот идеальный вариант в моей голове, как мне кажется это должно быть.
testomat.io управление авто тестами
