Есть отличная удаленная работа для php+codeception+jenkins+allure+docker спецов. 100% remote! Присоединиться к проекту

Длительность smoke теста


(CarryGun) #1

Я понимаю, что это не совсем автоматизация, но хотелось бы узнать у уважаемого сообщества - сколько на вашем проекте по времени занимает smoke тест. Пример - разработчики пофиксили конкретного жука, отдали вам, вы проверили сам фикс + надо быстро пробежать по основному функционалу, что он работает. Сколько времени у вас на это уходит?


(Mykhailo Poliarush) #2

Смоук тесты проходят за пару минут.

В том и смысл таких проверок, чтобы они были небольшими и быстрыми
и чтобы их можно было очень часто запускать.

А почему возник такой вопрос?


(CarryGun) #3

Потому что на наших проектах смоук тест длится от трех часов и больше. И лично я уже заколебалась доказывать что это неправильно, это регрессия, но нет.


(Mykhailo Poliarush) #4

Ну надо понимать, что есть еще специфика каждого проекта. Это не означает, что у вас тесты тоже должны проходить пару минут. Но факт остается фактом смоук тесты должны быть быстрыми и легковесными для того, чтобы их можно было запускать часто.

Возможно вам надо собраться еще раз и поговорить об этом. А какие у них аргументы? И почему Вы считаете, что прохождение смоук тестов от 3х часов это плохо? Может быть у вас мега большой проект и кучей данных и зависимостей между данными и системами?!


(CarryGun) #5

Именно[quote=“polusok, post:4, topic:3450”]
Возможно вам надо собраться еще раз и поговорить об этом.
[/quote]
Именно об этом я и думаю. Нет, у нас не мега большой проект и нет необходимости проводить все тесты после одного фикса, оосбенно когда он срочный и идет на прод и никто не может жать over 3 часов.

Этот критерий лучше показывает, что у нас это не так. Увы. Спасибо вам.


(Mykhailo Poliarush) #6

Ну могу только пожелать удачи в переговорах, а еще лучше, просто подумать, как можно легко и быстро поменять процесс, попытаться его поменять и доказать правоту своих суждений. Все познается делом! А фактам быстрее доверяют.


(Дмитрий Жарий) #7

Смоук тест – это тоже регрессия :smiley:

На самом деле, то что вы гоняете 3 часа – это, скорее Acceptance Tests, а не смоук.

На моем прошлом проекте, Acceptance план состоял из 3-х частей и шел больше 10-ти часов, но при этом, состоял из трех частей, которые можно было запустить отдельно:

Installation / Build Verification Scenario – около 30 минут. Выкачивался билд, проверялась инсталляция. Дистрибутив был больше гига, так что львиную долю времени занимала как раз инсталляция и выкачка.

UI Verification – это и был смоук тест. Открывалось каждое окно приложения и проверялось, что все контролы существуют и нет изменений. Если тесты валились на этом этапе, то продолжать тестирование не было смыла. Нужно было вначале исправить изменения. Шел около часа.

Functional – по парочке тестов из каждой функциональности. Шел около 8 часов.

Сейчас я тоже использую UI Verification в качестве смоук теста. Идет минут 20, но зато сразу же выявляет очень много проблем, такие как серверные крэши, JavaScript ошибки и изменения в приложении.


(CarryGun) #8

Разумеется, в каком-то смысле. Можно долго пускаться в околотерминологиеские диспуты, но факт остается фактом - если у вас может быть до нескольких деплоев в день - 3 часа на смоук - слишком большая роскошь.


(CarryGun) #9

Я уже продумала и применяю на своем проекте, довольно успешно надо сказать. Думаю насколько мне нужно влезать не совсем в свой, но определенно наш в смысле того, что это одна компания, проект и что мне за это будет :slight_smile: Критерий был самый лучший (про быстроту и легковесность) :sunny: