testomat.io управление авто тестамиЯ понимаю, что это не совсем автоматизация, но хотелось бы узнать у уважаемого сообщества - сколько на вашем проекте по времени занимает smoke тест. Пример - разработчики пофиксили конкретного жука, отдали вам, вы проверили сам фикс + надо быстро пробежать по основному функционалу, что он работает. Сколько времени у вас на это уходит?
Смоук тесты проходят за пару минут.
В том и смысл таких проверок, чтобы они были небольшими и быстрыми
и чтобы их можно было очень часто запускать.
А почему возник такой вопрос?
Потому что на наших проектах смоук тест длится от трех часов и больше. И лично я уже заколебалась доказывать что это неправильно, это регрессия, но нет.
Ну надо понимать, что есть еще специфика каждого проекта. Это не означает, что у вас тесты тоже должны проходить пару минут. Но факт остается фактом смоук тесты должны быть быстрыми и легковесными для того, чтобы их можно было запускать часто.
Возможно вам надо собраться еще раз и поговорить об этом. А какие у них аргументы? И почему Вы считаете, что прохождение смоук тестов от 3х часов это плохо? Может быть у вас мега большой проект и кучей данных и зависимостей между данными и системами?!
Именно[quote=“polusok, post:4, topic:3450”]
Возможно вам надо собраться еще раз и поговорить об этом.
[/quote]
Именно об этом я и думаю. Нет, у нас не мега большой проект и нет необходимости проводить все тесты после одного фикса, оосбенно когда он срочный и идет на прод и никто не может жать over 3 часов.
Этот критерий лучше показывает, что у нас это не так. Увы. Спасибо вам.
Ну могу только пожелать удачи в переговорах, а еще лучше, просто подумать, как можно легко и быстро поменять процесс, попытаться его поменять и доказать правоту своих суждений. Все познается делом! А фактам быстрее доверяют.
Смоук тест – это тоже регрессия 
На самом деле, то что вы гоняете 3 часа – это, скорее Acceptance Tests, а не смоук.
На моем прошлом проекте, Acceptance план состоял из 3-х частей и шел больше 10-ти часов, но при этом, состоял из трех частей, которые можно было запустить отдельно:
Installation / Build Verification Scenario – около 30 минут. Выкачивался билд, проверялась инсталляция. Дистрибутив был больше гига, так что львиную долю времени занимала как раз инсталляция и выкачка.
UI Verification – это и был смоук тест. Открывалось каждое окно приложения и проверялось, что все контролы существуют и нет изменений. Если тесты валились на этом этапе, то продолжать тестирование не было смыла. Нужно было вначале исправить изменения. Шел около часа.
Functional – по парочке тестов из каждой функциональности. Шел около 8 часов.
Сейчас я тоже использую UI Verification в качестве смоук теста. Идет минут 20, но зато сразу же выявляет очень много проблем, такие как серверные крэши, JavaScript ошибки и изменения в приложении.
1 лайк
Разумеется, в каком-то смысле. Можно долго пускаться в околотерминологиеские диспуты, но факт остается фактом - если у вас может быть до нескольких деплоев в день - 3 часа на смоук - слишком большая роскошь.
Я уже продумала и применяю на своем проекте, довольно успешно надо сказать. Думаю насколько мне нужно влезать не совсем в свой, но определенно наш в смысле того, что это одна компания, проект и что мне за это будет 
Критерий был самый лучший (про быстроту и легковесность) 