Следом за предыдущим опросом, где выяснилось что в общем большинство создают свои собственные фреймворки нежели переиспользуют уже существующие, мы продолжаем серию опросов по поводу автоматизации тестирования для того чтобы понять общую картину.
0 участников
И не забываем ставить лайки, чтобы и дальше было желание вести опросы 
Эта тема теперь прилеплена глобально и будет появляться вверху списка тем соответствующего раздела и всех списков тем, пока персонал не отлепит ее глобально или пользователь не отлепит лично для себя.
Трудно будет делать какие-то выводы. Количества тестов мало - ведь они могут быть большими или маленькими, долгими или быстрыми…
Может, ещё можно опросить пропорцию юнит-тестов и UI-тестов в проекте. Я вот сейчас прикинул, у меня в текущем проекте 424 UI-теста (бегут 13 минут) и 2315 юнит-тестов (бегут < 1 минуты).
Верно, но тогда надо больше делать многоуровневый опрос с матрицами ответов. Добавил твой комментарий в общую тему, обдумаем при следующем опросе.
проголосовал и лайкнул…
Но как-то сферический опрос получается.
У нас 150+, юнит UI тестов, где-то в 2-3 минуты укладываются. Селениум есть, но бэкенд фальшивый. (И им же кроссбраузерность проверяем). Стэк: javascript/coffeescript/nodejs.
И где-то 20-50 (интервал т.к.: тестов мало, ассертов - много), минут на 6, где уже все система поднята, и нужен именно реальный бекенд. Стэк: sbt/scala+python 
Что хотет узнать автор?
Хочу понять общую картину, сколько в среднем создают (количественно) автоматических UI тестов на проектах. Конечно без дополнительной информации (за сколько тесты проходят, какой процент UI тестов, а какой unit тестов, сложность тестов и т.д.) тяжело будет судить о результатах, но это серия опросов и с появлением результатов, пазлы будут складываться в общую картинку.
у кого 5-10к тестов? 
признавайтесь 
интересно:
лет?
Не совсем понятно что имеется в виду под “UI тестами”. Любые тесты, которые работают с UI интерфейсом? Потому что на самом деле я разделяю такие тесты на:
Мне кажется, что нельзя их все месте в кучу связывать, потому что подходы к их реализации очень разные. (Хотя 1 и 2 можно связать вместе).
На мой взгляд, имееться в виду именно e2e тесты, т.е. автоматизация тестирования через UI
Я очень сильно надеюсь, что люди не делают упор на e2e тесты. Очень надеюсь…
Ну вот хочется увидеть цифры
Точно! Таких end-2-end должно быть настолько мало, насколько это возможно. И автоматизировать такие тесты практически не имеет смысла, т.к. все эти системы наверняка невозможно контролировать из тестов (запускать/останавливать/менять данные).
У нас ~600 end-2-end историй (каждая новая фича вносит еще 3-10), продолжительность запуска каждой примерно 1-3 минуты, т.к. это не просто проверка состояния контрола, а проверка пользовательского сценария. Оптимизация времени запуска имеет у нас в данный момент первый приоритет. Задачу решаем распараллеливанием тестов. Но все начинает усложняться тем что с этого года начинаем саппортить еще 3 браузера и их разные версии таким образом получим все что имели умноженное на X.
Цифры не важны. Важны пропорции.
ага
у нас цифры следующие:
e2e tests: 21
integration tests: 56
unit tests: 90
подскажите, за счет чего удается достичь такой маленькой продолжительности запуска 424 тестов. Можете привести пример обезличенного среднестатистического теста у вас на проекте?
А как планируется учесть процент уникальных темтов или наоьорот дэйтадривен? По факту нужно понять что хотим узнать опросом? Величину среднего проекта или размер среднего запуска? Например на проекте ожет быть 300 уникальных тестов, но на запуске все они парметризуются и в конечном счете запускается 2500.
testomat.io управление авто тестами