Я думаю довольно обычная ситуация, когда автоматизация разворачивается не как должна, по правилам, а в не кой хаотичности, что в свою очередь приводит к ряду проблем.
Сегодня ко мне подошел коллега и начал задавать вопросы по поддержке и сопровождении автоматизации. Вопросы вполне ожидаемые:
- Сколько нужно выделять временени на поддержку автоматизации?
- Как правильно сделать обработку ошибок, чтобы анализ результатов был минимальным?
- Чем плох подход, когда пишутся тесты, а потом думают над тем, чтобы уменшить время на сопровождение?
- Как решить проблемы и показать заказчику, что поддержка нужна и она требует времени?
- ...
А главный вопрос, что над проектом работали 16 человек, при этом писали "лабали" код по черному, а вот о стратегии забыли. А почему забыли, потому что заказчик сказал: "Вперед и поехали, да с ветерком!". Но при этом никто сильно не удосужился должным образом объяснить заказчику, какие проблемы при такой "легкой" автоматизации.
Теперь у них 700 тест кейзов из которых 60% стабильно падают после каких-то билдов, из-за разных проблем. Соответственно, идентификация дефектов очень не результативна. На анализ полученных результатов нужно 2-3 минут.
(2 мин или 3 мин)*(700*0.6)/60 мин=14-21 часов. Один человек работает где-то 7 часов в день, то значит надо 1 день для 3х людей, чтобы только проанализировать результаты.
Так вот: 3 человека работают с 100% загруженностью уже вторую неделю и не видят ни конца ни края. Заказчик хочет 100% прохождения тестов, а также расширение покрытия.
Собственно, что меня интересуюет - это статистика и ваш личный опыт?
- Сколько времени вы закладываете на сопровождение?
- Что делаете, чтобы уменшить время поддержки?
- Сколько времени реально тратиться на поддержку?
- Какие механизмы анализа результатов используете?
- Сколько времени занимает анализ результатов чтобы изолировать и определить дефект?