Я думаю довольно обычная ситуация, когда автоматизация разворачивается не как должна, по правилам, а в не кой хаотичности, что в свою очередь приводит к ряду проблем.
Сегодня ко мне подошел коллега и начал задавать вопросы по поддержке и сопровождении автоматизации. Вопросы вполне ожидаемые:

• Сколько нужно выделять временени на поддержку автоматизации?
• Как правильно сделать обработку ошибок, чтобы анализ результатов был минимальным?
• Чем плох подход, когда пишутся тесты, а потом думают над тем, чтобы уменшить время на сопровождение?
• Как решить проблемы и показать заказчику, что поддержка нужна и она требует времени?
• ...

А главный вопрос, что над проектом работали 16 человек, при этом писали "лабали" код по черному, а вот о стратегии забыли. А почему забыли, потому что заказчик сказал: "Вперед и поехали, да с ветерком!". Но при этом никто сильно не удосужился должным образом объяснить заказчику, какие проблемы при такой "легкой" автоматизации. 

Теперь у них 700 тест кейзов из которых 60% стабильно падают после каких-то билдов, из-за разных проблем. Соответственно, идентификация дефектов очень не результативна. На анализ полученных результатов нужно 2-3 минут.

(2 мин или 3 мин)*(700*0.6)/60 мин=14-21 часов. Один человек работает где-то 7 часов в день, то значит надо 1 день для 3х людей, чтобы только проанализировать результаты.

Так вот: 3 человека работают с 100% загруженностью уже вторую неделю и не видят ни конца ни края. Заказчик хочет 100% прохождения тестов, а также расширение покрытия.

Собственно, что меня интересуюет - это статистика и ваш личный опыт?

• Сколько времени вы закладываете на сопровождение?
• Что делаете, чтобы уменшить время поддержки?
• Сколько времени реально тратиться на поддержку?
• Какие механизмы анализа результатов используете?
• Сколько времени занимает анализ результатов чтобы изолировать и определить дефект?