testomat.io управление авто тестамиДобрый день!
Столкнулся с задачей автоматизированного тестирования продукта под мобильные платформы.
Точнее как... С десктопами проблем не испытал, а по мобильничкам накололся.
Что дано?
Продукт - некий js-движок, которые генерирует визуальные представления входных данных, причем рендерит во что угодно, хоть SVG, хоть Canvas и тд.
Что исследуется?
Исследуется поведение движка в разных окружениях.
Под поведением понимается процент отрисовки, "правильность" картинки, а также время отрисовки.
Под окружением понимается тройка: ОС, браузер, версия браузера.
Есть набор браузеров под различными ОС, в качестве платформ выбраны: MacOS Lion, Windows 7, Ubuntu 12.04 и мобильные платформы (iOS 5, Android 2.3 ,Windows Phone)
С чем нет проблем?
Нет проблем с десктопами. Всё решилось поднятием множества виртуальных машин с различным сочетанием версий браузеров. Везде настроен webdriver и все, конечно же, работают через Selenium Grid 2.
В чем вопросы?
- Как быть с мобильными платформами?
- Поднимать ли все на реальных устройствах или на эмуляторах?
- Если использовать эмулятор, то как сильно смажется представление о времени отрисовки, ведь эмулятор мощнее реального устройства?
- Если использовать реальные, то получается необходимо создавать стенд с ними, чтоли?
- Как это решалось в ваших компаниях/случаях?
Хотелось бы услышвать ваши развернутые (аргументированные) мнения по этому поводу.
Заранее благодарен.