Grid2 & Mobile

Добрый день!
Столкнулся с задачей автоматизированного тестирования продукта под мобильные платформы.
Точнее как... С десктопами проблем не испытал, а по мобильничкам накололся.

Что дано?
Продукт - некий js-движок, которые генерирует визуальные представления входных данных, причем рендерит во что угодно, хоть SVG, хоть Canvas и тд.

Что исследуется?
Исследуется поведение движка в разных окружениях. 
Под поведением понимается процент отрисовки, "правильность" картинки, а также время отрисовки.
Под окружением понимается тройка: ОС, браузер, версия браузера. 
Есть набор браузеров под различными ОС, в качестве платформ выбраны: MacOS Lion, Windows 7, Ubuntu 12.04 и мобильные платформы (iOS 5, Android 2.3 ,Windows Phone)

С чем нет проблем?
Нет проблем с десктопами. Всё решилось поднятием множества виртуальных машин с различным сочетанием версий браузеров. Везде настроен webdriver и все, конечно же, работают через Selenium Grid 2.

В чем вопросы?


  • Как быть с мобильными платформами? 
  • Поднимать ли все на реальных устройствах или на эмуляторах?
  • Если использовать эмулятор, то как сильно смажется представление о времени отрисовки, ведь эмулятор мощнее реального устройства?
  • Если использовать реальные, то получается необходимо создавать стенд с ними, чтоли?
  • Как это решалось в ваших компаниях/случаях?

Хотелось бы услышвать ваши развернутые (аргументированные) мнения по этому поводу.
Заранее благодарен.

 

Если использовать эмулятор, то как сильно смажется представление о времени отрисовки, ведь эмулятор мощнее реального устройства?

1) Вовсе не обязательно мощнее. В случае с Windows Phone и Android эмулятор может быть намного тормознутее реального устройства.

2) Сами по себе реальные устройства (Android) тоже довольно разной мощности и довольно разного разрешения экрана.