Выбор фреймворка для тестирования на python

[akim]

Всем добрый день.

Недавно начал автоматизировать тестирование проекта. В качестве языка выбран python. Сейчас стоит задача определиться с выбором фреймворка для тестирования.

Гуглил на этот счет и пока что выбрал nose, robot framework.
Но особых притязаний к какому-либо еще нет. Может есть другие хорошие варианты?

Подскажите опытные автоматизаторы, какой фреймворк подобрать.
Какой фреймворк быстрее по написанию тестов, какой с архитектурой по проще.

Немного о проекте.
Проект имеет веб фронтэнд, который будет тестироваться с webdriver. Также есть mysql бд, которая также будет участвовать в тест-кейсах. И будут использоваться bash команды для проверки директорий, логов, авторизаций и подобных команд юзера. Все это планировалось построить через unittest архитектуру. Но пока точного решения не принято.

Посоветуйте пожалуйста.

[polusok]

Ну выбор фреймворка зависит еще от многих факторов

• знания и опыт
• применение в команде
• поддержка программистов

Но лучше искать более высокого уровня фреймворки смотреть, например

• py.saunter https://github.com/element-34/py.saunter/
• moz-web-qa https://github.com/davehunt/pytest-mozwebqa
• testutils sst http://testutils.org/sst/
• splinter https://github.com/cobrateam/splinter
• pytest_splinter https://github.com/pytest-dev/pytest-splinter
• wtframework https://github.com/wiredrive/wtframework
• holmium.core https://github.com/alisaifee/holmium.core
• robotframework-selenium2library https://github.com/rtomac/robotframework-selenium2library
• gocept.selenium https://bitbucket.org/gocept/gocept.selenium/
• lettuce_webdriver https://github.com/bbangert/lettuce_webdriver
• webium https://github.com/wgnet/webium

А еще стоит упомянуть BDD инструменты:

• mamba http://nestorsalceda.github.io/mamba/
• lettuce https://github.com/gabrielfalcao/lettuce
• behave https://pypi.python.org/pypi/behave
• contexts https://github.com/benjamin-hodgson/Contexts
• freshen https://github.com/rlisagor/freshen
• pyvows http://heynemann.github.io/pyvows/

некоторые уже обсуждались в этой теме

Интересные исходники кода автоматизации разных проектов или фреймворков

Недавно открыл для себя репозиторий Мозиллы и их код для автоматизации веб приложений с помощью Python+Webdriver Вот, например, шаблоны для старта своей автоматизации: https://github.com/mozilla/mozwebqa-test-templates А здесь пример реализации реального приложения: https://github.com/mozilla/remo-tests

Интересные исходники кода автоматизации разных проектов или фреймворков

Они еще отдельно вынесли проект обертки для py.test https://github.com/davehunt/pytest-mozwebqa Тоже интересно посмотреть, если хотите делать что-то похожее.

Интересные исходники кода автоматизации разных проектов или фреймворков

И еще хотел бы добавить отличный фреймворк на Python для WebDriver - PySaunder Saunter is an opinionated automation framework for use with the Selenium RC and WebDriver libraries. It is designed to remove a lot of the overhead and cruft that hinders teams when they first start out with automation. For documentation around Saunter see http://element34.ca/products/saunter/pysaunter. https://github.com/Element-34/py.saunter Примеры тесты конечного выглядят так вот:

[vanclist]

Есть опыт использования splinter + lettuce? Или splinter + behave?

[TIT]

[quote=“akim, post:1, topic:3476”]
И будут использоваться bash команды для проверки директорий, логов, авторизаций и подобных команд юзера.
[/quote]Старайтесь не плодить сущности. Все действия «баша» можно реализовать на Python.
Проще поддерживать (ваш напарник может знать Python и не знать Bash, например).

[polusok]

Есть опыт использования splinter + lettuce? Или splinter + behave?

А есть конкретные вопросы? Тогда описывайте в подробностях в новой теме и будем обсуждать.

[vanclist]

Выбирал между этими двумя BDD инструментами, остановился на Lettuce. Конкретные вопросы скоро появятся

[polusok]

А можно вкратце какие критерии для выбора между этими тулами были и почему именно остановились на lettuce?

[vanclist]

Извиняюсь за задержку с ответом!

Остановился на Lettuce, потому что комьюнити живое и автор адекватно реагирует на замечания/предложения и активно добавляет новые функции и исправляет баги.

Mvdb/harvest command use argparse (#527)

[akim]

У нас кончилось тем что мы написали собственный велосипед над webdriver-ом основываясь на unittest. Отказались от BDD потому что:

1. Не факт что не возникнут “костыли”, которые не решатся синтаксисом этого самого BDD фреймворка.
2. Чтобы использовать его для системы тестирования нужно писать на определенном синтаксисе, а значит для новых тестеров будет порог вхождения не только языка, но и этого фреймворка. А на самописном получается что только языка в моем случае python/

[Katya]

У нас кончилось тем что мы написали собственный велосипед над webdriver-ом основываясь на unittest.

А мы используем nosetests, он представляет собой расширение над стандартными unittest и облегчает написание тестов. Интересно, а какой функциональности вам не хватило, расскажите в кратце, что своё допиливали?

[artem_iljin]

Тестируем REST, за основу взяли nose, не хватило функциональности Java-вского TestNG, поэтому попробовали Proboscis. Теперь имеем всю функциональность Nose (возможность использовать плагины, формировать отчёты) плюс немного TestNG-шных плюшек в виде группировки тестов, тестов с зависимостями, построения карты тестовой сюиты и т.д.

[polusok]

А мне еще интересно, какие плюсы и минусы вы нашли при сравнение двух самых популярных xunit фреймворков для python py.test vs nosetest?

[akim]

Думали о nosetests, но оказалось что простая надстройка над тестраннером unittest позволит нам покрыть весь функционал. Функциональности особо индивидуальной не преследовали, просто сделали все тесты в определенном порядке и в уровнях абстракции. Отдельные тесты с бэкендом и отдельные с фронтендом, а также совместные. Сейчас все это дело переезжает на Jenkins и теперь понадобились отчеты xml и скриншоты для падающих тестов. Поэтому еще используем xmlrunner который генерит отчеты для Jenkins. А скриншоты webdriver сам отлично фоткает.

[polusok]

Хотел бы еще добавить пару интересных проектов, которые можно посмотреть:

• holmium.core https://github.com/alisaifee/holmium.core
• gocept.selenium https://bitbucket.org/gocept/gocept.selenium/
• lettuce_webdriver https://github.com/bbangert/lettuce_webdriver

[polusok]

Сейчас набиваю список полезных инструментов и фреймворков здесь

atinfo/awesome-test-automation/blob/master/python-test-automation.md

[Ayia]

Selenide в мире python = Elementium: https://github.com/actmd/elementium

[Iryna_Onyshchuk]

Есть еще Selene - такой себе Selenide на Python от @Ayia https://github.com/yashaka/selene

[braunman]

Мы им пользуемся на проекте, ничего так помогает быстрее писать тесты))