Выбор фреймворка для тестирования на python

[akim (Andrey Kim)]

Всем добрый день.

Недавно начал автоматизировать тестирование проекта. В качестве языка выбран python. Сейчас стоит задача определиться с выбором фреймворка для тестирования.

Гуглил на этот счет и пока что выбрал nose, robot framework.
Но особых притязаний к какому-либо еще нет. Может есть другие хорошие варианты?

Подскажите опытные автоматизаторы, какой фреймворк подобрать.
Какой фреймворк быстрее по написанию тестов, какой с архитектурой по проще.

Немного о проекте.
Проект имеет веб фронтэнд, который будет тестироваться с webdriver. Также есть mysql бд, которая также будет участвовать в тест-кейсах. И будут использоваться bash команды для проверки директорий, логов, авторизаций и подобных команд юзера. Все это планировалось построить через unittest архитектуру. Но пока точного решения не принято.

Посоветуйте пожалуйста.

[polusok (Mykhailo Poliarush)]

Ну выбор фреймворка зависит еще от многих факторов

• знания и опыт
• применение в команде
• поддержка программистов

Но лучше искать более высокого уровня фреймворки смотреть, например

• py.saunter GitHub - Element-34/py.saunter: sample framework for using selenium with python and page objects
• moz-web-qa GitHub - davehunt/pytest-mozwebqa: Mozilla WebQA plugin for py.test.
• testutils sst Samsun escort bayanlar ve onları arayan erkekler için en yeni sitemiz!
• splinter GitHub - cobrateam/splinter: splinter - python test framework for web applications
• pytest_splinter GitHub - pytest-dev/pytest-splinter: pytest splinter and selenium integration for anyone interested in browser interaction in tests
• wtframework GitHub - wiredrive/wtframework: Framework for configurable Web Tests in Python.
• holmium.core GitHub - alisaifee/holmium.core: Page objects & Utilities for writing selenium test cases.
• robotframework-selenium2library GitHub - robotframework/SeleniumLibrary: Web testing library for Robot Framework
• gocept.selenium https://bitbucket.org/gocept/gocept.selenium/
• lettuce_webdriver GitHub - bbangert/lettuce_webdriver: Selenium webdriver for lettuce
• webium GitHub - wgnet/webium: Webium is a Page Object pattern implementation library for Python (http://martinfowler.com/bliki/PageObject.html). It allows you to extend WebElement class to your custom controls like Link, Button and group them as pages.

А еще стоит упомянуть BDD инструменты:

• mamba mamba: the definitive test runner for Python | mamba
• lettuce GitHub - gabrielfalcao/lettuce: Behavior-driven-development tool for python, inspired by Cucumber for Ruby ⛺
• behave behave · PyPI
• contexts GitHub - benjamin-hodgson/Contexts: Descriptive testing for Python
• freshen GitHub - rlisagor/freshen: Clone of the Cucumber BDD framework for Python
• pyvows PyVows - Your Valuable Source for News, Analysis, Insight

некоторые уже обсуждались в этой теме

Интересные исходники кода автоматизации разных проектов или фреймворков

Недавно открыл для себя репозиторий Мозиллы и их код для автоматизации веб приложений с помощью Python+Webdriver Вот, например, шаблоны для старта своей автоматизации: https://github.com/mozilla/mozwebqa-test-templates А здесь пример реализации реального приложения: https://github.com/mozilla/remo-tests

Интересные исходники кода автоматизации разных проектов или фреймворков

Они еще отдельно вынесли проект обертки для py.test https://github.com/davehunt/pytest-mozwebqa Тоже интересно посмотреть, если хотите делать что-то похожее.

Интересные исходники кода автоматизации разных проектов или фреймворков

И еще хотел бы добавить отличный фреймворк на Python для WebDriver - PySaunder Saunter is an opinionated automation framework for use with the Selenium RC and WebDriver libraries. It is designed to remove a lot of the overhead and cruft that hinders teams when they first start out with automation. For documentation around Saunter see http://element34.ca/products/saunter/pysaunter. Примеры тесты конечного выглядят так вот:

[vanclist (Вячеслав Артемчук)]

Есть опыт использования splinter + lettuce? Или splinter + behave?

[TIT (Сергей Блохин)]

[quote=“akim, post:1, topic:3476”]
И будут использоваться bash команды для проверки директорий, логов, авторизаций и подобных команд юзера.
[/quote]Старайтесь не плодить сущности. Все действия «баша» можно реализовать на Python.
Проще поддерживать (ваш напарник может знать Python и не знать Bash, например).

[polusok (Mykhailo Poliarush)]

Есть опыт использования splinter + lettuce? Или splinter + behave?

А есть конкретные вопросы? Тогда описывайте в подробностях в новой теме и будем обсуждать.

[vanclist (Вячеслав Артемчук)]

Выбирал между этими двумя BDD инструментами, остановился на Lettuce. Конкретные вопросы скоро появятся

[polusok (Mykhailo Poliarush)]

А можно вкратце какие критерии для выбора между этими тулами были и почему именно остановились на lettuce?

[vanclist (Вячеслав Артемчук)]

Извиняюсь за задержку с ответом!

Остановился на Lettuce, потому что комьюнити живое и автор адекватно реагирует на замечания/предложения и активно добавляет новые функции и исправляет баги.

Commits · gabrielfalcao/lettuce

[akim (Andrey Kim)]

У нас кончилось тем что мы написали собственный велосипед над webdriver-ом основываясь на unittest. Отказались от BDD потому что:

1. Не факт что не возникнут “костыли”, которые не решатся синтаксисом этого самого BDD фреймворка.
2. Чтобы использовать его для системы тестирования нужно писать на определенном синтаксисе, а значит для новых тестеров будет порог вхождения не только языка, но и этого фреймворка. А на самописном получается что только языка в моем случае python/

[Katya (Romanchuk Katerina)]

У нас кончилось тем что мы написали собственный велосипед над webdriver-ом основываясь на unittest.

А мы используем nosetests, он представляет собой расширение над стандартными unittest и облегчает написание тестов. Интересно, а какой функциональности вам не хватило, расскажите в кратце, что своё допиливали?

[artem_iljin]

Тестируем REST, за основу взяли nose, не хватило функциональности Java-вского TestNG, поэтому попробовали Proboscis. Теперь имеем всю функциональность Nose (возможность использовать плагины, формировать отчёты) плюс немного TestNG-шных плюшек в виде группировки тестов, тестов с зависимостями, построения карты тестовой сюиты и т.д.

[polusok (Mykhailo Poliarush)]

А мне еще интересно, какие плюсы и минусы вы нашли при сравнение двух самых популярных xunit фреймворков для python py.test vs nosetest?

[akim (Andrey Kim)]

Думали о nosetests, но оказалось что простая надстройка над тестраннером unittest позволит нам покрыть весь функционал. Функциональности особо индивидуальной не преследовали, просто сделали все тесты в определенном порядке и в уровнях абстракции. Отдельные тесты с бэкендом и отдельные с фронтендом, а также совместные. Сейчас все это дело переезжает на Jenkins и теперь понадобились отчеты xml и скриншоты для падающих тестов. Поэтому еще используем xmlrunner который генерит отчеты для Jenkins. А скриншоты webdriver сам отлично фоткает.

[polusok (Mykhailo Poliarush)]

Хотел бы еще добавить пару интересных проектов, которые можно посмотреть:

• holmium.core GitHub - alisaifee/holmium.core: Page objects & Utilities for writing selenium test cases.
• gocept.selenium https://bitbucket.org/gocept/gocept.selenium/
• lettuce_webdriver GitHub - bbangert/lettuce_webdriver: Selenium webdriver for lettuce

[polusok (Mykhailo Poliarush)]

Сейчас набиваю список полезных инструментов и фреймворков здесь

atinfo/awesome-test-automation/blob/master/python-test-automation.md

[Ayia]

Selenide в мире python = Elementium: GitHub - actmd/elementium: jQuery-style syntactic sugar for highly reliable automated browser testing in Python

[Iryna_Onyshchuk]

Есть еще Selene - такой себе Selenide на Python от @Ayia GitHub - yashaka/selene: User-oriented Web UI browser tests in Python

[braunman (Андрей Браун)]

Мы им пользуемся на проекте, ничего так помогает быстрее писать тесты))