Есть отличная удаленная работа для php+codeception+jenkins+allure+docker спецов. 100% remote! Присоединиться к проекту

Полезные ссылки и информация по Allure Framework


(Mykhailo Poliarush) #1

Инициатива создания полезных ссылок по автоматизации. Поддерживаем!
Новая категорая thucydides на at.info

О фреймворке

There are lots of cool testing frameworks for different programming languages. Unfortunately only few of them can provide good representation of test execution output. Yandex testing team is working on Allure http://allure.qatools.ru/ - an open-source framework designed to create test execution reports clear to everyone in the team.

Основная информация

  1. http://allure.qatools.ru/ - Основной сайт Allure Framework

Полезные ссылки

  1. http://overtest.me/tag/allure/

Полезные презентации, видео, доклады

  1. Cкоро будет

Tips and tricks

  1. Cкоро будет

Если хотите добавить ссылку, доклад, видео, и все что считаете нужным, просто комментируйте эту тему, а модераторы будут выносить полезные информацию в тело этой темы.


at.info 1.1 новая функциональность: подписка, поиск, награды, сочетания клавиш, профиль, wiki и многое другое
(Mykhailo Poliarush) #2

Эта тема отлеплена. Она больше не будет отображаться наверху списка тем категории.


(Mykhailo Poliarush) #3

Эта тема прилеплена. Она будет всегда отображаться первой в списке тем своей категории, пока не будет отлеплена модератором, или сброшена вниз, когда каждый пользователь нажмет кнопку «Отлепить»


(heartwilltell) #4

https://github.com/allure-framework - вся Wiki и документация тут
https://github.com/allure-examples - тут примеры для каждого адаптора


(vania-pooh) #5

Привет! Есть еще почта allure@yandex-team.ru, на которую мы отвечаем и тег на StackOverflow, за которым мы следим: http://stackoverflow.com/questions/tagged/allure


(sidelnikovmike) #6

@polusok как и обещал - @vania_pooh - один из команды разработки allure. Думаю Ваня сможет немного информации добавить на эту страничку.
@vania_pooh - тебе отдельное спасибо :smile:


(vania-pooh) #7

Вот еще конференция будет - http://confengine.com/selenium-conf-2014/proposal/306/allure-framework-crystal-clear-reports-for-your-selenium-tests-in-any-language Правда в Индии. :smile:


(vmaximv) #8

Отсутствие колонки Passed на табе xUnit - это баг или фича? :slight_smile:
Фильтр у сьютов на этом табе вообще какой-то невнятный: фильтрует тесты, но находится на странице сьютов, причем эти тесты могут быть и не открыты, а если какой-либо сьют открыт - получаем два фильтра, которые дублируют друг-друга.
Также жутко не хватает тотала. В совокупности в нормальным фильтром по сьютам можно было бы собирать интересную статистику: например, сколько отняли времени зафейленные тесты.
Кастомизации, я так понимаю, нету никакой?
Разделение дефектов на product defects и test defects тоже довольно жесткое. Если в юнит-тестах оно и приемлемо, то в интеграционных - однозначно нет.


(Александр Шиповалов) #9

А Allure, генерирует отчет только по одному запуску? Как то собирать и вести статистику по истории запусков - он не может?


(sidelnikovmike) #10

Да. Аллюр - это инструмент для построение отчета именно по одному запуску. Вести какую-то статистику - он не умеет


(sidelnikovmike) #11

Попробую ответить.
Как мне видится - колонка passed - не особо и нужна. В принципе понятно, что все, что не попадает в другие колонки - passed. Да и кажется, что самая важная информация в отчете - это все таки ошибки и проблемы, если таковые есть.
Фильтры - это достаточно удобно, что можно на вкладке сьютов сразу отсортировать, чтобы ненужная информация не “мозолила” глаз, а отображалась только нужная информация.
По поводу времени - я согласен. Было бы интересно - если выбираешь только failed тесты - чтобы время тоже пересчитывалось. Надо предложить такое разработчикам.

Разделение дефектов - почему не применимо?
Сейчас как я понимаю считается, что если тест свалился с эксепшном - то значит он как-то неучтен, и значит тест написан плохо. Данное разделение как раз кажется нормальным.


(sidelnikovmike) #12

я написал разработчикам.
А вообще - все идеи можно писать на allure@yandex-team.ru
или по кнопочке - provide feedback прямо в отчете.


(vmaximv) #13

Попробую возразить. Отчеты без “зелени” - это бред. Отчеты такого уровня “красивости” в первую очередь нужны для интеграционных авто-тестов и предназначаются, в первую очередь, не для самих писателей тестов, а для тиммейтов/менеджеров/заказчика. А для них, как правило, важно не сколько тестов “упало”, а сколько прошло. А наличие в фильтре “Passed”, и отсутствии соответствующей колонки вводит в когнитивный диссонанс.
Отчетность всегда строится по схеме Passed-Failed-Total, даже в ручном тестировании. Проделывать до четырех арифметических операций, что бы получить “базовую” цифру - это нонсенс.

[quote=“sidelnikovmike, post:11, topic:4983”]
Фильтры - это достаточно удобно, что можно на вкладке сьютов сразу отсортировать
[/quote]Согласен. Но… При данном функционале они совершенно бесполезны, да и в придачу изрядно путают. Вот зашел я на саммари, вижу фильтр по “Broken”, выключаю тесты со статусом “Broken”,и… ничего, ничего не изменилось. Хотя я ожидал, что эти гадкие желтые квадратики исчезнут :smile:

[quote=“sidelnikovmike, post:11, topic:4983”]
Разделение дефектов - почему не применимо?
[/quote]Я уже писал, для юнит-тестов этот подход - ок. Для UI тестов, помимо ассертов, слишком много вариантов падения тестов, что бы сразу это списывать на broken. А делать ассерты перед каждым экшеном никто не будет. Поэтому и нахожу эту фичу довольно спорной и непродуманной.

[quote=“sidelnikovmike, post:12, topic:4983”]
А вообще - все идеи можно писать на allure@yandex-team.ru
[/quote]Имхо, комьюнити лучше чем тет-а-тет. Может и в моих рассуждениях есть некоторые заблуждения. Вдруг меня поправят :wink:


(sidelnikovmike) #14

С чем-то согласен, с чем-то нет.
Подключим разработку - @vania_pooh. Ваня, можешь что-нибудь написать по поводу нашего рассуждения с @vmaximv?


(Александр Шиповалов) #15

Эх, прикрутить бы ему интеграцию с Loadsophia.


(Pavel Sprogis) #16

использует ли кто-то protractor + jasmine + allure-jasmine ?


(Eugene Moskalenko) #17

подскажите пожалуйста:

  1. когда будет Allure2? :slight_smile:
  2. он будет платным или бесплатным? :slight_smile:

(Sergey Korol) #18

Рабочая бета уже давно есть в открытом доступе: https://github.com/allure-framework/allure2/releases
Сам репорт по-прежнему будет бесплатным. Сервер - платным (в паблике еще нет).


(Postmart) #19

Помогите найти, пожалуйста, сэмпл интеграции allure в кастомный python framework, который не использует pytest/nose

Спасибо


(Mykhailo Poliarush) #20