Удаленка для jenkins+selenide+selenoid+allure+docker спецов на 2-3 часа в день. 100% remote! Присоединиться к проекту

Что такое ReportPortal? Обзор, технические подробности, планы на 2017

reportportal
Теги: #<Tag:0x00007fedbbc56718>

(Mykhailo Poliarush) #1

Что это такое Report Portal?

Технические подробности

Обзор возможностей

Roadmap 2017

Спасибо @DzmitryHumianiuk :thumbsup:

Опрос: Вы будете пользоваться Report Portal?

  • Да
  • Нет, отвечу в комментариях почему
  • Не знаю
  • Попробую, а там буду решать
  • Другое, напишу в комментариях

0 участников


(Михаил Братухин) #2

Добрый день!
А кто-нибудь уже пробовал у себя этот тул для отчетов? Интересует локальная работа, без завязки на epam (закрытая сетка). У себя на проекте пока использую простенький костыль, но при работе с ним многого не хватает и поддерживать и развивать его нет особого желания. Ищу какое-нибудь готовое решение из коробки, которое можно было легко перенести на существующие проекты.

Allure смотрел, но в ней тоже многих нужных и полезных фишек нет, и генерирует слишком “тяжелые” отчеты. Может во второй версии что-то и изменится у них. Не изучал пока этот вопрос.


(Sergey Pirogov) #3

ну уж если аллюр генерирует “тяжелые” отчеты, то репорт портал который жрет 8 ГБ оперативки, вам точно подойдет


(Михаил Братухин) #4

Поэтому я и обратился сюда за советом. :slightly_smiling_face: Чтобы узнать все нюансы заранее, в том числе и о системных требованиях, чтобы быть готовым к этому.

По поводу allure, то она тяжелая в сравнении с более простыми вещами, а кроме красоты особо ничего нового не дает. А вот у этого продукта вроде как были интересные фишки. Хотелось бы понять насколько они удобны. Может ради них и не жалко будет и 16 гб отдать. Из недавних историй со своим костыльным решением знаю, что не очень удобно разгребать и систематизировать ошибки. В аллюре этого тоже нет. Но иногда это требуется для быстрой локализации и исправления проблемы.


(Taras) #5

мне вот алюра хватает на все 100%, плюс он кастомайзится легко и удобно и с Testng лисенерами инструмент что надо


(Михаил Братухин) #6

Возможно он вам подходит по вашей специфике. Нас он в принципе тоже может устроить по ряду критериев и на многих проектах его и применяют. Вопрос такой: как вы его у себя применяете? Делали ли доработки для себя и если да, то что меняли?

Я пока в нём не увидел некоторых фич, например, классификацию по причинам падения, чтобы быстрее находить проблемы, особенно в условиях нестабильного стенда. Да, там можно выбрать только упавшие тесты, но если у вас упало 50 тестов и из них 10 из-за того, что на стенде в этот момент что-то отключили, 15 из-за того что что-то стерли, 10 потому что что-то сломали во время рефакторинга в коде самих тестов, еще 5 тестов были из нового функционала и в них тоже были ошибки и еще оставшиеся по каким-нибудь своим причинам упали. И чтобы это все разгрести и тем более ничего не потерять и вовремя понять что и из-за чего могло упасть и где искать источник проблемы - очень важно иметь хорошую систему отчетов. Аллюре тут конечно тоже справится, но придется ходить по всем тестам и разгребать в ручном режиме, а также сложно будет выцепить какие-то тренды, родственные причины падений. Особенно, когда они происходят из-за “порчи” на тестовом стенде и нужно восстанавливать его корректную работу.

Ну, и ловить тренды с ним не получится, например, “мигающие” тесты. Скорость тестов и т.д. Я для этой цели даже отдельный костыль писал, чтобы он просто в csv-шку записывал данные по тесту. Пока правда не придумал как эти данные обработать удобно. В экселе можно, но много мороки. И без того хватает табличек всяких разных.


(Sergey Korol) #7

Allure итак группирует issues по частоте / типу в пределах одного билда. Если нужна более глубокая история, тут без сервера не обойтись.

В новой версии переработали систему статусов. Можно будет добавлять кастомные фильтры категорий посредством json. Для каждого теста будет еще индивидуальная история pass / fail rate отображаться.

Добавили аннотации Flacky / Owner / Muted. Можно будет наконец создавать кастомные плагины, новые java адаптеры почти завершены и т.п.

Вот тут можно следить за новостями последних бета-версий.

П.С. Кстати, для любителей атачментов есть хорошая новость. Поддержка асинхронных атачей уже вмерджена в core. Правда на уровне утилитных методов (аннотации пока не поддерживают этой фичи). Но по крайней мере теперь не надо будет лочить основной поток, пока ваш video / har / log stream финализируется, чтобы “внезапно” не потерять его в репорте.


(Михаил Братухин) #8

Возможно, что я что-то не нашел в аллюре, но вот из их примера на сайте - http://ci.qatools.ru/job/allure1_master-deploy/lastSuccessfulBuild/Allure_report/ и там не нашел как можно группировать тесты по падению. А также не понял как увидеть тренды, которые можно увидеть только по совокупности запусков, а не по одному. Аллюра же не умеет в историю. А некоторые вещи видны только в сравнении с предыдущими запусками.

Но спасибо за информацию, будет интересно изучить. Если не секрет, то почему 2-ую версию отдельно развиваете, а не на портале http://allure.qatools.ru/ ?


(Sergey Korol) #9

Это вы линкуете репорт первой версии. Но и там даже есть группировка по падению.

Касательно истории, во второй версии уже сейчас доступна минимальная статистика по индивидуальным тестам.

На текущий момент ожидать чего-то большего от обычного репорта без сервера - глупо. Где этой истории храниться то? Так что ждем выхода сервера. Посмотрим, что разработчики нам предложат.

Это не мой проект. Я лишь добавил несколько фич.
Но мне кажется, что основной причиной является уход главных коммитеров из Яндекса. Они то сейчас активно вторую версию и разрабатывают.


(Михаил Братухин) #10

О! Вот жеж, глаза мои глаза! Я думаю, что это за вкладка дефекты, не знал о том, что она так группирует. У нас на каком-то прошлом проекте мы все это повырезали, оставив только пони и xUnit :grin:
хм… тогда наверно стоит поподробнее посмотреть на аллюру.
Да, я слинковал 1-ую версию, потому что видел только её. Со второй пока вообще не работал.
Спасибо, что открыли глаза.


(Sergey Korol) #11

Во второй версии эту вкладку переименовали в Categories. Более того, у вас есть возможность самому задавать фильтры для категорий дефектов посредством json. Вот тут более подробно можно почитать.


(Dmitry ReportPortal PO) #12

4 было на тот момент )
сейчас уже под 3.
будем стараться до 2 гигов.

но надо понимать - аллюр - красивая HTMLка, показывающая вам данные отчета.
РП - сервер, с адской кучей возможностей и гибкости!


(Dmitry ReportPortal PO) #13

а где они сейчас его развивают?
или сделали код закрытым и планировали выпускать платный сервер?