ReportPortal.io - детали, подробности, новые версии

инфраструктура report portal
,
#1

ReportPortal - http://reportportal.io

Open Source - GPL 3.0 | GitHub | Slack chat | YouTube | Twitter | Facebook | VK | StackOverflow

Инструмент отчетности в автоматизации тестирования. Значительно сокращающий затраты команды на поддержание и разбор результатов тестирования. Храня всю историю запусков, включая логи, скриншоты и любой другой атачмент. История доступна в один клик. Падения можно категоризировать, относя их к падениям по продуктовым проблемам, автоматизации, системные или свои кастомные причины.
И может автоматически распознавать и категоризировать новые падения, на основе собранных паттернов падений и анализа в предыдущих прогонах тестов.
С ~осени 2017 это будет делать алгоритм машинного обучения (Machine Learning).

Является сервер-клиентским приложением.
Состоит из сервера - сам ReportPortal.
и интеграции - которая отсылает результаты на сервер через HTTP запросы.
Именно интегрируемую часть нужно добавлять в ваш код автоматизации.
Интеграции реализованы согласно паттерну Listener, слушая в параллельном режиме события внутри вашего фреймворка и тестового движка, и скидывая эту информацию на сервер в асинхронном режиме.
Такой же принцип используют другие движки отчетности, только лишь пишут в файл, а не на сервер.

Отсюда плюс - real-time интеграция.
Нет необходимости ждать 5-10-20 часов, пока пройдет весь скоуп ваших тестов, на всех распределенных энвайроментах. И нет необходимости ждать пока из этого сгенерируется отчет.
Результаты будут доступны команде уже через десятки секунд.

[details=Список доступных интеграций ]as for June-1-2017
Свежий список доступен тут

agent-Python-RobotFramework
agent-python-pytest
agent-java-testNG
agent-java-junit (jUnit 4)
agent-java-spock
agent-java-soapui
agent-java-cucumber
agent-java-jbehave
agent-readyapi

agent-ruby - (Ruby Cucumber and RSpec formatters)

agent-net-specflow
agent-net-nunit (NUnit 3)
agent-net-nunit2
agent-net-xunit

agent-js-jasmine
agent-js-mocha
agent-js-cucumber

agent-scala-scalatest

[/details]

Дэшборды и виджеты позволяют отобразить тренды, состояния и выборки по вашим собранным данным. Так же обновляются в real-time.
С набором предсохраненных виджетов, можно настроить дэшборд для заказчика, команды или менеджера вашей команды, и не готовить его руками или в разрозненных файлах.

{будет дополнено}

Open Sourced under GPLv3 - что это значит? - он совершенно бесплатен.
Более того, это дает вам право бесплатно его запускать, изучать, распространять и изменять.
Даже осуществлять сервис для ваших заказчиков, на основе РепортПортал.
код доступен на GitHub: GitHub - reportportal/reportportal: Main Repository. Report Portal starts here - see readme below.
там же мы приветствуем ваши stars, в знак поддержки того, что мы делаем.

Мы развиваем и строит Комьюнити.
Встречи с пользователями с обсуждением идей и обменом опытом.
Присоединяйтесь.

YouTube channel - наши материалы, презентации и записи встреч с митапов.
Version 3.0 overview
Documentation - ReportPortal test automation analytics platform and real-time reporting, powered by Machine Learning
Integration steps : http://reportportal.io/#documentation/Test-framework-integration

Open Source - GPL 3.0 | GitHub | Slack chat | YouTube | Twitter | Facebook | VK | StackOverflow

1 лайк
#2

Version 3.0

Download docker-compose with 3.0.0 dependencies
How-to upgrade Steps

New features and improvements

  • Complete rewrite and Re-design of UI application
  • Huge list of UX improvements
  • GitHub authorization
  • Generate Test Data for demo
  • Hotkeys in defect editor
  • Markup support for Launch/Item description, and Logs
  • Async clients for Java and .Net
  • Bulk operations
  • Launches - Merge, Compare, Move to debug, Force finish, Delete
    under lying - Delete, Edit, Defect edit)
  • Description for filters, Description for dashboards
  • Mobile view
    – Admin/Projects page
    – Project settings
    – Log view
    – widgets and dashes
  • Google Analytics
  • Links made shorter
  • ‘Find StackTrace’ button and go to Attachement on Log View
  • Documentation centralized at http://reportportal.io
  • JavaScript client
  • Integration with Ready! APi (billable SoapUI)
  • Additional ‘Inactivity timeout’ as 1 week
  • Allow to delete Not own dashboards/widgets/filters by PM
  • API representation (Swagger) updated to the latest version
  • Auto-analysis now configurable via docker parameter on start
Остальное подробнее

29 Add feature to hide ‘Match issues in Launch’ link for specified user roles
31 Remove limit for cont of 20 widgets per dashboard enhancement
33 Allow Admin to Edit, unShare(maybe), Delete shared filters
35 Print logs using monospace font, reduce interval between lines, remove checkerboard for lines
61 [Auto-analysis] Provide configuration on UI for set launches count to analyze
36 Cannot comment on result using monospace, code tag doesn’t work also
69 Cannot set get results older than for 10 latest runs
59 Add link of build to launches
75 Sort doesn’t work for results
72 Does report portal support Allure Test Annotations or anything similar ?

GitHub issues:

15 Serialization exceptions not handled
19 Bad attachments breaks all steps of batch
32 Failed to update password : Incorrect Request
40 Email from ReportPortal@service.com - make configurable default sender address
64 Please correct limitation: test log item time after parent item’s start time
79 Not saved text encoding.
80 Expression ‘\Users’ is replaced with spaces
Internally found:

769 issue and improvement
Various changes:

Update documentation on http://reportportal.io/
Launches: Sorting for sub-defect statistics
Update Projects and Profile drop-downs
Update tooltip over posted to BTS bug
LOG view: Implement links to “Stack Trace”, “Go to Attachment in Log Message”
Create user: don’t validate email message during user creation, if email server is not configured
Sorting on SUITE/TEST/STEP levels should be by Start Time in Asc order
Add possibility to paste the id of color into the color picker
Hide “Move to Debug” option for CUSTOMER
Update Analysis badge on Launches grid
Implement hint on finish launch on Launches view
Update modal windows across RP
UI Improvements for LOG view of test items
Rename Edit pop-ups
Delete Items per page (quantity) from filters on WS side
Set default items per page parameter (quantity) for filter
Finishing Launches/Test/Step grids
Project Activities Panel: users search must work by login
Jenkins plugin: migrate source code to github
Update links in documentation
Add comments to launch Export
Modify login restrictions
Update HTML-documentation
Agent’s JKS parameters must be optional
Update Mobile view on Defect Types tab
Info: build verion should include build number and branch name
Store project Settings in “Projects” collection in DB
Hide “Used Components” and add 2 new links
Update Profile page with new design
Add “Force Update” button for GitHub user
Disable “Unassign” button for Personal space “owner”
Hide tabs in Documentation on https://reportportal.github.io/
MOBILE view of “Demo Data” page
Generate BTS list on UI dynamically
Don’t allow GitHub user restore password
Hide user’s email for all users except ADMIN
Method [/item/history/?ids=] to return defect types.
Add hotkeys for all modals
History Line: All launches IN PROGRESS should be animated
API: Ticket id added for launch finished is not attached to test item
Change design pre-view in WW (Widget wizard)
Change ‘edit’ button design in Edit Defect Type
[GITHUB] [Auto-analysis] Provide configuration on UI for set launches count to analyze
Modal pop up to display attachment in it
Last visited launch is not highlighted in yellow when user goes from its lower levels
The collapse of high elements at all launch levels
Enable auto submit in filter fields
Add 1 week in activity time out setting (user request)- WS/UI
LOG view: Next error button should lead to log message with ERROR type
Set up the min size of widgets for resize functionality
Add notification to Refresh button on SUITE,TEST,STEP view
Login: Add validation, if WS returns NOT JSON
Refactoring Post Bug modal window
Add “Restore path” link for test items in merged launch
Add ‘Restore’ button to recreate the link to item in launch that does not exist any more
Change preview for XML & JSON
UI: Remove ‘Add new widget’ from the bottom of the dashboard
UI : Add preview of the dashboard by hashtag of widget id
Add SSL and TLS check-boxes and TEST CONNECTION on Server settings page
Update profile page with changes of design
All numbers on tooltips under statistics charts must be clickable
Decrease URL: delete info about previous pages
LOG: “Go to Attachment” link is not shown
Update Mobile version of “Post Bug” form
Add INTERRUPTED items to the filter after redirect from widgets
Remove unused links from Used components list
‘Search by Name’ as placeholder should be in Search field on Project Members pages
[MOBILE] Update view of MEMBERS pages
[MOBILE] Update mobile version of project Settings
[MOBILE] Mobile view of “Documentation” page
[MOBILE] Some improvements for server settings page
[MOBILE] Left-hand menu is not fully displayed in landscape view
[MOBILE] Design of icons for Profile, Administravite, Logout menu options
Allow to delete Not own dashboards/widgets/filters by PM
Email notification should not be sent in case rule contains tags, but launch does not
List view of failed item should contain filter Status with ‘Failed’ and ‘Interrupted’ options selected by default
Color picker on Defect Types tab
LOG view: Change messages, if no data on tabs
Fix page, that opens by direct link to deleted launch
Add message, if no one BTS micro-service deployed
Log message: Only first five rows of message should be shown, other rows should be collapsed
Load bug: If user entered some URLs in the filed it should be validated.
No message in status bar after dashboard update
[WW] “Shared” button should be unavailable in case dashboard is shared
[WW] Description of “Different launches comparison chart”
History depth selector - increase history depth limit
TBD: Add Filter tab should be disabled if no any launch available
[DEFECT EDITOR] Modify size of a picture in comment
[DEFECT EDITOR] Add new tab opening & blue color for a link type
The first page with log should be loaded when user navigates via different runs on history line
Add message in status bar after widget update
Improvement for Email server settings, Default sender field
Remove mark ‘required’ for Default sender address in Email server settings
Switch off the legend of Duration chart
Add conditions for ‘Defect Comment’ filter on STEP view
Update the registration form to have the link to redirect to RP
Highlight the log message which user is redirected to via link from Stack Trace section
Add the color of corresponding issue type of item on History table, STEP view
Highlight the active tab on LOG view
Members: Update tooltip over “Unassigned” button
Update header of modals of Unassigned user on all Members pages
Merge launches: Common tags mast not be highlighted
History table: update color of Reseted items
Make ‘Save’ option active to save filter after being redirected from widget in Timeline mode via clickable area
Post bug: JIRA error stack trace should be displayed in post bug pop up and not out of the border.
Add restriction for number of symbols for one tag =128 symbols
Profile: Show Edit icons on hover
Highlight the previous visited test item even there is a gap between levels
Reg form: Rename ‘Cancel’ button to ‘Reset’
Email server: Add field for Sender address on server settings
Disable ‘Reset to default colors’ link in case no custom color are available

1 лайк
#3

version 3.0.2

Download docker-compose with 3.0.2 dependencies
How-to upgrade Steps

Bug fixes

[details=Closed GitHub issues:]- #131 uncaught exception: Error parsing bindings: … ReferenceError: $root is not defined

  • #122 Attachment dialog doesn’t show pdf attachments
  • #102 Attachments preview in pop-up enhancement
  • #129 uncaught exception: Error parsing bindings: "popover…
  • #121 Unable to login with password which contain symbol `
  • #91 [UI] Disabled “Refresh” button - need take action
  • #112 Test suite links don’t work on the page that shows To Investigate items
  • #114 Not all menu items are available in Actions menu if there are a lot of selected items
  • #123 Uncaught Error parsing bindings
  • #90 [UI] Twice rendered controls
  • #115 Opening a test item in a new tab opens the current view
  • #111 Unable to view logs for some test items[/details]
3 лайка
#4
#5

Результаты "похудения"

Замена Netflix микросервисного стека, на аналоги на GoLang.
замена трех сервисов сократила требование к памяти на 1 гигабайт

Подробнее:

#6

чтиво по поводу крупных изменений в агентах (интеграциях)

http://avarabyeu.me/posts/extend-java-agent

#7

Релиз версии 3.1!

Мы хорошо поработали над сокращением потребления памяти!

  • благодря миграниция на GoLang микросервисы,
  • запилили авторизацию через LDAP и Aсtive Directory
  • сделали ИМПОРТ (первым jUnit)
  • добавили долгожданные Passing Rate виджеты!

подробные релиз нотики на гитхабчике:

По поводу памяти
Чатики оживились и забурлили. РП действительно стал есть меньше памяти, спасибо большое языку Go за это. По замерам памяти от наших пользователей, теперь всего ~1.6 Gb против стандартных 3,0 Gb оперативки, в режиме ежедневного использования для прогона по 1000 тесткейсов в запуске.

Плюс к этому мы по-умолчанию закоментили в компоуз файле сервисы интаграции с баг-трекерами.
Первое - не все их используют. Второе - их тем более не используют 2 сразу. Они там были в демо целях.
Если вам нужна какая-то из вставленных там интеграций - просто раскоментите строчки.

Авторизация LDAP и Active Directory
Большие ~галеры~ корпорации и компании ликуют.
Теперь можно подключиться к корпоративному серверу авторизации и не надо будет создавать юзеров. Все будет работать like a magic

Запилили Импорт
Пока jUnit первый. Будем дописывать и другие постепенно.
Теперь можно догрузить в РП кучу старых запусков, и получить историю прогонов.
А можно лупить запуски только локально, и заливать потом через апи результаты.

Passing Rate виджеты!
Их в принципе можно было построить и из других виджетов.
Но просили - получите.
Можно делать группирующие (несколько запусков с одинаковым тегом, к примеру, номер билда)
и одиночные, для одного запуска.

Так же можно в виде пайчарта теперь смотреть на суммирующий виджет overall.

И советую посмотреть запись вебинара, который прошел в Киевском офисе.
Где я подробно рассказываю что нового в версии 3.1
со спешиал гэстом в эфире - @Sergey_Pirogov

для тех кто уже знает что такое РП - можете смотреть сразу с 25й минутки.
ну и извиняйте за тафталогию местами, первый раз стримил :slight_smile:

3 лайка
#9

Импорт jUnit пока только через GUI?

#10

нет. можно и по апи его отправить.
POST /{projectName}/launch/import

в меню справа, сверху, есть вкладка API - там можно найти

#11

Вопрос был 3 месяца назад ))) я потом все уже выяснил и настроил и даже пару issue вам дал )) по форматам junit.

#12

Live webinar.
4.0 Release Candidate - new features at a glance

1 лайк