Спасибо @DzmitryHumianiuk 
0 участников
Добрый день!
А кто-нибудь уже пробовал у себя этот тул для отчетов? Интересует локальная работа, без завязки на epam (закрытая сетка). У себя на проекте пока использую простенький костыль, но при работе с ним многого не хватает и поддерживать и развивать его нет особого желания. Ищу какое-нибудь готовое решение из коробки, которое можно было легко перенести на существующие проекты.
Allure смотрел, но в ней тоже многих нужных и полезных фишек нет, и генерирует слишком “тяжелые” отчеты. Может во второй версии что-то и изменится у них. Не изучал пока этот вопрос.
ну уж если аллюр генерирует “тяжелые” отчеты, то репорт портал который жрет 8 ГБ оперативки, вам точно подойдет
Поэтому я и обратился сюда за советом. 
Чтобы узнать все нюансы заранее, в том числе и о системных требованиях, чтобы быть готовым к этому.
По поводу allure, то она тяжелая в сравнении с более простыми вещами, а кроме красоты особо ничего нового не дает. А вот у этого продукта вроде как были интересные фишки. Хотелось бы понять насколько они удобны. Может ради них и не жалко будет и 16 гб отдать. Из недавних историй со своим костыльным решением знаю, что не очень удобно разгребать и систематизировать ошибки. В аллюре этого тоже нет. Но иногда это требуется для быстрой локализации и исправления проблемы.
мне вот алюра хватает на все 100%, плюс он кастомайзится легко и удобно и с Testng лисенерами инструмент что надо
Возможно он вам подходит по вашей специфике. Нас он в принципе тоже может устроить по ряду критериев и на многих проектах его и применяют. Вопрос такой: как вы его у себя применяете? Делали ли доработки для себя и если да, то что меняли?
Я пока в нём не увидел некоторых фич, например, классификацию по причинам падения, чтобы быстрее находить проблемы, особенно в условиях нестабильного стенда. Да, там можно выбрать только упавшие тесты, но если у вас упало 50 тестов и из них 10 из-за того, что на стенде в этот момент что-то отключили, 15 из-за того что что-то стерли, 10 потому что что-то сломали во время рефакторинга в коде самих тестов, еще 5 тестов были из нового функционала и в них тоже были ошибки и еще оставшиеся по каким-нибудь своим причинам упали. И чтобы это все разгрести и тем более ничего не потерять и вовремя понять что и из-за чего могло упасть и где искать источник проблемы - очень важно иметь хорошую систему отчетов. Аллюре тут конечно тоже справится, но придется ходить по всем тестам и разгребать в ручном режиме, а также сложно будет выцепить какие-то тренды, родственные причины падений. Особенно, когда они происходят из-за “порчи” на тестовом стенде и нужно восстанавливать его корректную работу.
Ну, и ловить тренды с ним не получится, например, “мигающие” тесты. Скорость тестов и т.д. Я для этой цели даже отдельный костыль писал, чтобы он просто в csv-шку записывал данные по тесту. Пока правда не придумал как эти данные обработать удобно. В экселе можно, но много мороки. И без того хватает табличек всяких разных.
Allure итак группирует issues по частоте / типу в пределах одного билда. Если нужна более глубокая история, тут без сервера не обойтись.
В новой версии переработали систему статусов. Можно будет добавлять кастомные фильтры категорий посредством json. Для каждого теста будет еще индивидуальная история pass / fail rate отображаться.
Добавили аннотации Flacky / Owner / Muted. Можно будет наконец создавать кастомные плагины, новые java адаптеры почти завершены и т.п.
Вот тут можно следить за новостями последних бета-версий.
П.С. Кстати, для любителей атачментов есть хорошая новость. Поддержка асинхронных атачей уже вмерджена в core. Правда на уровне утилитных методов (аннотации пока не поддерживают этой фичи). Но по крайней мере теперь не надо будет лочить основной поток, пока ваш video / har / log stream финализируется, чтобы “внезапно” не потерять его в репорте.
Возможно, что я что-то не нашел в аллюре, но вот из их примера на сайте - http://ci.qatools.ru/job/allure1_master-deploy/lastSuccessfulBuild/Allure_report/ и там не нашел как можно группировать тесты по падению. А также не понял как увидеть тренды, которые можно увидеть только по совокупности запусков, а не по одному. Аллюра же не умеет в историю. А некоторые вещи видны только в сравнении с предыдущими запусками.
Но спасибо за информацию, будет интересно изучить. Если не секрет, то почему 2-ую версию отдельно развиваете, а не на портале http://allure.qatools.ru/ ?
Это вы линкуете репорт первой версии. Но и там даже есть группировка по падению.
Касательно истории, во второй версии уже сейчас доступна минимальная статистика по индивидуальным тестам.
На текущий момент ожидать чего-то большего от обычного репорта без сервера - глупо. Где этой истории храниться то? Так что ждем выхода сервера. Посмотрим, что разработчики нам предложат.
Это не мой проект. Я лишь добавил несколько фич.
Но мне кажется, что основной причиной является уход главных коммитеров из Яндекса. Они то сейчас активно вторую версию и разрабатывают.
О! Вот жеж, глаза мои глаза! Я думаю, что это за вкладка дефекты, не знал о том, что она так группирует. У нас на каком-то прошлом проекте мы все это повырезали, оставив только пони и xUnit 
хм… тогда наверно стоит поподробнее посмотреть на аллюру.
Да, я слинковал 1-ую версию, потому что видел только её. Со второй пока вообще не работал.
Спасибо, что открыли глаза.
Во второй версии эту вкладку переименовали в Categories. Более того, у вас есть возможность самому задавать фильтры для категорий дефектов посредством json. Вот тут более подробно можно почитать.
4 было на тот момент )
сейчас уже под 3.
будем стараться до 2 гигов.
но надо понимать - аллюр - красивая HTMLка, показывающая вам данные отчета.
РП - сервер, с адской кучей возможностей и гибкости!
а где они сейчас его развивают?
или сделали код закрытым и планировали выпускать платный сервер?
testomat.io управление авто тестами
