testomat.io управление авто тестамиДа, я понимаю что могуи так у меня сейчас и работает. Но я бы хотела уйти от записи в файл и переместить все в репорт.
Вы можете оставить пустым тело экшена, чтобы просто записать шаг без каких-либо действий.
AllureLifecycle.Instance.RunStep($"product parameters: par1: {par1} par2: {par2}, par3: {par3}", () => {});
1 лайк
Давно не писала, так как была увлечена добалением Allure во все 100500 тестов, а это не быстро. Очень радует появление красивого понятного отчета.
И конечто же появились трудности и вопросы.
- Шаги [SetUp] и [TearDown] не появляются в репорте.
- Тест можно привязать к Issue [AllureIssue(“US:292738”, link] 2018-09-27_1008
но хотелось бы привязывать также к Story. Т.е. я пока сделала что это User Story + номер, и линк в беклоге. Так же BUG + номер, и линк в беклоге. - Генерация отчета. Сделала отчень топорно, но пока так. В начале все как обычно: get sourses, nuget restore, msbuild, vstest run, а даааальше powershell, который запускает allure serve path и собирает из папки все для отчета и генерит.
- Хочется видеть историю 2018-09-27_1024 . Тесты запускаются каждую ночь и история запусков поможет отслеживать стабильность тестов.
- Запись видео. Планируется ли в ближайшем будущем? Иногда очень нужно.
- Возможно ли сделать выгрузку в html формат?
Отвечу по пунктам:
- Это было добавлено в сборке NuGet Gallery | Noksa.NUnit.Allure 3.2.0, шаги не только из Setup и TearDown, но и из OneTimeSetup/OneTimeTearDown добавляются в отчёт.
- Здесь я не очень понял, что вы хотите. Можно поподробнее?
- Я уже писал много раз, что хорошим вариантом для развертывания отчётов, как и запуска тестов, является использование CI/CD, например Jenkins.
- См п. 3. Jenkins умеет хранить историю тестов из коробки.
Добавлять это к ручным запускам из IDE я пока не вижу смысла. - За запись видео должна отвечать ваша архитектура. Я могу лишь порекомендовать использовать связку Ggr - Selenoid для этого, т.к. используя их можно записывать видео при параллельных веб-тестах на одном хосте с каждого браузера.
- Это вам к разработчикам Allure Framework · GitHub но по-моему юзлесс кейс.
1 лайк
Отвечу также по пунктам:
- Setup добавлен но в отчете не появляется
[SetUp]
public void InitializeTest()
{};
- Все тесты сейачс with defect потому-что https://www.screencast.com/t/uSguiBqMD7 слинкованы с якобы багами (как я поняла). Но на самом деле я использую эти линки для бытсрого перехода на ЮС и связанные мануальные тесты.
-
-
- Мне не подходит Jenkins, у меня tfs
-
- Спасибо, но идея была записывать видео и добавлять линк в отчет. Но это не критично, просто “хорошо бы иметь”
- В моем случае да, но бывают таки продукты, когда необходима даже печать и подпись отчетов. В таком случае выгрузка результатов с картинками была бы просто находкой
- У вас нет шагов в методе. Поэтому нет их и в отчёте.
- Да, потому что атрибут
AllureIssueдобавляет subsuite с дефектами. В последней версии был добавлен атрибутAllureLink, используйте его - он просто добавит ссылки в кейс. - Ну здесь я не могу ничего сказать, я с tfs не знаком. Если вы подробнее расскажете, как там всё происходит - подумаем как это реализовать.
- Вам ничто не мешает записывать видео и добавлять его в отчёт. Там будет не просто линк, там можно будет его даже смотреть. Собственно, в своём фреймворке я так и делаю:
Но, повторюсь, запись видео и его прикладывание к отчёту лежит на ваших руках, а не на аллюре.
1 лайк
- Шаги есть. Решила не вставлять простыню. Приблизительно такое:
[SetUp]
public void InitializeTest()
{
//Start
PropertiesCollection.OpenApp();
AllureLifecycle.Instance.SetGlobalActionInException(() =>
{
AllureLifecycle.Instance.AddAttachment("Test is failed here", AllureLifecycle.AttachFormat.ImagePng,
PropertiesCollection.Driver.TakeScreenshot().AsByteArray);
});
};
- Это абсолютно то что нужно
- В двух словах не расскажу. Соберусь с силами и опишу процесс.
- Ggr - [Selenoid] на сколько я помню под java. Тогда я подумаю как записать видео, а добавить в отчет думаю не сложнее чем присунок.
-
Это не шаг
Это настройка. Поэтому не отображается) -
Нет, Селенойд подо всё. Там где есть селениум - там вы можете прикрутить селенойд.
1 лайк
А тесты где у вас бегут? Где браузер запускается? Где вы храните build history?
- Тесты запускаются на билд машине.
- Там же запускается браузер.
- Вот история запуска. Я пропустила многотичием не существенные моменты в логе
Search folder : E:\Bld\A1\128\s
Run settings file : E:\Bld\A1\128\s
…
Run the tests locally using vstest.console.exe
…
Starting test execution, please wait…
Information: NUnit Adapter 3.10.0.21: Test execution started
Information: Running all tests in E:\Bld\A1\128\s\MAutoTests\TestOriginal\bin\Debug\TestOriginal.dll
Information: NUnit3TestExecutor converted 148 of 148 NUnit test cases
…
Results File: E:\Bld\A1\128\s\TestResults\svcTFSBuild_BLDV13 2018-09-28 03_06_35.trx
…
Publishing test results to test run ‘436403’
Test results remaining: 148. Test run id: 436403
…
Published Test Run : https://tfs.company.net/tfs/companySW/MTests%20CS/_TestManagement/Runs#runId=436403&_a=runCharts
Плагина для TFS походу пока нет. Вот feature request Allure plugin for TFS · Issue #612 · allure-framework/allure2 · GitHub
Мне кажется вам все-таки стоит подумать о Jenkins для прогонки ваших тестов
Можно прикрутить отображение истории и без CI, делается это легко.
Во всяком случае при запусках из IDE.
А вот как TFS запускает тесты хз - ждём расширенного ответа от @lelik
@Noksa пыталась несколько раз написать, но коротко не получается, а не коротко - не быстро. И тут нашла статью которая на 90 % описывает мой процесс https://msdnshared.blob.core.windows.net/media/2016/09/Introduction-to-Team-Foundation-Build-2015-vNext.pdf В вашей последней сборке добавлена история. Почему ее нельзя подключить при автозапуске тестов?
Есть такой темплейт Allure Test Reports - Visual Studio Marketplace , который можно подключить. Но судя по рейтингу и отзывам не рабочий.
Надеюсь ничего что через такое долгое время пишу, но есть пара мыслей по некоторым из ваших вопросов, @lelik, по поводу видео, если ваш проект позволит, можно использовать сервис BrowserStack. Он позволяет запускать тесты на большом кол-ве разных устройств, и записывать видео этих прогонов тестов. Ссылку на видео можно приаттачить к отчету к каждому тесту.
Также, не знаю как работает TFS, но думаю что у него есть возможность запускать powershell scripts. Потому могу порекомендовать build.cake. Данная утилита представляет собой скрипт, который (при добавлении этих шагов) полностью сбилдит ваш проект, запустит тесты, создаст отчет. Конфигурация его происходит при помощи обычного c#.
1 лайк
Доброго времени суток! Ребят, пытаюсь настроить Allure2, для проекта на следующем стеке C#+Specflow(2.4.0)+NUnit(3.11.0) возможно, кто-то может подсказать последовательность по степам (с чего начать) @ [HesoHabi]
Установил SpecFlow.Allure видимо столкнулся с проблемой конфигурации allureConfig.json
почему после прохождения сценария не формируется папка аllure-results (путь указал абсолютный) ?
- какие аннотации надо вешать на сценарий ?
- куда устанавливать сам allure-2.7.0 (надо ли) ?
- надо ли ставить NUnit-Allure ?
Сценарий: Проверка контролей формы заявления
Допустим Я авторизовался клиентом
Когда я нажал Создать заявление
Когда я отредактировал поля заявления
Когда я нажал Сохранить
Тогда Я проверил, что отработали соответствующие контроли
| Поле для ввода данных | Значение для ввода или выбора |
| Номер | ‘Номер’: не может быть пустым |
NUnit-Allure по идее сам прилетит, если на него завязан specflow.allure. Не помню сейчас.
Дополнительно помечать как-то тегами для specflow не нужно.
Проверьте, на всякий пожарный временную папку пользователя. Тоже там создалась папка?