@DataProvider public static Object[][] validateFieldBase() { Object[][] word = { {"<script language='JavaScript'> alert('Hello') </script>"}, {"ASDGFFLKLKLKlddvddsghdsh"}, {"12344557688008853"}, {":!@#$%^&*()_."}, {"ASDASDasdas-123123211212&^%&^%"}, }; return(word);
}
Так вот, для теста validateNameField существует 1 тесткейс в тестлинке. Сейчас он помечается в тестлинке pass или fail в зависимости от того как прошел кейс с последними тестовыми данны из провайдера, тоесть {"ASDASDasdas-123123211212&^%&^%"} даже если тест не прошел по данным которые внутри датапровайдера а по последним данным успешно - то весть тест в тестлинке пометится как pass, а хочется чтоб fail ))
вопрос - как это сделать?
пробовал в тестлинке настраиваить плагин по разному 1. Result Seeking Strategy - TestNG method name 2. Result Seeking Strategy - TestNG method name and dataprovider - с этим вообще не получилось, кастом филд с именем тестового метода не хотят сохранятся
1. Желательно указывать версии "Jenkins + TestLink + TestNG", это позволит более точно ответить на Ваш вопрос.
2. "Result Seeking Strategy - TestNG method name and dataprovider - с этим вообще не получилось, кастом филд с именем тестового метода не хотят сохранятся" - это похоже баг в последней версии jenkins-testlink-plugin.
В файле src\main\resources\hudson\plugins\testlink\result\TestNGMethodNameDataProviderNameResultSeeker\config.jelly вместо:
<f:entry title="${%TestNG method name Key Custom Field}" help="${rootURL}/../plugin/testlink/help-atKeyCustomField.html">
Сейчас он помечается в тестлинке pass или fail в зависимости от того как прошел кейс с последними тестовыми данны из провайдера, тоесть {"ASDASDasdas-123123211212&^%&^%"}
это корректное поведение для TestNG method name стратегии - при каждом вызове теста с различными данными по имени метода находиться один и тот же тест кейс и он же обновляется. Последнее обновление Вы и видите.
Кстати.ведь в статистике плагина показываются правильные цифры, так?
4. даже после исправления стратегии TestNG method name and dataprovider -это Вам не поможет, т.к. эта стратегия не использует значения параметров, а использует имя dataProvider, т.е. validateFieldBase или CampaignData.validateFieldBase .
Рекомендую завести improvement для реализации такой стратегии в той же джире. На данный момент, как я понимаю, такое уже возможно - в testng 6.5.1 в testng-results.xml уже сохраняются названия и значения параметров вызовов метода.