Билд успешный но тесты не проходят корректно

инфраструктура jenkins
#1

Привет всем заранее спасибо
Ситуация такая есть тесты написанные на джаве + селениум проект сделан в мавен. Запускаю с интелидж идее как test - P my_test тесты проходят 100 из 100 , окей. С командной строки перехожу в папку где лежат тесты запускаю как мавен тесты аналогично 100 из 100 . Это все на удаленной машине к которой я конекчусь по тимвьюверу. И еще если это важно тесты проходят в фаерфокс.
Далее установил дженкинс как виндовс сервис, захожу на localhost:8080 увидел дженкинс
создаю джоб как мавен Screenshot by Lightshot
потом такие настройки Screenshot by Lightshot
в сборочную директорию закинул проект Screenshot by Lightshot
вот как выглядит на диске Screenshot by Lightshot
И тут появились вопросы

  1. Я не вижу что открывается браузер и запускаются тесты , хотя по факту тесты идут я так понимаю

  2. Тесты падают ходя до этого были успешны
    Вот что пишет консоль при сборке билда

    Building in workspace C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace
    Parsing POMs
    [workspace] $ “C:\Program Files\Java\jdk1.8.0_25/bin/java” -cp C:\WORK\INSTALL\jenkinsfolder\plugins\maven-plugin\WEB-INF\lib\maven31-agent-1.5.jar;C:\WORK\apache-maven-3.2.5\boot\plexus-classworlds-2.5.2.jar;C:\WORK\apache-maven-3.2.5/conf/logging jenkins.maven3.agent.Maven31Main C:\WORK\apache-maven-3.2.5 C:\WORK\INSTALL\jenkinsfolder\war\WEB-INF\lib\remoting-2.52.jar C:\WORK\INSTALL\jenkinsfolder\plugins\maven-plugin\WEB-INF\lib\maven31-interceptor-1.5.jar C:\WORK\INSTALL\jenkinsfolder\plugins\maven-plugin\WEB-INF\lib\maven3-interceptor-commons-1.5.jar 52757
    <===[JENKINS REMOTING CAPACITY]===>channel started
    Executing Maven: -B -f C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace\pom.xml test -P chrome_prod_website_002___LABELS
    [INFO] Scanning for projects…
    [INFO]
    [INFO] ------------------------------------------------------------------------
    [INFO] Building MavenProjectGoAntifraud 1.0-SNAPSHOT
    [INFO] ------------------------------------------------------------------------
    [INFO]
    [INFO] — maven-resources-plugin:2.7:resources (default-resources) @ MavenProjectGoAntifraud —
    [INFO] Using ‘UTF-8’ encoding to copy filtered resources.
    [INFO] Copying 42 resources
    [INFO] Copying 42 resources
    [INFO]
    [INFO] — maven-compiler-plugin:3.1:compile (default-compile) @ MavenProjectGoAntifraud —
    [INFO] Nothing to compile - all classes are up to date
    [INFO]
    [INFO] — maven-resources-plugin:2.7:testResources (default-testResources) @ MavenProjectGoAntifraud —
    [INFO] Using ‘UTF-8’ encoding to copy filtered resources.
    [INFO] Copying 42 resources
    [INFO]
    [INFO] — maven-compiler-plugin:3.1:testCompile (default-testCompile) @ MavenProjectGoAntifraud —
    [INFO] Changes detected - recompiling the module!
    [INFO] Compiling 1420 source files to C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace\target\test-classes
    [INFO]
    [INFO] — maven-surefire-plugin:2.18.1:test (default-test) @ MavenProjectGoAntifraud —
    [INFO] Surefire report directory: C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace\target\surefire-reports

    T E S T S

    Running TestSuite
    Тесты которые упали бла бла бла

    Tests run: 26, Failures: 14, Errors: 0, Skipped: 0

    [ERROR] There are test failures.

    Please refer to C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace\target\surefire-reports for the individual test results.
    [JENKINS] Recording test results
    [INFO] ------------------------------------------------------------------------
    [INFO] BUILD SUCCESS
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time: 03:03 min
    [INFO] Finished at: 2015-10-15T10:27:03+03:00
    [INFO] Final Memory: 28M/329M
    [INFO] ------------------------------------------------------------------------
    Waiting for Jenkins to finish collecting data
    [JENKINS] Archiving C:\WORK\INSTALL\jenkinsfolder\jobs\first maven project\workspace\pom.xml to MavenProjectGoAntifraud/MavenProjectGoAntifraud/1.0-SNAPSHOT/MavenProjectGoAntifraud-1.0-SNAPSHOT.pom
    channel stopped
    Finished: UNSTABLE

и я ума не приложу почему тесты падают
и еще Screenshot by Lightshot может кто подскажет как с этим бороться и почему тесты фейлятся
Спасибо

#2

Дык, а тесты падают каждый на каком-то рандомном шаге, или есть между падениями что-то общее(может затык идет на каком-то определенном методе)? Из коммандной строки тесты запускаете с теми же параметрами, что приведены на скрине джобы дженкинса?

#3

Где вы Jenkins то поставили? На той же тачке, где тесты гоняются?
Исходя из прочитанного, я так понимаю, что грида у вас нет, VCS у вас нет. Тогда собственно вопрос - зачем вам CI сервер? Еще и если тесты гоняются в пределах той же тачки…

По вашей проблеме: либо запускайте тесты через Grid, либо Jenkins - из консоли, а не в качестве сервиса. Хотя, как я уже заметил выше, с вашим подходом CI - бесполезен.