[Solved] Нестабильно выполняются тесты

aprosv · 10.Сентябрь.2014 09:13:46

Добрый день!

Пишу автотесты для веб приложения на Selenium WebDriver (JUnit 4), с применением PageObject и PageFactory. Приложение заточено исключительно под IE, и в других браузерах в принципе не работает, так что проверить в хроме или лисе не могу.

Проблема заключается в том что тесты падают в хаотичном порядке, каждый раз на разных строчках кода. Падают по 3 причинам:

InvalidSelectorException;
StaleElementReferenceException;
NoSuchElementException (очень редко, но тоже бывает).

В дебаге и по одиночке тесты выполняются корректно и ничего не падает. Если запустить все сразу - 1 по-любому упадёт. Причём есть 2 теста, отличающиеся выставлением 1 checkBox, и один из них падает.

Ожидание установлено в суперклассе (BasicTestCase):

    @Before
    public void SetUp(){
    	wdIE.get(configProperties.getProperties("url"));
    	wdIE.manage().timeouts().implicitlyWait(40, TimeUnit.SECONDS);
    	PageFactory.initElements(getWebDriver(), LoginPage.class).login(configProperties.getProperties("login.name"),configProperties.getProperties("login.pass"));
    }
//на этом методе ничего не падает

но оно не помогает даже от NoSuchElementException. Явные ожидания и Thread.sleep(60000) тоже не помогают

Подскажите куда копать? С чем это может быть связано? У меня мысли только что такие проблемы из-за попытки некорректно использовать PageFactory.

//Пример кода где бывают эксепшины
@Test
	public void case13BannedCtnSearch() throws SQLException, InterruptedException{
		
		preTest();
		
		odbc.DBConnect(configProperties.getProperties("db.logins.ccbo"), configProperties.getProperties("db.logins.ccbo"), configProperties.getProperties("db.connect.string"));
		odbc.executeSqlString(configProperties.getProperties("sql.deletes.ccboPermittedNumber"));
		odbc.executeSqlString(configProperties.getProperties("sql.inserts.ccboPermittedNumber"));
		
		try {
			if(!this.clearAllCaches()){
				odbc.executeSqlString(configProperties.getProperties("sql.deletes.ccboPermittedNumber"));
				odbc.closeConnection();
				collector.checkThat("Не удалось сбросить кэши", true, equalTo(false));
			}
			
			dp.CtnSearch(configProperties.getProperties("ctn.real"));
			
			collector.checkThat("CTN не заблокирован", dp.weErrorClass.getText(), equalTo(checkProperties.getProperties("check.ctn.bannedCtn")));
				
			odbc.executeSqlString(configProperties.getProperties("sql.deletes.ccboPermittedNumber"));
			odbc.closeConnection();
			dp.weMenuSetup.click();
			clearAllCaches();
			
		} catch (NoSuchElementException e){
			odbc.executeSqlString(configProperties.getProperties("sql.deletes.ccboPermittedNumber"));
			odbc.closeConnection();
			clearAllCaches();
			collector.checkThat("Не найдено сообщение о блокировании", true, equalTo(false));
		}
	}

private boolean clearAllCaches() throws InterruptedException{
	dp.goToSetupPage(getWebDriver());
	boolean res = sp.clearAllCaches(BasicTestCase.getWebDriver());
	sp.goToDetailPage(getWebDriver());
	return res;
}

private void preTest() throws InterruptedException{
	dp.goToSetupPage(getWebDriver());
	sp.clearAllCaches(getWebDriver());
	sp.goToDetailPage(getWebDriver());
}

furiousduck · 10.Сентябрь.2014 10:11:26

Вообще, не рекомендуется запускать больше одного IE теста в пределах одной тачки. Они друг другу не дают жить.
Виртуалки, Selenium Grid и вперёд

UPD: GitHub - SeleniumHQ/selenium-google-code-issue-archive: Archive, please see main selenium repo
здесь как раз об этом речь

KoNaN · 10.Сентябрь.2014 10:15:40

Обычно такие ошибки проявляются по 3-м причинам:

В некоторых местах система просто не дожидается появления нужного элемента (потому и работает в режиме отладки). Неявного ожидания, которое приводится ниже, может быть недостаточно. Посмотрите еще в сторону WebDriverWait. Пример использования

wait.until(ExpectedConditions.presenceOfElementLocated(locator));

Причем ожидание имеет смысл применять не только для проверки сузествования элемента, но и нужного состояния
2) В каком-то тесте делаются настройки, которые потом могут испортить выполнение последующих тестов. То есть, тест не является независимым. В этом случае, как минимум надо поработать над установкой начального состояния для теста перед его запуском (setUp методы)
3) Некоторые локаторы не всегда работают в IE (особенно, если это XPath и на странице очень много элементов). Нужно посмотреть, есть ли ыозможность использовать более оптимальные локаторы

vmaximv · 10.Сентябрь.2014 11:02:02

Это как?

aprosv · 10.Сентябрь.2014 11:12:09

Они вроде как выполняются последовательно… и совершенно никак не зависят друг от друга. Но всё равно спасибо, буду пробовать разделить.

Пытался, не получилось. Возможно где-то закосячил, попробую снова.

Тут без вариантов, тесты совершенно независимы друг от друга и в каждом есть метод предустановки дефолтных значений

Большинство элементов не имеют id или чего-то подобного, а по className тоже искать не вариант, ибо он один у очень многих элементов. Увы, но мои мольбы программеры не услышали…

sidelnikovmike · 10.Сентябрь.2014 12:04:24

а как выглядит метод getWebDriver()?

KoNaN · 10.Сентябрь.2014 12:15:45

Да вот как-то так. Есть локатор, по которому все находится под ФФ, хромом. Но под ИЕ никак. Я с таким сталкивался в случае составных XPath, особенно, если есть переход по иерархии вверх и содержимое страницы динамично. Это не всегда проявлялось, но имело место быть.

vmaximv · 10.Сентябрь.2014 12:21:27

Такое имело место быть, когда в ИЕДрайвере юзался довольно плохой движок xpath.
После перехода на wgxpath (что было сделано довольно-таки давно) больше проблем нет.
Если находит в ФФ-Хром и не находит в ИЕ - вариант один - разный html.

aprosv · 10.Сентябрь.2014 12:36:02

protected static WebDriver getWebDriver(){
		
		if(wdIE == null)
		{
			DesiredCapabilities capabilities = DesiredCapabilities.internetExplorer();
			capabilities.setCapability(InternetExplorerDriver.INTRODUCE_FLAKINESS_BY_IGNORING_SECURITY_DOMAINS, true);
			wdIE = new InternetExplorerDriver(capabilities);
		}
		
		return wdIE;
	}

vmaximv · 10.Сентябрь.2014 12:37:49

Собственно вот вы сами и ответили хД

aprosv · 10.Сентябрь.2014 12:43:30

не совсем понимаю как это влияет. Без этого проблемно будет постоянно вручную настраивать IE.

vmaximv · 10.Сентябрь.2014 12:47:19

Описание более чем внятное
http://selenium.googlecode.com/git/docs/api/java/org/openqa/selenium/ie/InternetExplorerDriver.html#INTRODUCE_FLAKINESS_BY_IGNORING_SECURITY_DOMAINS

aprosv · 10.Сентябрь.2014 12:48:56

Ясно, огромное спасибо! Буду избавляться от этого.

aprosv · 10.Сентябрь.2014 13:22:17

К сожалению удаление INTRODUCE_FLAKINESS_BY_IGNORING_SECURITY_DOMAINS совсем не помогло.

Тесты стали немного стабильнее выполняться после замены некоторых локаторов xpath на css, и увеличения таймаута до 1 минуты.

wdIE.manage().timeouts().implicitlyWait(60, TimeUnit.SECONDS);

наиболее частая причина падений: InvalidSelectorException
и появилось ещё исключение StaleElementReferenceException: Element is no longer valid (WARNING: The server did not provide any stacktrace information)

StaleElementReferenceException: Element is no longer valid вроде как понятное исключение, но на странице элемент присутствует, и никаких свойств типа “invisible” нет…

vmaximv · 10.Сентябрь.2014 13:27:11

Ну хоть бы трассы показали. А заодно и озвучили бы версии “всего-и-вся”.
По стейлу: видимо не до конца понимаете суть
stale element reference - An element command failed because the referenced element is no longer attached to the DOM.

aprosv · 10.Сентябрь.2014 13:35:08

Да, стейл для меня непонятен…
Что можно сделать чтобы такое не появлялось или как отловить причину?

А трейс таков:

org.openqa.selenium.StaleElementReferenceException: Element is no longer valid (WARNING: The server did not provide any stacktrace information)
Command duration or timeout: 54 milliseconds
For documentation on this error, please visit: http://seleniumhq.org/exceptions/stale_element_reference.html
Build info: version: '2.42.2', revision: '6a6995d', time: '2014-06-03 17:42:30'
System info: host: 'WDP-00032', ip: '192.168.128.129', os.name: 'Windows 7', os.arch: 'amd64', os.version: '6.1', java.version: '1.7.0_04'
Session ID: 375f341e-c1ab-44af-9266-aa52f5874782
Driver info: org.openqa.selenium.ie.InternetExplorerDriver
Capabilities [{platform=WINDOWS, javascriptEnabled=true, elementScrollBehavior=0, enablePersistentHover=true, ignoreZoomSetting=false, ie.ensureCleanSession=false, browserName=internet explorer, enableElementCacheCleanup=true, unexpectedAlertBehaviour=dismiss, version=10, ie.usePerProcessProxy=false, cssSelectorsEnabled=true, ignoreProtectedModeSettings=false, requireWindowFocus=false, handlesAlerts=true, initialBrowserUrl=http://localhost:17561/, ie.forceCreateProcessApi=false, nativeEvents=true, browserAttachTimeout=0, ie.browserCommandLineSwitches=, takesScreenshot=true}]
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:525)
	at org.openqa.selenium.remote.ErrorHandler.createThrowable(ErrorHandler.java:204)
	at org.openqa.selenium.remote.ErrorHandler.throwIfResponseFailed(ErrorHandler.java:156)
	at org.openqa.selenium.remote.RemoteWebDriver.execute(RemoteWebDriver.java:599)
	at org.openqa.selenium.remote.RemoteWebElement.execute(RemoteWebElement.java:268)
	at org.openqa.selenium.remote.RemoteWebElement.clear(RemoteWebElement.java:113)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:601)
	at org.openqa.selenium.support.pagefactory.internal.LocatingElementHandler.invoke(LocatingElementHandler.java:41)
	at $Proxy11.clear(Unknown Source)
	at com.ccbo.pages.BasicPage.CtnSearch(BasicPage.java:39)
	at com.ccbo.regress.mainInfoCases.case13BannedCtnSearch(mainInfoCases.java:112)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:601)
	at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:47)
	at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
	at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:44)
	at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
	at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:26)
	at org.junit.internal.runners.statements.RunAfters.evaluate(RunAfters.java:27)
	at org.junit.rules.Verifier$1.evaluate(Verifier.java:35)
	at org.junit.rules.RunRules.evaluate(RunRules.java:20)
	at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:271)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:70)
	at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:50)
	at org.junit.runners.ParentRunner$3.run(ParentRunner.java:238)
	at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:63)
	at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:236)
	at org.junit.runners.ParentRunner.access$000(ParentRunner.java:53)
	at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:229)
	at org.junit.runners.ParentRunner.run(ParentRunner.java:309)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:50)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)

aprosv · 10.Сентябрь.2014 13:53:36

Нашёл одну из причин появления NoSuchElementException.
в методе

private boolean clearAllCaches() throws InterruptedException{
	dp.goToSetupPage(getWebDriver());
	boolean res = sp.clearAllCaches(BasicTestCase.getWebDriver());
	sp.goToDetailPage(getWebDriver());
	return res;
}

не выполняется sp.goToDetailPage(getWebDriver());

sp - экземпляр класса SetupPage

private SetupPage sp = PageFactory.initElements(getWebDriver(), SetupPage.class);

goToDetailPage() - метод родительского класса для SetupPage (BasicTestPage)

public void goToSetupPage(WebDriver wd){
	wd.findElement(By.id("setup")).click();
}

опять же - 1 раз из 5 примерно такая проблема проявляется…

vmaximv · 10.Сентябрь.2014 14:00:11

Для начала нужно определиться - вы ловите стейлы рандомно на одном и том же наборе тейсов, либо это вопроизводимые/постоянные фейлы.
Попробуйте задизейблить ENABLE_ELEMENT_CACHE_CLEANUP.
У вас трасса ведет на PageFactory и clear

at org.openqa.selenium.remote.RemoteWebElement.clear

а вы говорите падает на

wd.findElement(By.id("setup")).click();

Чтотонетак

aprosv · 10.Сентябрь.2014 14:04:11

стейлы рандомно появляются на разных тестах… от этого ещё обиднее…

ArtOfLife · 10.Сентябрь.2014 14:04:45

Вижу в трейсе clear команду:

Видимо вы пытаетесь очистить, а затем ввести данные в input, который динамически обновляется?