testomat.io управление авто тестамиВсем привет.
Была задача написать небольшой тест для проверки работоспособности canvas элемента на странице. Как-бы смоук тест на то, не отвалилась ли БД или еще какой из элементов. Для мониторинга. Решил использовать Python, Selenium Webdriver, OpenCV. Нашел статью, где популярно разжевано: HTML <canvas> testing with Selenium and OpenCV
Все сделал, настроил. Вроде работает. Но столкнулся с проблемой и не знаю как решить.
Проблема: если после нахождения элемента на странице и клика по нему доабвить поиск другого элемента и клика уже по нему, то второй клик не отрабатывает (метод вроде отрабатывает, то глазами вижу что действия, которое должно быть после клика - нет).
Модуль поисковика элемента:
graphical_locator.py
import cv2
import numpy
from io import BytesIO
from PIL import Image
class GraphicalLocator(object):
def __init__(self, img_path):
self.locator = img_path
# x, y position in pixels counting from left, top corner
self.x = None
self.y = None
self.img = cv2.imread(img_path)
self.width = self.img.shape[1]
self.height = self.img.shape[0]
self.threshold = None
@property
def center_x(self):
if self.x and self.width:
return self.x + int(self.width / 2)
else:
None
@property
def center_y(self):
if self.y and self.height:
return self.y + int(self.height / 2)
else:
None
# Clear last found coordinates
def find_me(self, drv):
self.x = self.y = None
# Get current screenshot of a web page
scr = drv.get_screenshot_as_png()
# Convert img to BytesIO
scr = Image.open(BytesIO(scr))
# Convert to format accepted by OpenCV
scr = numpy.asarray(
scr,
dtype=numpy.float32
).astype(numpy.uint8)
# Convert image from BGR to RGB format
scr = cv2.cvtColor(scr, cv2.COLOR_BGR2RGB)
# Image matching works only on gray images
# (color conversion from RGB/BGR to GRAY scale)
img_match = cv2.minMaxLoc(
cv2.matchTemplate(
cv2.cvtColor(
scr,
cv2.COLOR_RGB2GRAY
),
cv2.cvtColor(
self.img,
cv2.COLOR_BGR2GRAY
),
cv2.TM_CCOEFF_NORMED
)
)
# Calculate position of found element
self.x = img_match[3][0]
self.y = img_match[3][1]
# From full screenshot crop part that matches template image
scr_crop = scr[
self.y: (self.y + self.height),
self.x: (self.x + self.width)
]
# Calculate colors histogram of both template# and matching images and
# compare them
scr_hist = cv2.calcHist(
[scr_crop],
[0, 1, 2],
None,
[8, 8, 8],
[0, 256, 0, 256, 0, 256]
)
img_hist = cv2.calcHist(
[self.img],
[0, 1, 2],
None,
[8, 8, 8],
[0, 256, 0, 256, 0, 256]
)
comp_hist = cv2.compareHist(
img_hist,
scr_hist,
cv2.HISTCMP_CORREL
)
# Save treshold matches of: graphical image and image histogram
self.threshold = {
'shape': round(img_match[1], 2),
'histogram': round(comp_hist, 2)
}
# Return image with blue rectangle around match
return cv2.rectangle(
scr,
(self.x, self.y),
(self.x + self.width, self.y + self.height),
(0, 0, 255),
2
)
Модуль проверки:
check.py
import time
import os
from selenium.webdriver.common.action_chains import ActionChains
from .graphical_locator import GraphicalLocator
def check(driver):
def click(path, shape, histogram):
button = GraphicalLocator(
os.path.abspath(path))
button.find_me(driver)
is_found = False
print("\nSHAPE: ", path, button.threshold['shape'])
print("\nHISTOGRAM: ", path, button.threshold['histogram'])
if button.threshold['shape'] >= shape and \
button.threshold['histogram'] >= histogram:
is_found = True
if is_found:
action = ActionChains(driver)
action.move_by_offset(button.center_x, button.center_y)
action.click()
action.perform()
print("\nALREADY CLICKED")
time.sleep(2)
return True
return False
if click(
path="checks/elements/button_1.png",
shape=0.56,
histogram=0.97,
):
return click(
path="checks/elements/button_2.png",
shape=0.56,
histogram=0.53,
)
В итоге, первый клик проходит, это видно, а второй по коду проходит (click() возвращает True), но по факту нет. Кто с таким сталкивался? Куда копать?
Думал проблема в не очистке координат, но нет. Я же использую новый инстанс ActionChains. Как и GraphicalLocator.
python==3.5.2
selenium==3.14.0
chromedriver==2.45
opencv-python==3.4.4.19
numpy==1.15.4
Pillow==5.3.0
chrome==71.0.3578.98