Есть отличная удаленная работа для php+codeception+jenkins+allure+docker спецов. 100% remote! Присоединиться к проекту

Парсер страницы на Selenium IDE или другой инструмент

selenium
Теги: #<Tag:0x00007f7b61be9c48>

#1

Доброе время суток,
Есть задача написать парсер который будет находить на сайте любой доступный на данный момент продукт и записывать его артикул в csv документ. ( прим сайта adidas.co.uk)
Возможно ли это сделать с помощью Selenium IDE и может кто сталкивался с таким и посоветует какой то другой инструмент?
З.Ы WebDriver и всё что связано с кодом не предлагать т.к начальство требует “что бы любой ди**л глянул и ничего не сломал”


(Bolatbek) #2

python + пакеты:
lxml
Scrapy
BeautifulSoap
Grab
Requests

Выбирай.
Это будет быстрее, чем на webdriver. И можно паралеллить.

Вот простой пример на Grab:

from grab import Grab
g = Grab()
sample_url = 'some_url'
xpath_part= 'some_xpath'
resp =  g.go(sample_url).body
result = resp.xpath(some_xpath).text()
print(result)

#3

Спасибо, но к сожалению программированием вообще нельзя пользоваться :frowning:


(Yury) #4

А как можно парсер без программирования написать? :slight_smile: Строго говоря, вам не парсер нужен, а скрапер. На IDE его делать извращение, тогда уж лучше на WebDriver, но там тоже скриптовать придется.


#5

Вот именно) мне нужно это извращение) Мб есть какие-то другие тулзы или удобные user-extensions ?


(Bolatbek) #6

Это я считаю - дебильное требование.
Что там можно сломать? Только локатор поменяется, возможно, на целевом сайте.
Вынести это в настройки в отдельный файл, а вся остальная логика - в других файлах.
И инструкцию дать - что можно менять и как менять.


#7

Придется ставить и настраивать на каждой машине Maven и показывать как запускать, а это очень не желательно


(Yury) #8

Напишите легкий графический интерфейс и сделайте запускаемый файл, тогда точно никто ничего не сломает :slight_smile:


#9

Честно говоря я не умею делать запускаемые файлы для Мака :frowning:


(Bolatbek) #10

Maven зачем?
Налабать скрипт на питоне.
И сделать батник с его запуском. Все.


(Goshko Nazar) #11

есть масса js екстеншен-монкей кликеров который работают прям в браузере…поищите, для хрома находил парочку точно, но для записи в csv в любом случае прийдется писать какой то логер…вообще описание ваше весьма плохое и звучит как “напишите мне программу без ЯП”


#12

Вот мне такое же описание дали, только мне нужно что бы вы помогли с тулзами


(Goshko Nazar) #13

хоть бы погуглить потрудились)

Расширение iMacros for Chrome


(Yury) #14

iMacros, кстати, может писать в csv файл, но для полноценной работы в качестве дата-скрапера нужна платная версия.