Парсер страницы на Selenium IDE или другой инструмент

инструменты
#1

Доброе время суток,
Есть задача написать парсер который будет находить на сайте любой доступный на данный момент продукт и записывать его артикул в csv документ. ( прим сайта adidas.co.uk)
Возможно ли это сделать с помощью Selenium IDE и может кто сталкивался с таким и посоветует какой то другой инструмент?
З.Ы WebDriver и всё что связано с кодом не предлагать т.к начальство требует “что бы любой ди**л глянул и ничего не сломал”

#2

python + пакеты:
lxml
Scrapy
BeautifulSoap
Grab
Requests

Выбирай.
Это будет быстрее, чем на webdriver. И можно паралеллить.

Вот простой пример на Grab:

from grab import Grab
g = Grab()
sample_url = 'some_url'
xpath_part= 'some_xpath'
resp =  g.go(sample_url).body
result = resp.xpath(some_xpath).text()
print(result)
#3

Спасибо, но к сожалению программированием вообще нельзя пользоваться :frowning:

#4

А как можно парсер без программирования написать? :slight_smile: Строго говоря, вам не парсер нужен, а скрапер. На IDE его делать извращение, тогда уж лучше на WebDriver, но там тоже скриптовать придется.

#5

Вот именно) мне нужно это извращение) Мб есть какие-то другие тулзы или удобные user-extensions ?

#6

Это я считаю - дебильное требование.
Что там можно сломать? Только локатор поменяется, возможно, на целевом сайте.
Вынести это в настройки в отдельный файл, а вся остальная логика - в других файлах.
И инструкцию дать - что можно менять и как менять.

#7

Придется ставить и настраивать на каждой машине Maven и показывать как запускать, а это очень не желательно

#8

Напишите легкий графический интерфейс и сделайте запускаемый файл, тогда точно никто ничего не сломает :slight_smile:

#9

Честно говоря я не умею делать запускаемые файлы для Мака :frowning:

#10

Maven зачем?
Налабать скрипт на питоне.
И сделать батник с его запуском. Все.

1 лайк
#11

есть масса js екстеншен-монкей кликеров который работают прям в браузере…поищите, для хрома находил парочку точно, но для записи в csv в любом случае прийдется писать какой то логер…вообще описание ваше весьма плохое и звучит как “напишите мне программу без ЯП”

#12

Вот мне такое же описание дали, только мне нужно что бы вы помогли с тулзами

#13

хоть бы погуглить потрудились)

Расширение iMacros for Chrome

#14

iMacros, кстати, может писать в csv файл, но для полноценной работы в качестве дата-скрапера нужна платная версия.