Порнокейс! поиск по DOM в виде string, средствами WD

webdriver
,
#1

првиет всем!

есть такой порнокейс:
имеется DOM в виде string. как можно испольтзовать такую стрингу, чтобы искать в ней с помощью всех встреонных методов FindElement и тд?

#2

А что потом планируется делать с найденными элементами?

Если цель искать элементы и не обязательно средствами WD. То попробуйте библиотеку https://jsoup.org/

#3

планируется доставать только текст

#4

Тогда jsoup в помощь. Селекторы очень схожы с xpath + есть свои псевдо селекторы. Мне эта библиотечка зашла. Пользуюсь до сих пор.

#5

я на си шарпе(

#6

Тогда поможет биндинг этой библиотеки на C# https://nsoup.codeplex.com/

#7

о , круто, спс попробую но уже в след году:) а как либа относится к знакам разметки? /r/n

#8

Это внутри полученного текста? Вроде нормально. Ничего не съедает и не прячет самостоятельно

#9

Когда работал на с# проекте мы использовали html-agility-pack

#10

Вдогону, кому надо работать в JS:
GitHub - cheeriojs/cheerio: The fast, flexible, and elegant library for parsing and manipulating HTML and XML. - отличная либа.

#11

а кто нибудь пользовался GitHub - jamietre/CsQuery: CsQuery is a complete CSS selector engine, HTML parser, and jQuery port for C# and .NET 4. ?

#12

Я бы попытался спарсить в XML, а потом уже намного удобней работать.

#13

не получится ибо страница содержит скрипты со спецсимволами которые содержатся в скриптах

#14

Можно пример такой ноды с спецсимволами в HTML?

#15

сейчас не могу . список запрещенных символов в хмл можете найти в гугле

#16

Спасибо за предложение погуглить, но по моему это вы просили помощь как вам работать с дом деревом а не я )

Современные парсеры номрально все это преобразовывают, да и скрипты по сути не нужны - если уж на то пошло их можно просто вырезать перед парсингом.

Вот допустим - GitHub - fb55/htmlparser2: The fast & forgiving HTML and XML parser тут даже встроенный DomUtils есть.

#17

речь шла конкретно про преобразование в хмл, которое вы предложили. я ответил почему это невозможно. скрипты будут полюбому, и вырезать их перед обработкой выглядит костыльно.

хотелось бы работать с ДОМом через селекторы

1 лайк
#18

Ну ок :slight_smile:

#19

да, могу объяснть почему DOM в виде стринги:
мне нужно вытягивать информацию с одного ресурса у которого нет апи, а на запросы приходит html страница. запросы я научился делать, а вот как лучше спарсить такую страницу я еще думаю. в идеале было бы сделать так чтобы запихнуть в вебдрайвер такую структуру и работать с ним как обычно

#20

Мне кажется что это код делает то что вам нужно:

import requests
import lxml.html as parser


def main():
    url = 'url'
    response = requests.get(url)
    html = response.text
    root = parser.fromstring(html)
    items = root.cssselect('collection_selector')

    for i in items:
        print i.cssselect("item_selector").text