Инструмент для тестирования Контекстной информации

Добрый день. Я новичок в автоматизации и на будущей работе стоит задача. есть сервис который парсит сайты и результат хранит в базе. Когда клиент заходит на определенный сайт то по его запросу появляется виджет, который показывает подобный контент, где пользователь по ссылке может перейти на похожий контент.
Извиняюсь, если не понятно, но подскажите пожалуйста: каким инструментом, фреймворком это лучше тестировать: парсинг сайта и работа самого виджета по контенту?.
Спасибо большое

Что в итоге хотите получить?

Опишу более детально. Сам функционал можно разделить на две части:
1)сервис парсит сайты на подобии того, как это делает поисковик. Он хранит информацию об этом в какой то БД.
2) По запросу клиента происходит в фоне анализ и уже на основании этого в виджете пользователю показывается сайты с подобным содержанием контента. У меня вопрос: в какую сторону “копать”, чтобы тестирование этих частей автоматизировать. Сейчас проверка происходит только в ручном режиме, что не всегда удобно. Если можно, то функционал по первой части: использовать набор таких инструментов, а функционал по другой - набор других инструментов. Спасибо

Если цель протестировать алгоритм выдачи рекомендаций, можно залить в БД сэмпловую дату, результат обработки которой мы знаем заранее и, соответственно, проверить, что именно он и выдается

UPD: Если нужен Е2Е попробуйте парсить заранее установленные сайты (желательно статичные, которые не меняются, для стабильности тестов). Соответственно, вы уже будете знать, что должно быть в базе и какой будет результат анализа

Спасибо большое. Буду дальше искать информацию

Так и не получил ответ, что должно быть в конце. Проверка, отображается ли подобрые сайты, механизм сравнения подобия или хз что еще…

Кто должен парсить данные - ваше приложение или стороннее?

Что есть на входе - ясно.
Что должно быть на выходе - нет.

Не сочтите за грубость, но в 1ю очередь четко формулируйте ваши цели. Правильно заданный вопрос на 90% содержит в себе ответ.

1 лайк