Получить текстовое содержимое элемента HTML с помощью XPath?

Смотрите этот html

<div>
    <p>
    <span class="abc">Monitor</span> <b>$300</b>
    </p>
    <a href="/add">Add to cart</a>
</div>
<div>
    <p>
    <span class="abc">Keyboard</span> $20 
    </p>
    <a href="/add">Add to cart</a>
</div>

Используя xpath, я хочу разобрать Monitor $300 и Keyboard $20. Я использую этот xpath

 //div[a[contains(., "Add to cart")]]/p/text()

Но он выбирает <span class="abc">Monitor</span> <b>$300</b>. Мне не нужны теги. Как получить только текст?

Ответ 1

Вы хотите выбрать все тексты потомков, а не только дочерний текст:

//div[a[contains(., "Add to cart")]]/p//text()

Обратите внимание на двойную косую черту между p и text() там.

Это потенциально также будет включать много пробелов между тегами, хотя вам это нужно будет очистить. Пример с помощью lxml:

>>> import lxml.etree as ET
>>> tree = ET.fromstring('''<div>
... <div>
...     <p>
...     <span class="abc">Monitor</span> <b>$300</b>
...     </p>
...     <a href="/add">Add to cart</a>
... </div>
... <div>
...     <p>
...     <span class="abc">Keyboard</span> $20 
...     </p>
...     <a href="/add">Add to cart</a>
... </div>
... </div>''')
>>> tree.xpath('//div[a[contains(., "Add to cart")]]/p//text()')
['\n    ', 'Monitor', ' ', '$300', '\n    ', '\n    ', 'Keyboard', ' $20 \n    ']
>>> res = _
>>> [txt for txt in (txt.strip() for txt in res) if txt]
['Monitor', '$300', 'Keyboard', '$20']