Я пытаюсь очистить несколько динамических сайтов, используя Splash для Scrapy в python. Однако я вижу, что Splash не может дождаться загрузки полной страницы в определенных случаях. Скорее всего, для решения этой проблемы было добавлено большое время wait
(например, 5 секунд в приведенном ниже фрагменте). Однако это крайне неэффективно и по-прежнему не загружает определенные данные (иногда загрузка занимает более 5 секунд). Есть ли какое-то условие ожидания для элемента, которое может быть выполнено через эти запросы?
yield SplashRequest(
url,
self.parse,
args={'wait': 5},
'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
}
)