Я взял следующий код из пакета rNomads и немного изменил его.
При первом запуске я получаю:
> WebCrawler(url = "www.bikeforums.net")
[1] "www.bikeforums.net"
[1] "www.bikeforums.net"
Warning message:
XML content does not seem to be XML: 'www.bikeforums.net'
Вот код:
require("XML")
# cleaning workspace
rm(list = ls())
# This function recursively searches for links in the given url and follows every single link.
# It returns a list of the final (dead end) URLs.
# depth - How many links to return. This avoids having to recursively scan hundreds of links. Defaults to NULL, which returns everything.
WebCrawler <- function(url, depth = NULL, verbose = TRUE) {
doc <- XML::htmlParse(url)
links <- XML::xpathSApply(doc, "//a/@href")
XML::free(doc)
if(is.null(links)) {
if(verbose) {
print(url)
}
return(url)
} else {
urls.out <- vector("list", length = length(links))
for(link in links) {
if(!is.null(depth)) {
if(length(unlist(urls.out)) >= depth) {
break
}
}
urls.out[[link]] <- WebCrawler(link, depth = depth, verbose = verbose)
}
return(urls.out)
}
}
# Execution
WebCrawler(url = "www.bikeforums.net")
Любая рекомендация, что я делаю неправильно?
UPDATE
Привет, ребята,
Я начал эту награду, потому что я думаю, что в сообществе R существует потребность в такой функции, которая может сканировать веб-страницы. Решение, которое выиграло бы награду, должно показать функцию, которая принимает два параметра:
WebCrawler(url = "www.bikeforums.net", xpath = "\\title" )
- В качестве вывода я хотел бы иметь фрейм данных с двумя столбцами: ссылка на сайт и если пример выражения xpath соответствует столбцу с совпадающим выражением.
Я очень ценю ваши ответы