跟踪导致“'xml_find_all'没有适用方法”错误的 HTML 页面-解网

问：

我有一个包含 30,000 个 html 页面的文件夹，我正在使用此 R 函数进行解析：

extract <- function(x){
  file <- read_html(x)
  filename <- x %>% gsub("~/files/index.html", "", .)
  mapscript_vector <- file %>% 
    html_nodes("#mapscript") %>% 
    html_text() %>%
    str_match_all("markers \\= \\[\n\n\t *\\[ ?\"(.+)\", \"(\\w+)\", ([[:digit:]\\.\\-]+), ([[:digit:]\\.\\-]+), \"(\\d+)\", (\\d+)")  %>% 
    extract2(1) %>% 
    extract(2:7)
  mapscript_full_vector <- c(mapscript_vector, filename)
}

result <- lapply(html_files, extract)

它在 30,000 个文件的子集上按预期工作。但我想某处有一两个坏文件，因为当我在整个集合上运行该函数时，我收到以下错误：

Error in UseMethod("xml_find_all") : 
  no applicable method for 'xml_find_all' applied to an object of class "xml_document"

我想我至少可以做三件事之一：

查找导致问题的文件
改进代码，使其也可以处理类“xml_document”的对象
获取代码以忽略问题文件并给我一个结果

我将不胜感激任何建议。

HTML R XML 解析

extract <- function(x){
  tryCatch(
  {file <- read_html(x)
  filename <- x %>% gsub("~/files/index.html", "", .)
  mapscript_vector <- file %>% 
    html_nodes("#mapscript") %>% 
    html_text() %>%
    str_match_all("markers \\= \\[\n\n\t *\\[ ?\"(.+)\", \"(\\w+)\", ([[:digit:]\\.\\-]+), ([[:digit:]\\.\\-]+), \"(\\d+)\", (\\d+)")  %>% 
    extract2(1) %>% 
    extract(2:7)
  mapscript_full_vector <- c(mapscript_vector, filename)},
  error = function(e) {
    print(e)
    print(x)
  })
}

result <- lapply(html_files[1:100], extract)

这种方法将使您了解错误发生的频率，以及它是否是您的一般功能（仅使用几个空文件）的问题。我会尝试只使用 100 个文件作为编码开始，如果没有错误，我会增加。

跟踪导致“'xml_find_all'没有适用方法”错误的 HTML 页面

tracking down the html page causing "no applicable method for 'xml_find_all'" error

评论

评论