在 txt 中读取中文时出错：corpus（）仅适用于字符、语料库、语料库、data.frame、kwic 对象-解网

问：

我尝试使用 R、jiebaR 和语料库生成词云并获取中文语音的词频，但无法制作语料库。这是我的代码：

library(jiebaR)
library(stringr)
library(corpus)

cutter <- worker()

v36 <- readLines('v36.txt', encoding = 'UTF-8')

seg_x <- function(x) {str_c(cutter[x], collapse = '')}

x.out <- sapply(v36, seg_x, USE.NAMES = FALSE)

v36.seg <- x.out
v36.seg

library(quanteda)

corpus <- corpus(v36.seg)  #Error begins here.
summary(corpus, showmeta = TRUE, 1)
texts(corpus)[1]

tokens(corpus, what = 'fasterword')[1]

tokens <- tokens(v36.seg, what = 'fasterword')
dfm <- dfm(tokens)
dfm

我的文本文件包括以下段落：

当我创建语料库时，错误开始。R 返回：

Error in corpus.default(v36.seg) : 
  corpus() only works on character, corpus, Corpus, data.frame, kwic objects.

我不明白为什么文本有问题。如果你能帮我解决问题，不胜感激。谢谢。

R Text-Mining Stringr Corpus Quanteda

@phiver 1.typeof （x.out）返回 list，而不是 character 和 df。2. 因为我将来会将更长的文本导入 R。以上中文文本为测试用例。3. 恐怕有些 stackoverflow-ers 无法在这里正确查看汉字。原文如下：為了盡量減低疫情在社區擴散的風險，政府發言人今日（一月二十八日）宣布，政府部門將會於農曆新年假期後（即一月二十九日起）實施特別上班安排。除了提供緊急和必須公共服務的人員外，政府僱員在假期後無需返回寫字樓辦公，而是留在家中工作。有關安排暫定實行至二月二日，政府屆時會再檢視情況。政府發言人呼籲私人機構在可行情況下，作類似安排。個別政府部門會就受影響的公共服務作出公布。

答：

0赞 Ken Benoit 1/28/2020 #1

如果没有一个可重复的例子，就不可能说出来，但我可以提出两件事，可能会解决这个问题。第一种是使用 readtext 包简化文本文件的读取。第二，你肯定想要“word”分词器，而不是“fasterword”，它只是在空格上拆分——中文在单词之间不使用。“word”知道中文单词的边界。

试试这个：

library("quanteda")

readtext::readtext("v36.rtxt") %>%
    corpus() %>%
    tokens(what = "word") %>%
    dfm()

1赞 phiver 1/28/2020 #2

鉴于您在评论中的文本示例，我将这些放在文本文件中。接下来，按照 Ken 的说明，您将看到该文本在 quanteda 中很好。从那里你可以做你需要的所有NLP。请查看 quanteda 参考页面上的中文示例。

免责声明：我似乎无法将您的评论中的中文示例文本粘贴到此答案中，因为系统认为我在发送垃圾邮件：-（

library(quanteda)
library(readtext)

v36 <- readtext::readtext("v36.txt", encoding = "UTF8")

my_dfm <- v36 %>%  corpus() %>%
  tokens(what = "word") %>%
  dfm()  

# show frequency to check if words are available.
dplyr::as_tibble(textstat_frequency(my_dfm))

# A tibble: 79 x 5
   feature frequency  rank docfreq group
   <chr>       <dbl> <int>   <dbl> <chr>
 1 ，              6     1       1 all  
 2 政府            6     1       1 all  
 3 。              5     3       1 all  
 4 在              3     4       1 all  
 5 的              3     4       1 all  
 6 安排            3     4       1 all  
 7 發言人          2     7       1 all  
 8 （              2     7       1 all  
 9 一月            2     7       1 all  
10 ）              2     7       1 all  
# ... with 69 more rows

在 txt 中读取中文时出错：corpus（） 仅适用于字符、语料库、语料库、data.frame、kwic 对象

Error in reading Chinese in txt: corpus() only works on character, corpus, Corpus, data.frame, kwic objects

评论

评论

在 txt 中读取中文时出错：corpus（）仅适用于字符、语料库、语料库、data.frame、kwic 对象