Я извлек твиты из twitter с помощью пакета twitteR и сохранил их в текстовый файл.
Я выполнил следующее на корпусе
xx<-tm_map(xx,removeNumbers, lazy=TRUE, 'mc.cores=1')
xx<-tm_map(xx,stripWhitespace, lazy=TRUE, 'mc.cores=1')
xx<-tm_map(xx,removePunctuation, lazy=TRUE, 'mc.cores=1')
xx<-tm_map(xx,strip_retweets, lazy=TRUE, 'mc.cores=1')
xx<-tm_map(xx,removeWords,stopwords(english), lazy=TRUE, 'mc.cores=1')
(используя mc.cores = 1 и lazy = True, поскольку в противном случае R на mac запутывается в ошибки)
tdm<-TermDocumentMatrix(xx)
Но в этой терминологической матрице документов есть много странных символов, бессмысленных слов и т.п. Если твит
RT @Foxtel: One man stands between us and annihilation: @IanZiering.
Sharknado‚Äã 3: OH HELL NO! - July 23 on Foxtel @SyfyAU
После очистки твита я хочу оставить только правильные полные английские слова, т.е. предложение/фразу, лишенную всего остального (имена пользователей, сокращенные слова, URL-адреса)
пример:
One man stands between us and annihilation oh hell no on
(Примечание. Команды преобразования в пакете tm могут удалять только стоп-слова, пробелы в пунктуации, а также преобразование в нижний регистр).