Работа с грязными датами

Ответ 1

Мое сочувствие, что ваша дата не получилась столь же красивой, как ожидалось.; -)

Я построил (все еще частичное) решение по линиям, предложенным @Rguy.

(Обратите внимание, что этот код по-прежнему имеет ошибку: он всегда возвращает правильное время. По какой-то причине он не всегда делает жадное соответствие цифр перед двоеточием, поэтому иногда возвращается 1:00 когда время 11:00.)

Сначала создайте вспомогательную функцию, которая обтекает gsub и grep. Эта функция принимает вектор символов как один из его аргументов и сворачивает это в одну строку, разделенную |. Эффект этого заключается в том, чтобы вы могли легко передать несколько шаблонов, которые будут соответствовать регулярному выражению:

find.pattern <- function(x, pattern_list){
  pattern <- paste(pattern_list, collapse="|")
  ret <- gsub(paste("^.*(", pattern, ").*", sep=""), "\\1", x, ignore.case=TRUE)
  ret[ret==x] <- NA 
  ret2 <- grepl(paste("^(", pattern, ")$", sep=""), x, ignore.case=TRUE)
  ret[ret2] <- x[ret2] 
  ret
}

Далее, используйте некоторые встроенные имена переменных для создания вектора месяцев и сокращений:

all.month <- c(month.name, month.abb)

Наконец, создайте кадр данных с различными выдержками:

ret <- data.frame(
    data = dat, 
    date1 = find.pattern(dat, "\\d+/\\d+/\\d+"),
    date2 = find.pattern(dat, 
      paste(all.month, "\\s*\\d+[(th)|,]*\\s{0,3}[(2010)|(2011)]*", collapse="|", sep="")),
    year = find.pattern(dat, c(2010, 2011)),
    month = find.pattern(dat, month.abb), #Use base R variable called month.abb for month names
    hour = find.pattern(dat, c("\\d+[\\.:h]\\d+", "12 noon")),
    ampm = find.pattern(dat, c("am", "pm"))
)

Результаты:

head(ret, 50)
                      data  date1        date2 year month  hour ampm
20   April 4th around 10am   <NA>   April 4th  <NA>   Apr  <NA>   am
21   April 4th around 10am   <NA>   April 4th  <NA>   Apr  <NA>   am
22     Mar 18, 2011 9:33am   <NA> Mar 18, 2011 2011   Mar  9:33   am
23     Mar 18, 2011 9:27am   <NA> Mar 18, 2011 2011   Mar  9:27   am
24                      df   <NA>         <NA> <NA>  <NA>  <NA> <NA>
25                      fg   <NA>         <NA> <NA>  <NA>  <NA> <NA>
26                   12:16   <NA>         <NA> <NA>  <NA> 12:16 <NA>
27                    9:50   <NA>         <NA> <NA>  <NA>  9:50 <NA>
28   Feb 8, 2011 / 12:20pm   <NA>  Feb 8, 2011 2011   Feb  2:20   pm
29         8:34 am  2/4/11 2/4/11         <NA> <NA>  <NA>  8:34   am
30     Jan 31, 2011 2:50pm   <NA> Jan 31, 2011 2011   Jan  2:50   pm
31     Jan 31, 2011 2:45pm   <NA> Jan 31, 2011 2011   Jan  2:45   pm
32     Jan 31, 2011 2:38pm   <NA> Jan 31, 2011 2011   Jan  2:38   pm
33     Jan 31, 2011 2:26pm   <NA> Jan 31, 2011 2011   Jan  2:26   pm
34                   11h09   <NA>         <NA> <NA>  <NA> 11h09 <NA>
35                11:00 am   <NA>         <NA> <NA>  <NA>  1:00   am
36                 1h02 pm   <NA>         <NA> <NA>  <NA>  1h02   pm
37                   10h03   <NA>         <NA> <NA>  <NA> 10h03 <NA>
38                    2h10   <NA>         <NA> <NA>  <NA>  2h10 <NA>
39 Jan 13, 2011 9:50am Van   <NA> Jan 13, 2011 2011   Jan  9:50   am
40            Jan 12, 2011   <NA> Jan 12, 2011 2011   Jan  <NA> <NA>

Ответ 2

Это может быть один из немногих случаев, когда лучше использовать другой инструмент, отличный от R. Я знаю, что есть несколько модулей для Perl, которые уже были разработаны для разбора беспорядочно выглядящих дат, в модуле DateTime:: Format:: Natural:: Lang:: EN могут анализировать строки, такие как: "1st tuesday last november". Кажется, я помню еще один модуль, который мог бы понять такие вещи, как "второй вторник после первого понедельника в феврале".

Существует также инструмент http://www.datasciencetoolkit.org/, который захватывает то, что выглядит как даты в тексте, и преобразует их в стандартный формат.

Ответ 3

Я не собираюсь сейчас писать эту функцию, но у меня есть идея, которая может работать.

Поиск каждой строки для 4-значного числа для вызова года.

Используйте grep для поиска каждой строки для первых трех букв аббревиатуры за месяцы. Кажется, что почти все ваши данные (по крайней мере выше) имеют такой идентификатор. Я бы сохранил значение, которое находится в векторе "месяцев", и ставит пробелы везде, где никакое значение не найдено. Вот действительно уродливая версия кода (я сделаю это более эффективным позже и добавлю случай, когда месяц не заглавный!)

mos <- c("Jan", "Feb", "Mar", "Apr", "May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec")   
blah <- lapply(1:12, function(i) grepl(mos[i], test))   
lapply(blah, function(i) which(i))   
months <- 0*(1:length(test))   
for (i in 1:12) {   
  months[blah[[i]]] <- i   
}  


   months
  [1]  5  0  0  4  0  4  4  4  4  4  4  4  4  4  4  4  4  0  4  4  4  3  3  0  0  0  0  2  0  1
 [31]  1  1  1  0  0  0  0  0  1  1  1  1  1  1  0  0  0  0  0  0  0  0  0  0  0 12 12 12 12  0
 [61]  0  0  0  0 12 12 12 12  0 12 12 12 12 12 12 12 12 12  0  0  0 12 12 12 12 11 11  0 11 11
 [91] 11  0 11  0 11  0 11  0  0 11 11 11  0 11  0 11 11 11  0 11 11 11 11  0 11  0  0  0 10 10
[121] 10  0 10 10 10  0  0 10 10 10  0  0  0  0  0 10 10  0  0 10 10 10 10  0 10  0 10  0  0  0
[151] 10  0 10 10 10 10 10  9  9  9  9  8  0  0 

"День" чаще всего следует за словом, используемым в течение месяца. Поэтому, если после месяца (то есть символа) есть одно или двухзначное число, извлеките этот номер и назовите его днем.

Времена чаще всего имеют ":" или ".". символ в них, и поэтому найдите каждую строку для этого символа. Если найденный в строке, создайте вектор "Время" со всеми цифрами непосредственно перед и после этого символа (теоретически, включая 2 до и 2 после не должен вызывать проблемы). Поместите пробелы всякий раз, когда символ отсутствует. Было бы неплохо, если бы все данные были определенно ограничены 12-часовым периодом, потому что тогда вам не придется беспокоиться о AM и PM. Если нет, возможно, ищите строку для "AM" и "PM".

Затем попробуйте преобразовать строки, которые имеют все четыре из приведенных выше, в POSIXct. Те, которые не конвертируются, вам придется вручную вводить, конечно. Я думаю, мне понадобилось бы несколько часов, чтобы закодировать функцию, описанную выше, и в зависимости от изменчивости и размера вашего набора данных это может или не стоит того. Кроме того, существует некоторая опасность для неправильных выходов, поэтому добавление приемлемого временного диапазона поможет избежать этого.

В общем, похоже, что вам нужно будет закодировать функцию с целым рядом исключений, а в конце концов, в конце концов, закончится ручная кодировка. Я надеюсь, что кто-то может предложить вам лучшее решение.

Удачи!

Ответ 4

Вольфрам альфа http://www.wolframalpha.com/ это отличный инструмент для выполнения этой работы.

По крайней мере, он успешно интерпретирует некоторые беспорядочные данные в ваших данных. Было бы полезно попробовать.

Я не уверен, подходит ли сайт для чрезвычайно большого набора данных, но если данные не такие большие, это будет полезно.

Нетрудно написать автоматизированный script, который отправляет запрос, получает данные и анализирует его, хотя я не уверен, разрешает ли сайт такое использование.

Ответ 5

Другие уже рассмотрели стандартные подходы и пакеты. Я буду придерживаться другой точки зрения. Использование регулярных выражений и фиксированных форматов даст вам большую часть пути. В остальном я просто подхожу к нему, как к любой проблеме в "сопоставлении шаблонов": статистические методы или машинное обучение. Вы уже указали диапазоны дат и времени, а также метка времени журналов. Извлекая много текстовых функций (это будет полезно для регулярных выражений), вы можете попытаться сопоставить время интереса.

Для получения этой работы нужно всего три вещи:

• Удаление функций
• Создание набора обучающих программ
• Создание и развертывание моделей

Построение и развертывание моделей? Позвольте мне познакомить вас с моим другом R и представлением задачи машинного обучения.:) Основные модели для изучения включают многомерные модели (посмотрите glmnet), деревья решений и поддерживающие векторные машины. Вы можете использовать деревья решений и SVM в качестве входных данных для мультиномиальной модели (и, вероятно, SVM не обязательно будут нужны). Честно говоря, эта часть является туманной: можно было бы сделать это моделирование как отключенные компоненты даты или как процесс уточнений, например. получить год, если это возможно, то минуты (потому что диапазон намного больше, чем в течение часов, дней, месяцев), затем день месяца и, наконец, часы и месяцы. По существу, я хотел бы попытаться идентифицировать "части времени" (аналогичные частям речи) для числовых/строковых компонентов.

Удаление функции: я бы попытался расщепить двоеточия, запятые, косые черты, тире, периоды и т.д. Все, что не является числовым значением. Затем я создавал наборы данных на основе функций в порядке и в любом порядке (т.е. Значение индикатора видимых объектов, игнорируя позиции).

Данные обучения: Amazon Mechanical Turk.

Или, вы знаете, что, просто игнорируйте все это программирование и статистический mumbo jumbo и отправляйте все в Mechanical Turk.:)