Разбор CSV файла с использованием gawk

Ответ 1

Короткий ответ: "Я бы не использовал gawk для анализа CSV, если CSV содержит неудобные данные", где "неудобно" означает такие значения, как запятые в данных поля CSV.

Следующий вопрос: "Какую другую обработку вы собираетесь делать", поскольку это повлияет на то, какие альтернативы вы используете.

Я бы, вероятно, использовал Perl и Text:: CSV или Text:: CSV_XS модули для чтения и обработки данных. Помните, что Perl первоначально был написан частично как убийца awk и sed - следовательно, программы a2p и s2p, все еще распространяемые с Perl, которые конвертируют скрипты awk и sed (соответственно) в Perl.

Ответ 2

Руководство gawk версии 4 говорит использовать FPAT = "([^,]*)|(\"[^\"]+\")"

Когда FPAT определен, он отключает FS и указывает поля по содержимому вместо разделителя.

Ответ 3

Если допустимо, я бы использовал модуль Python csv, обратив особое внимание на используемые диалекты и параметры форматирования, чтобы проанализировать файл CSV, который у вас есть.

Ответ 4

Вы можете использовать простую функцию-оболочку csvquote для дезинфекции ввода и восстановления ее после того, как awk завершит ее обработку. Проведите свои данные через него в начале и в конце, и все должно получиться нормально:

перед:

gawk -f mypgoram.awk input.csv

после

csvquote input.csv | gawk -f mypgoram.awk | csvquote -u

Смотрите https://github.com/dbro/csvquote для кода и документации.

Ответ 5

csv2delim.awk

# csv2delim.awk converts comma delimited files with optional quotes to delim separated file
#     delim can be any character, defaults to tab
# assumes no repl characters in text, any delim in line converts to repl
#     repl can be any character, defaults to ~
# changes two consecutive quotes within quotes to '

# usage: gawk -f csv2delim.awk [-v delim=d] [-v repl=`"] input-file > output-file
#       -v delim    delimiter, defaults to tab
#       -v repl     replacement char, defaults to ~

# e.g. gawk -v delim=; -v repl=` -f csv2delim.awk test.csv > test.txt

# abe 2-28-7
# abe 8-8-8 1.0 fixed empty fields, added replacement option
# abe 8-27-8 1.1 used split
# abe 8-27-8 1.2 inline rpl and "" = '
# abe 8-27-8 1.3 revert to 1.0 as it is much faster, split most of the time
# abe 8-29-8 1.4 better message if delim present

BEGIN {
    if (delim == "") delim = "\t"
    if (repl == "") repl = "~"
    print "csv2delim.awk v.m 1.4 run at " strftime() > "/dev/stderr" ###########################################
}

{
    #if ($0 ~ repl) {
    #   print "Replacement character " repl " is on line " FNR ":" lineIn ";" > "/dev/stderr"
    #}
    if ($0 ~ delim) {
        print "Temp delimiter character " delim " is on line " FNR ":" lineIn ";" > "/dev/stderr"
        print "    replaced by " repl > "/dev/stderr"
    }
    gsub(delim, repl)

    $0 = gensub(/([^,])\"\"/, "\\1'", "g")
#   $0 = gensub(/\"\"([^,])/, "'\\1", "g")  # not needed above covers all cases

    out = ""
    #for (i = 1;  i <= length($0);  i++)
    n = length($0)
    for (i = 1;  i <= n;  i++)
        if ((ch = substr($0, i, 1)) == "\"")
            inString = (inString) ? 0 : 1 # toggle inString
        else
            out = out ((ch == "," && ! inString) ? delim : ch)
    print out
}

END {
    print NR " records processed from " FILENAME " at " strftime() > "/dev/stderr"
}

test.csv

"first","second","third"
"fir,st","second","third"
"first","sec""ond","third"
" first ",sec   ond,"third"
"first" , "second","th  ird"
"first","sec;ond","third"
"first","second","th;ird"
1,2,3
,2,3
1,2,
,2,
1,,2
1,"2",3
"1",2,"3"
"1",,"3"
1,"",3
"","",""
"","""aiyn","oh"""
"""","""",""""
11,2~2,3

test.bat

rem test csv2delim
rem default is: -v delim={tab} -v repl=~
gawk                      -f csv2delim.awk test.csv > test.txt
gawk -v delim=;           -f csv2delim.awk test.csv > testd.txt
gawk -v delim=; -v repl=` -f csv2delim.awk test.csv > testdr.txt
gawk            -v repl=` -f csv2delim.awk test.csv > testr.txt

Ответ 6

Я не совсем уверен, правильно ли это делать. Я предпочел бы работать с файлом csv, в котором либо все значения должны быть процитированы, либо нет. Btw, awk позволяет регулярным выражениям быть полевыми разделителями. Проверьте, полезно ли это.

Ответ 7

{
  ColumnCount = 0
  $0 = $0 ","                           # Assures all fields end with comma
  while($0)                             # Get fields by pattern, not by delimiter
  {
    match($0, / *"[^"]*" *,|[^,]*,/)    # Find a field with its delimiter suffix
    Field = substr($0, RSTART, RLENGTH) # Get the located field with its delimiter
    gsub(/^ *"?|"? *,$/, "", Field)     # Strip delimiter text: comma/space/quote
    Column[++ColumnCount] = Field       # Save field without delimiter in an array
    $0 = substr($0, RLENGTH + 1)        # Remove processed text from the raw data
  }
}

Образцы, которые следуют за этим, могут получить доступ к полям в столбце []. ColumnCount указывает количество найденных элементов в столбце []. Если не все строки содержат одинаковое количество столбцов, Column [] содержит дополнительные данные после Column [ColumnCount] при обработке более коротких строк.

Эта реализация выполняется медленно, но, похоже, она эмулирует функцию FPAT/patsplit(), найденную в gawk >= 4.0.0, упомянутую в предыдущем ответе.

Reference

Ответ 8

Вот что я придумал. Любые комментарии и/или лучшие решения будут оценены.

BEGIN { FS="," }
{
  for (i=1; i<=NF; i++) {
    f[++n] = $i
    if (substr(f[n],1,1)=="\"") {
      while (substr(f[n], length(f[n]))!="\"" || substr(f[n], length(f[n])-1, 1)=="\\") {
        f[n] = sprintf("%s,%s", f[n], $(++i))
      }
    }
  }
  for (i=1; i<=n; i++) printf "field #%d: %s\n", i, f[i]
  print "----------------------------------\n"
}

Основная идея состоит в том, что я прохожу через поля, и любое поле, которое начинается с цитаты, но не заканчивается цитатой, добавляет к нему следующее поле.

Ответ 9

Perl имеет модуль Text:: CSV_XS, который создан специально для обработки странной твари. Также попробуйте модуль Text:: CSV.

perl -MText::CSV_XS -ne 'BEGIN{$csv=Text::CSV_XS->new()} if($csv->parse($_)){@f=$csv->fields();for $n (0..$#f) {print "field #$n: $f[$n]\n"};print "---\n"}' file.csv

Производит этот вывод:

field #0: one
field #1: two
field #2: three, four
field #3: five
---
field #0: six, seven
field #1: eight
field #2: nine
---

Здесь читается человеком.
Сохраните его как parsecsv, chmod + x и запустите его как "parsecsv file.csv"

#!/usr/bin/perl
use warnings;
use strict;
use Text::CSV_XS;
my $csv = Text::CSV_XS->new();
open(my $data, '<', $ARGV[0]) or die "Could not open '$ARGV[0]' $!\n";
while (my $line = <$data>) {
    if ($csv->parse($line)) {
        my @f = $csv->fields();
        for my $n (0..$#f) {
            print "field #$n: $f[$n]\n";
        }
        print "---\n";
    }
}

Вам может потребоваться указать другую версию perl на вашем компьютере, так как модуль Text:: CSV_XS не может быть установлен в вашей версии perl по умолчанию.

Can't locate Text/CSV_XS.pm in @INC (@INC contains: /home/gnu/lib/perl5/5.6.1/i686-linux /home/gnu/lib/perl5/5.6.1 /home/gnu/lib/perl5/site_perl/5.6.1/i686-linux /home/gnu/lib/perl5/site_perl/5.6.1 /home/gnu/lib/perl5/site_perl .).
BEGIN failed--compilation aborted.

Если ни одна из ваших версий Perl не имеет Text:: CSV_XS, вам необходимо: sudo apt-get install cpanminus
sudo cpanm Text::CSV_XS