Мне нужно прочитать первый байт указанного файла, затем второй байт, третий и т.д. Как я могу сделать это на BASH? P.S Мне нужно получить HEX этих байтов
Прочитайте файл по байтам в BASH
Ответ 1
Новое сообщение в сентябре 2016 года!
Поскольку это очень специфично, это дополнение будет представлено на самом дне этого.
Обновление для добавления конкретной версии bash (с базинизмами)
С новой версией printf
вы могли бы сделать многое, не имея fork ($(...)
), чтобы ваш script был намного быстрее.
Сначала давайте посмотрим (используя seq
и sed
), как разобрать вывод hd:
echo ;sed <(seq -f %02g 0 $[COLUMNS-1]) -ne '
/0$/{s/^\(.*\)0$/\o0337\o033[A\1\o03380/;H;};
/[1-9]$/{s/^.*\(.\)/\1/;H};
${x;s/\n//g;p}';hd < <(echo Hello good world!)
0 1 2 3 4 5 6 7
012345678901234567890123456789012345678901234567890123456789012345678901234567
00000000 48 65 6c 6c 6f 20 67 6f 6f 64 20 77 6f 72 6c 64 |Hello good world|
00000010 21 0a |!.|
00000012
Если шестнадцатеричная часть начинается с col 10 и заканчивается на col 56, на расстоянии 3 символа и имеет дополнительное пространство в столбце 34.
Таким образом, синтаксический анализ может быть выполнен следующим образом:
while read line ;do
for x in ${line:10:48};do
printf -v x \\%o 0x$x
printf $x
done
done < <( ls -l --color | hd )
Старый оригинальный пост
Изменить 2 для шестнадцатеричного, вы можете использовать hd
echo Hello world | hd
00000000 48 65 6c 6c 6f 20 77 6f 72 6c 64 0a |Hello world.|
или od
echo Hello world | od -t x1 -t c
0000000 48 65 6c 6c 6f 20 77 6f 72 6c 64 0a
H e l l o w o r l d \n
в ближайшее время
while IFS= read -r -n1 car;do [ "$car" ] && echo -n "$car" || echo ; done
попробуйте:
while IFS= read -rn1 c;do [ "$c" ]&&echo -n "$c"||echo;done < <(ls -l --color)
Объясняю:
while IFS= read -rn1 car # unset InputFieldSeparator so read every chars
do [ "$car" ] && # Test if there is ``something''?
echo -n "$car" || # then echo them
echo # Else, there is an end-of-line, so print one
done
Edit; Вопрос был отредактирован: нужны шестнадцатеричные значения!?
od -An -t x1 | while read line;do for char in $line;do echo $char;done ;done
Демо:
od -An -t x1 < <(ls -l --color ) | # Translate binary to 1 byte hex
while read line;do # Read line of HEX pairs
for char in $line;do # For each pair
printf "\x$char" # Print translate HEX to binary
done
done
Демо 2: У нас есть как hex, так и двоичный
od -An -t x1 < <(ls -l --color ) | # Translate binary to 1 byte hex
while read line;do # Read line of HEX pairs
for char in $line;do # For each pair
bin="$(printf "\x$char")" # translate HEX to binary
dec=$(printf "%d" 0x$char) # translate to decimal
[ $dec -lt 32 ] || # if caracter not printable
( [ $dec -gt 128 ] && # change bin to a single dot.
[ $dec -lt 160 ] ) && bin="."
str="$str$bin"
echo -n $char \ # Print HEX value and a space
((i++)) # count printed values
if [ $i -gt 15 ] ;then
i=0
echo " - $str"
str=""
fi
done
done
Новое сообщение в сентябре 2016 года:
Это может быть полезно в очень конкретных случаях (я использовал их для ручного копирования разделов GPT между двумя дисками, на низком уровне, без установки /usr
...)
Да, bash может читать двоичные файлы!
... но только один байт, на один... (потому что ` char (0) 'не может быть правильно прочитан, единственный способ правильно их прочитать - рассмотреть конец файла, где если никакой символ не читается, а конец файла не достигнут, тогда чтение символа - char (0)).
Это скорее доказательство концепции, чем инструмент relly usefull: существует чистый bash версия hd
(hexdump).
Это использование последних базизмов в bash v4.3
или выше.
#!/bin/bash
printf -v ascii \\%o {32..126}
printf -v ascii "$ascii"
printf -v cntrl %-20sE abtnvfr
values=()
todisplay=
address=0
printf -v fmt8 %8s
fmt8=${fmt8// / %02x}
while LANG=C IFS= read -r -d '' -n 1 char ;do
if [ "$char" ] ;then
printf -v char "%q" "$char"
((${#char}==1)) && todisplay+=$char || todisplay+=.
case ${#char} in
1|2 ) char=${ascii%$char*};values+=($((${#char}+32)));;
7 ) char=${char#*\'\\};values+=($((8#${char%\'})));;
5 ) char=${char#*\'\\};char=${cntrl%${char%\'}*};
values+=($((${#char}+7)));;
* ) echo >&2 ERROR: $char;;
esac
else
values+=(0)
fi
if [ ${#values[@]} -gt 15 ] ;then
printf "%08x $fmt8 $fmt8 |%s|\n" $address ${values[@]} "$todisplay"
((address+=16))
values=() todisplay=
fi
done
if [ "$values" ] ;then
((${#values[@]}>8))&&fmt="$fmt8 ${fmt8:0:(${#values[@]}%8)*5}"||
fmt="${fmt8:0:${#values[@]}*5}"
printf "%08x $fmt%$((
50-${#values[@]}*3-(${#values[@]}>8?1:0)
))s |%s|\n" $address ${values[@]} ''""'' "$todisplay"
fi
printf "%08x (%d chars read.)\n" $((address+${#values[@]})){,}
Вы можете попробовать/использовать это, но не пытайтесь сравнивать показатели!
time hd < <(seq 1 10000|gzip)|wc
1415 25480 111711
real 0m0.020s
user 0m0.008s
sys 0m0.000s
time ./hex.sh < <(seq 1 10000|gzip)|wc
1415 25452 111669
real 0m2.636s
user 0m2.496s
sys 0m0.048s
одно и то же задание: 20 мс для hd
против 2000 мс для моего bash script
.
... но если вы хотите прочитать 4 байта в заголовке файла или даже адрес сектора на жестком диске, это может сделать работу...
Ответ 2
используя read
, можно прочитать один char следующим образом:
read -n 1 c
echo $c
[ОТВЕТ]
Попробуйте следующее:
#!/bin/bash
# data file
INPUT=/path/to/input.txt
# while loop
while IFS= read -r -n1 char
do
# display one character at a time
echo "$char"
done < "$INPUT"
Из этого ссылка
Второй метод,
Используя awk
, перейдите через char на char
awk '{for(i=1;i<=length;i++) print substr($0, i, 1)}' /home/cscape/Desktop/table2.sql
третий способ,
$ fold -1 /home/cscape/Desktop/table.sql | awk '{print $0}'
EDIT. Чтобы напечатать каждый char как HEX
номер:
Предположим, что у меня есть имя файла file
:
$ cat file
123A3445F
Я написал a awk
script (named x.awk
), чтобы читать char на char из file
и печатать в HEX
:
$ cat x.awk
#!/bin/awk -f
BEGIN { _ord_init() }
function _ord_init( low, high, i, t)
{
low = sprintf("%c", 7) # BEL is ascii 7
if (low == "\a") { # regular ascii
low = 0
high = 127
} else if (sprintf("%c", 128 + 7) == "\a") {
# ascii, mark parity
low = 128
high = 255
} else { # ebcdic(!)
low = 0
high = 255
}
for (i = low; i <= high; i++) {
t = sprintf("%c", i)
_ord_[t] = i
}
}
function ord(str, c)
{
# only first character is of interest
c = substr(str, 1, 1)
return _ord_[c]
}
function chr(c)
{
# force c to be numeric by adding 0
return sprintf("%c", c + 0)
}
{ x=$0; printf("%s , %x\n",$0, ord(x) )}
Чтобы написать этот script, я использовал awk-documentation
Теперь вы можете использовать этот awk
script для своей работы следующим образом:
$ fold -1 /home/cscape/Desktop/file | awk -f x.awk
1 , 31
2 , 32
3 , 33
A , 41
3 , 33
4 , 34
4 , 34
5 , 35
F , 46
ПРИМЕЧАНИЕ: A
значение 41
в шестнадцатеричном виде. Чтобы напечатать в десятичной смене %x
до %d
в последней строке script x.awk
.
Попробуйте!
Ответ 3
Вы попробовали xxd
? Он дает гексагон дампа, как вы хотите.
В вашем случае команда будет:
xxd -c 1 /path/to/input_file | while read offset hex char; do
#Do something with $hex
done
Примечание: извлеките char из шестнадцатеричного кода, а не во время чтения строки. Это необходимо, потому что чтение не будет правильно отображать пробел.
Ответ 4
Еще одно решение, использующее head, tail и printf:
for a in $( seq $( cat file.txt | wc -c ) ) ; do cat file.txt | head -c$a | tail -c1 | xargs -0 -I{} printf '%s %0X\n' {} "'{}" ; done
Более читаемый:
#!/bin/bash
function usage() {
echo "Need file with size > 0"
exit 1
}
test -s "$1" || usage
for a in $( seq $( cat $1 | wc -c ) )
do
cat $1 | head -c$a | tail -c1 | \
xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done
Ответ 5
используйте read
с опцией -n
.
while read -n 1 ch; do
echo $ch
done < moemoe.txt
Ответ 6
Хотя я скорее хотел расширить собственный пост Perleone (поскольку это была его основная концепция!), мое редактирование было отклонено в конце концов, и мне было любезно рекомендовано, чтобы это было опубликовано как отдельный ответ. Достаточно справедливо, поэтому я сделаю это.
Краткие соображения по улучшению оригинала Perleone script:
-
seq
будет полностью переполнен здесь. Простой циклwhile
сa
, используемый в качестве (аналогично простой) счетной переменной, сделает работу просто прекрасной (и намного быстрее) - Максимальное значение
$(cat $1 | wc -c)
должно присваиваться переменной, в противном случае оно будет пересчитываться каждый раз и сделать этот альтернативный script работать еще медленнее, чем тот, из которого он был получен. - Нет необходимости тратить функции на простую информационную строку. Тем не менее, необходимо знать о (обязательных) фигурных скобках вокруг двух команд, поскольку без
{ }
командаexit 1
будет выполнена в любом случае, а интерпретатор script никогда не попадет в цикл, (Последняя заметка:( )
будет работать тоже, но не так же! Скобки будут порождать подоболочку, а фигурные скобки будут выполнять команды внутри них в текущей оболочке.)
#!/bin/bash
test -s "$1" || { echo "Need a file with size greater than 0!"; exit 1; }
a=0
max=$(cat $1 | wc -c)
while [[ $((++a)) -lt $max ]]; do
cat $1 | head -c$a | tail -c1 | \
xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done
Ответ 7
У меня есть предложение дать, но хотелось бы получить отзыв от всех и мужественно личный совет от пользователя synaxerror.
Я не знаю много о bash, но я подумал, что было бы лучше иметь "cat $1", хранящийся в переменной.. но проблема в том, что команда echo также принесет небольшие накладные расходы?
test -s "$1" || (echo "Need a file with size greater than 0!"; exit 1)
a=0
rfile=$(cat $1)
max=$(echo $rfile | wc -c)
while [[ $((++a)) -lt $max ]]; do
echo $rfile | head -c$a | tail -c1 | \
xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done
на мой взгляд, это будет иметь лучшую производительность, но я не выполнил ее.