Самый быстрый способ узнать, совпадают ли два файла в Unix/Linux?

Ответ 1

Я полагаю, что cmp остановится при разнице первого байта:

cmp --silent $old $new || echo "files are different"

Ответ 2

Мне нравится @Alex Howansky использовал для этого 'cmp --silent'. Но мне нужен как положительный, так и отрицательный ответ, поэтому я использую:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Затем я могу запустить это в терминале или с помощью ssh для проверки файлов с постоянным файлом.

Ответ 3

Почему бы вам не получить хэш обоих файлов?

Попробуйте этот script, вызовите его, например, script.sh, а затем запустите его следующим образом: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Ответ 4

Для файлов, которые не отличаются друг от друга, любой метод требует полного чтения обоих файлов, даже если чтение было в прошлом.

Альтернативы нет. Поэтому создание хэшей или контрольных сумм в определенный момент времени требует чтения всего файла. Большие файлы требуют времени.

Поиск метаданных файлов намного быстрее, чем чтение большого файла.

Итак, есть ли какие-либо метаданные файлов, которые вы можете использовать, чтобы установить, что файлы разные? Размер файла? или даже результаты команды файла, которая только что прочитала небольшую часть файла?

Пример фрагмента кода размера файла:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Если файлы имеют одинаковый размер, вы застреваете с полными файлами.

Ответ 5

Попробуйте также использовать команду cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Команда cksum выдаст количество байтов файла. См. 'Man cksum'.

Ответ 6

Выполняя некоторые тесты с помощью малины Pi 3B+ (я использую оверлейную файловую систему и периодически синхронизируюсь), я провел сравнение своих собственных для diff -q и cmp -s; обратите внимание, что это журнал изнутри /dev/shm, поэтому скорость доступа к диску не является проблемой:

[[email protected] shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[[email protected] shm]# pico /root/rwbscripts/utils/squish.sh

Я провел пару раз. cmp -s последовательно использовал несколько более короткое время на тестовом ящике, который я использовал. Поэтому, если вы хотите использовать cmp -s, чтобы делать вещи между двумя файлами....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"

Ответ 7

Поскольку я сосать и не хватает очков репутации, я не могу добавить этот лакомый кусочек в качестве комментария.

Но, если вы собираетесь использовать команду cmp (и вам не нужно/хотите быть подробным), вы можете просто захватить статус выхода. На странице man cmp:

Если FILE "-" или отсутствует, прочитайте стандартный ввод. Состояние выхода равно 0, если входы одинаковы, 1, если разные, 2, если проблема.

Итак, вы можете сделать что-то вроде:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi