Сервер в кладовке
файлы

Дубликаты в фотоархиве: jdupes и жёсткие ссылки

Семейный фотоархив собирался из телефонов, старых ноутбуков и флешек. Одни и те же фотографии лежали в трёх-четырёх местах. Перед переносом на сервер я решил избавиться от точных дубликатов.

Сначала — копия

Любая дедупликация удаляет файлы. Прежде чем начинать, весь архив был скопирован на отдельный диск, который до конца работы лежал в ящике.

jdupes: найти

apt install jdupes
jdupes -r /srv/photos > dupes.txt

jdupes сравнивает сначала размеры, потом хеши, потом файлы побайтно, поэтому ложных совпадений не бывает. Результат — группы одинаковых файлов, разделённые пустой строкой. У меня нашлось около 18 тысяч дубликатов на 140 ГБ.

Удалять или связывать

Есть два пути:

  • jdupes -r -L /srv/photos — заменить дубликаты жёсткими ссылками. Место освобождается, но структура папок сохраняется. Работает только в пределах одной файловой системы.
  • jdupes -r -d /srv/photos — интерактивно выбрать, что оставить. С флагом -N оставляет первый файл без вопросов, что опасно.

Я выбрал жёсткие ссылки: папки «Отпуск 2019» с телефона жены и с моего остались на месте, но место на диске занимает одна копия.

Похожие, но не одинаковые

Фотографии, пережатые мессенджером, или копии с другим размером jdupes не найдёт — у них разное содержимое. Для таких случаев есть программы, сравнивающие изображения по содержанию (например, czkawka с режимом похожих изображений). Их результаты я разбирал только вручную.

rmlint делает то же самое, но вместо удаления генерирует shell-скрипт, который можно прочитать и запустить. Хороший вариант, если не хочется доверять утилите с первого раза.
← Все заметки