Дубликаты в фотоархиве: jdupes и жёсткие ссылки
Семейный фотоархив собирался из телефонов, старых ноутбуков и флешек. Одни и те же фотографии лежали в трёх-четырёх местах. Перед переносом на сервер я решил избавиться от точных дубликатов.
Сначала — копия
Любая дедупликация удаляет файлы. Прежде чем начинать, весь архив был скопирован на отдельный диск, который до конца работы лежал в ящике.
jdupes: найти
apt install jdupes
jdupes -r /srv/photos > dupes.txt
jdupes сравнивает сначала размеры, потом хеши, потом файлы побайтно, поэтому ложных совпадений не бывает. Результат — группы одинаковых файлов, разделённые пустой строкой. У меня нашлось около 18 тысяч дубликатов на 140 ГБ.
Удалять или связывать
Есть два пути:
jdupes -r -L /srv/photos— заменить дубликаты жёсткими ссылками. Место освобождается, но структура папок сохраняется. Работает только в пределах одной файловой системы.jdupes -r -d /srv/photos— интерактивно выбрать, что оставить. С флагом-Nоставляет первый файл без вопросов, что опасно.
Я выбрал жёсткие ссылки: папки «Отпуск 2019» с телефона жены и с моего остались на месте, но место на диске занимает одна копия.
Похожие, но не одинаковые
Фотографии, пережатые мессенджером, или копии с другим размером jdupes не найдёт — у них разное содержимое. Для таких случаев есть программы, сравнивающие изображения по содержанию (например, czkawka с режимом похожих изображений). Их результаты я разбирал только вручную.