Dédupliquer vos fichiers avec rclone

Dédupliquer vos fichiers avec rcloneJ’avais un gros bazar dans le dossier de stockage de mes photos personnelles. Et je n’étais pas, jusqu’à présent, parvenu à trouver d’outils me permettant « simplement » d’effacer les doublons.

Grâce à rclone, j’ai pu obtenir la liste des fichiers présents en plusieurs exemplaires. La commande est récursive.

c:\tools\rclone>rclone dedupe --by-hash --dedupe-mode list > liste-fichier-a-effacer.txt

Le contenu du fichier obtenu exige de le nettoyer afin d’obtenir une liste de fichiers à effacer, dont je vous livre un extrait :

1b34f5b3b5d81a78845cab8df9111650: 2 duplicates
  1:      7152437 bytes, 2021-05-25 18:27:20.576836000, 20210525_cimetiere/20210525_herbe-cimetiere.jpg
  2:      7152437 bytes, 2021-05-25 17:25:18.000000000, 20210525_cimetiere/IMG_20210525_172518[1].jpg
1b3df10cde0370a6286794256adf5e73: 2 duplicates
  1:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel-Puys-Blancs-par-Yann/IMG_6134.AAE
  2:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel_Puys-Blancs/IMG_6134.AAE

En triturant ce fichier à l’aide des expressions régulières et d’un tableur, j’ai obtenu une liste des fichiers en double à effacer.

20210525_cimetiere/IMG_20210525_172518[1].jpg
201712_Noel_Puys-Blancs/IMG_6134.AAE

Et j’ai rapidement tapé le script PowerShell suivant que j’ai exécuté pour me débarrasser des doublons :

$path='c:\tools\rclone\liste-fichier-a-effacer.txt'
$file=Get-Content -Path $path
ForEach($row in $file)
{
    Remove-Item -Path $row -Force
}

rclone en mode interactif

Le mode interactif est le mode par défaut. Vous devez choisir le fichier que vous souhaitez conserver.

c:\tools\rclone>rclone dedupe --dedupe-mode interactive d:\photos
2023/11/14 15:43:32 NOTICE: 1b3df10cde0370a6286794256adf5e73: Found 2 files with duplicate md5 hashes
1b3df10cde0370a6286794256adf5e73: 2 duplicates
  1:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel-Puys-Blancs-par-Yann/IMG_6134.AAE
  2:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel_Puys-Blancs/IMG_6134.AAE
s) Skip and do nothing
k) Keep just one (choose which in next step)
q) Quit
s/k/q> k
Enter the number of the file to keep> 1
2023/11/14 15:47:58 NOTICE: 1b3df10cde0370a6286794256adf5e73: Deleted 1 extra copies

Les options de la commande rclone dedupe

Tapez à partir de la ligne de commande :

c:\tools\rclone>rclone dedupe --help

OSS /