Dédupliquer vos fichiers avec rclone

Partager Dédupliquer vos fichiers avec rclone sur Twitter   Partager Dédupliquer vos fichiers avec rclone sur Facebook   Partager Dédupliquer vos fichiers avec rclone sur Linkedin 14 novembre 2023

Dédupliquer vos fichiers avec rcloneJ’avais un gros bazar dans le dossier de stockage de mes photos personnelles. Et je n’étais pas, jusqu’à présent, parvenu à trouver d’outils me permettant « simplement » d’effacer les doublons.

Grâce à rclone, j’ai pu obtenir la liste des fichiers présents en plusieurs exemplaires. La commande est récursive.

c:\tools\rclone>rclone dedupe --by-hash --dedupe-mode list > liste-fichier-a-effacer.txt

Le contenu du fichier obtenu exige de le nettoyer afin d’obtenir une liste de fichiers à effacer, dont je vous livre un extrait :

1b34f5b3b5d81a78845cab8df9111650: 2 duplicates
1:      7152437 bytes, 2021-05-25 18:27:20.576836000, 20210525_cimetiere/20210525_herbe-cimetiere.jpg
2:      7152437 bytes, 2021-05-25 17:25:18.000000000, 20210525_cimetiere/IMG_20210525_172518[1].jpg
1b3df10cde0370a6286794256adf5e73: 2 duplicates
1:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel-Puys-Blancs-par-Yann/IMG_6134.AAE
2:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel_Puys-Blancs/IMG_6134.AAE

En triturant ce fichier à l’aide des expressions régulières et d’un tableur, j’ai obtenu une liste des fichiers en double à effacer.

20210525_cimetiere/IMG_20210525_172518[1].jpg
201712_Noel_Puys-Blancs/IMG_6134.AAE

Et j’ai rapidement tapé le script PowerShell suivant que j’ai exécuté pour me débarrasser des doublons :

$path='c:\tools\rclone\liste-fichier-a-effacer.txt'
$file=Get-Content -Path $path
ForEach($row in $file)
{
Remove-Item -Path $row -Force
}

rclone en mode interactif

Le mode interactif est le mode par défaut. Vous devez choisir le fichier que vous souhaitez conserver.

c:\tools\rclone>rclone dedupe --dedupe-mode interactive d:\photos
2023/11/14 15:43:32 NOTICE: 1b3df10cde0370a6286794256adf5e73: Found 2 files with duplicate md5 hashes
1b3df10cde0370a6286794256adf5e73: 2 duplicates
1:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel-Puys-Blancs-par-Yann/IMG_6134.AAE
2:         1078 bytes, 2017-12-24 22:53:16.000000000, 201712_Noel_Puys-Blancs/IMG_6134.AAE
s) Skip and do nothing
k) Keep just one (choose which in next step)
q) Quit
s/k/q> k
Enter the number of the file to keep> 1
2023/11/14 15:47:58 NOTICE: 1b3df10cde0370a6286794256adf5e73: Deleted 1 extra copies

Les options de la commande rclone dedupe

Tapez à partir de la ligne de commande :

c:\tools\rclone>rclone dedupe --help
1

OSS /