Hogyan találja meg (és törölje) a duplikált fájlokat

121

Van egy nagyszerű zenei gyűjteményem, és van néhány másolat is. Van-e mód a duplikált fájlok keresésére? Legalább egy hash és egy két fájlnak van ugyanaz a hashja.

Bónuszpontok a kiterjesztésen kívül azonos nevű fájlok kereséséhez is - azt hiszem, van néhány dal, mp3 és ogg formátumú verziókkal.

Nagyon boldog vagyok a parancssor használatával, ha ez a legegyszerűbb.

    
készlet Hamish Downer 08.09.2010 21:11
forrás

8 válasz

128

Ehhez afdupes -ot használom. Ez egy parancssori program, amelyet asudo apt install fdupes -kal rendelkező repositorokból lehet telepíteni. Úgy hívhatja, mintfdupes -r /dir/ect/ory, és kinyomtatja a dupesek listáját. Az fdupes egy egyszerű honlap és egy Wikipedia cikk , amely felsorolja még néhány programot.

    
válasz adott qbi 08.09.2010 21:20
forrás
58

Az FSlint rendelkezik grafikus felületkezelővel és néhány más funkcióval. A másodlagos ellenőrzési algoritmus magyarázata a GYIK-ből:

1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).

fslint

    
válasz adott Dominik 08.09.2010 21:31
forrás
49

A (z)programs/scripts/bash-solutions listája, amely duplikátumokat találhat és futtatható a (z)nix alatt:

  1. dupedit : Számtalan fájlt egyszerre hasonlít össze checksumming nélkül. Kerülje a fájlok összehasonlítását önmagukkal szemben, ha több útvonal ugyanazon fájlra mutat.
  2. dupmerge : különböző platformokon fut (Win32 / 64 Cygwin, * nix, Linux stb.)
  3. dupseek : Perl az algoritmussal optimalizált olvasás csökkentésére.
  4. fdf : Perl / c alapú és a legtöbb platformon (Win32, * nix és valószínűleg mások) fut. Használja az MD5, SHA1 és más ellenőrző algoritmusokat
  5. felszabadítások : shell script, amely a megadott könyvtárakban keres. Ha két azonos fájlt talál, akkor nagyon nehéz összekapcsolni őket. A két vagy több fájl még mindig létezik a megfelelő könyvtárakban, de az adatoknak csak egy példánya van a lemezen; mindkét könyvtárbejegyzés azonos adatblokkokra mutat.
  6. fslint : parancssori felület és GUI.
  7. liten : Pure Python deduplication parancssori eszköz és könyvtár, md5 ellenőrzőösszegek és regény byte összehasonlító algoritmust. (Linux, Mac OS X, * nix, Windows)
  8. liten2 : az eredeti Liten újraírása, még mindig parancssori eszköz, de gyorsabb interaktív mód SHA-1 ellenőrzőösszegekkel (Linux, Mac OS X, * nix)
  9. rdfind : Az egyik olyan kevés, amely a bemeneti paraméterek (könyvtárak átvizsgálása) alapján hogy ne törölje az "eredeti / jól ismert" forrásokban (ha több könyvtár van megadva). Használja az MD5-t vagy az SHA1-et.
  10. rmlint : Gyorskeresõ a parancssori felületen és számos más lint is megtalálható (MD5 használata)
  11. ua : Unix / Linux parancssori eszköz, amely a találattal (és hasonlókkal) dolgozik.
  12. findrepe : ingyenes, Java alapú parancssori eszköz, amely hatékony kereséshez készült (GNU / Linux, Mac OS X, * nix, Windows)
  13. fdupe : egy apró, Perl-ben írt szkript. Gyorsan és hatékonyan végezheti munkáját. 1
  14. ssdeep : szinte azonos fájlok azonosítása Context Triggered Piecewise Hashing
válasz adott v2r 03.04.2012 03:22
forrás
6

Ha deduplikációs feladata zenével kapcsolatos, először futtasd a picard alkalmazást, hogy helyesen azonosítsd és címkézd a zenédet (így találsz duplikálhat .mp3 / .ogg fájlokat, még akkor is, ha a nevük helytelen). Vegye figyelembe, hogy a picard is elérhető Ubuntu csomagként.

Ez amusicip_puid címke alapján könnyedén megtalálhatja az összes duplikált dalt.

    
válasz adott ΤΖΩΤΖΙΟΥ 08.09.2010 23:46
forrás
4

Egy másik szkript, amely ezt a munkát végzi, rmdupe . A szerző oldaláról:

  

Az rmdupe szabványos linux parancsokat keres a megadott mappákba duplikált fájlok esetén, függetlenül a fájlnévtől vagy a kiterjesztéstől. Mielőtt két példányt eltávolítanak, azokat byte-by-byte-t hasonlítják össze. Az rmdupe másolatokat is ellenőrizhet egy vagy több hivatkozási mappával szemben, elhanyagolható fájlok helyett eltávolíthatja őket, lehetővé teheti az egyéni eltávolítási parancsot, és korlátozhatja a keresést meghatározott méretű fájlokra. Az rmdupe tartalmaz egy szimulációs módot, amely jelzi, hogy mit fog tenni egy adott parancsra anélkül, hogy ténylegesen eltávolítaná a fájlokat.

    
válasz adott girardengo 22.04.2014 09:34
forrás
3

Megpróbálta

finddup

vagy

finddup -l

Azt hiszem, jól működik.

    
válasz adott xerostomus 05.07.2014 06:34
forrás
2

Zenehez kapcsolódó ismételt azonosítás és törlés A Picard és a Jaikoz által link a legjobb megoldás. Jaikoz Úgy gondolom, hogy a zenét automatikusan a zeneszám adatai alapján rendezik. Nem kell a dal neve ahhoz, hogy azonosítsa a dalt, és hozzárendeljen hozzá minden metaadatot. Bár az ingyenes verzió egy futtatásban csak korlátozott számú dalt képes címkézni, de annyiszor futtathatja, amennyit csak akar.

    
válasz adott Yathi 22.04.2014 09:47
forrás
2

Használom a összehasonlítót -sudo apt-get install komparator ( Ubuntu 10.04+ ) - GUI-eszközként duplikátum keresése kézi üzemmódban.

    
válasz adott N0rbert 29.12.2013 13:15
forrás