Fájlok letöltése listából

111

Hogyan tölthetek le fájlokat (amelyek szöveges fájlban szerepelnek) awget vagy más automatikus módon?

Mintafájl-lista:

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
    
készlet Sourav 12.02.2012 17:39
forrás

7 válasz

193

A wgetnek beépített zászlója van ehhez:wget -i your_list Ezt a dolgot megtalálhatja aman wget

olvasásával     
válasz adott aureianimus 12.02.2012 17:56
forrás
81

A párhuzamosan

cat urlfile | parallel --gnu "wget {}"

Alapértelmezés szerint olyan folyamatokat fog végrehajtani, mint amilyenek a magok, valószínűleg akár 10-szer is felemelheted, ha valóban gyorsan szeretnéd lehúzni őket a "-j 20" párhuzamos hozzáadása után.

    
válasz adott meawoppl 17.10.2013 17:57
forrás
9
xargs -i wget 'http://{}'  < your_list
    
válasz adott Florian Diesch 12.02.2012 17:53
forrás
7
A (z)parallel beépített zászlója:--arg-file (-a), amely bemeneti fájlt használ forrásként, így elkerülheti acat | értéket. Használhatja

parallel --gnu -a urlfile wget

Vagy egyszerűen csakparallel --gnu wget < urlfile

    
válasz adott yxogenium 18.06.2016 14:01
forrás
5
awk '{print "http://" %pr_dfe%;}' list.txt | xargs -l1 wget

ahol a list.txt a listafájlja

    
válasz adott flo 12.02.2012 17:51
forrás
4

Florian Diesch válaszát láttam.

A parancsot abqc paraméter beillesztésével hoztam létre.

xargs -i wget -bqc 'http://{}' < download.txt

Az összes letöltés párhuzamosan kezdődött a háttérben.

  • -b: Háttér. Ugrás a háttérre közvetlenül a indítás után
  • -q: Csendes. Kapcsolja ki a wget kimenetét
  • -c: Folytatás. Folytassa a részlegesen letöltött fájlt
válasz adott streetlife 04.05.2015 18:56
forrás
1

Link fájl linkek.txt

Parancs az összes linkfájl lefelé betöltésére

    cat links.txt | wget -i
    
válasz adott DreamCoder 19.05.2015 04:54
forrás