Wget è un’utilità della riga di comando che può essere utilizzata per scaricare quasi tutto ciò che è disponibile su Internet. Il problema è che dovrebbe essere disponibile sui protocolli HTTP, HTTPS o FTP; altrimenti Wget non sarà in grado di scaricarlo. Esistono diversi modi in cui è possibile utilizzare Wget, ad esempio è possibile utilizzare Wget per scaricare ogni immagine su un sito Web oppure è possibile scaricare anche un singolo file. Wget è persino in grado di riprendere i download, quando possibile. Quindi, se ti stai chiedendo come funziona Wget e cosa può fare per te, ecco come usare Wget:
Installazione di Wget
1. Installazione di Wget su macOS Sierra
Prima di iniziare a usare Wget, dovremo installarlo sul nostro sistema. Ora, fortunatamente, la maggior parte delle distribuzioni Linux viene fornita con Wget preinstallato, quindi non dovrai fare alcun lavoro aggiuntivo. Tuttavia, se utilizzi un Mac, dovrai installare Wget. Questo può essere fatto facilmente usando Homebrew (download). Se hai bisogno di aiuto, ecco i passaggi che dovrai seguire:
- Innanzitutto, dovrai installare Homebrew sul tuo Mac, per poter scaricare Wget. Per fare ciò, avvia il Terminale e digita il seguente comando:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- Al termine del comando, Homebrew verrà installato sul tuo sistema. Ora puoi usare Homebrew per installare pacchetti, come Wget. Nel Terminale, esegui semplicemente il seguente comando:
brew install wget
- Homebrew inizierà automaticamente a scaricare, scompattare e installare Wget sul tuo sistema. Questo passaggio potrebbe richiedere del tempo, a seconda della velocità della rete, quindi sii paziente. Una volta completato il comando, dovresti essere in grado di utilizzare Wget sul tuo Mac. Per verificare se è stato installato, basta usare il comando:
wget -V
2. Installazione di Wget su Windows
L’installazione di Wget su Windows richiede un po’ più di impegno, ma può essere eseguita facilmente. Se desideri installare Wget sul tuo PC Windows, segui i passaggi seguenti:
- Innanzitutto, scarica Cygwin, quindi esegui il file di installazione scaricato.
- Quando richiede la fonte di download predefinita, scegli l’opzione che dice “Installa da Internet” e fai clic su “Avanti”.
-
Scegli una directory di installazione per Cygwin, nonché una directory in cui salverà i file del pacchetto per l’installazione delle utilità.
- Nella schermata successiva, ti verrà richiesto di selezionare la tua connessione Internet. Se stai utilizzando un proxy, scegli il tipo di proxy che è e compila i dettagli. Per la maggior parte degli utenti, tuttavia, la scelta sarebbe “Connessione diretta”.
- Ti verrà quindi mostrato un elenco di mirror, scegli uno di questi per scaricare Cygwin. Se il download fallisce, puoi riprovare con un mirror diverso.
- Nella finestra successiva, cerca “wget” e fai clic sul segno più accanto a “web” nell’elenco visualizzato. Qui, la casella di controllo accanto a “wget” verrà selezionata automaticamente. Basta fare clic su “Avanti”.
- La schermata successiva ti mostrerà i pacchetti da scaricare. Basta fare clic su “Avanti”.
- Una volta completata l’installazione, ti verrà chiesto se desideri creare un’icona sul desktop e/o aggiungere una voce al menu di avvio. Questa è completamente una questione di preferenze personali, ma ti suggerirei almeno di aggiungerlo al menu di avvio, così puoi trovarlo facilmente.
Questo è tutto. Wget è ora installato sul tuo PC Windows. Tuttavia, non sarai in grado di eseguirlo dal prompt dei comandi. Invece, dovrai avviare il terminale Cygwin e utilizzare Wget da lì.
Come usare Wget
Ora che abbiamo installato e funzionante Wget sul nostro sistema, esploriamo tutti i modi interessanti in cui possiamo usare Wget per scaricare file, cartelle e persino interi siti Web da Internet. Ecco un paio di cose interessanti che puoi fare con Wget sul tuo sistema.
Nota: Sto usando Wget su un MacBook Air con macOS Sierra 10.12.3 beta. Tuttavia, poiché l’utilità che stiamo utilizzando è la stessa (Wget), i comandi saranno gli stessi su qualsiasi sistema operativo su cui potresti utilizzare Wget.
1. Usa Wget per scaricare i file
Puoi usare Wget per scaricare facilmente file da Internet. Basta usare il seguente comando
wget <url>
- Scarica un file e salvalo con un nome file specifico
I file sui server a volte hanno i nomi più strani e potresti voler scaricare il file e fare in modo che Wget lo rinomini automaticamente in qualcosa che abbia più senso per te. Per fare ciò, usa il seguente comando
wget -o <output_file.extension> <url_to_download>
- Scarica solo tipi di file specifici
Un server Web può ospitare un numero di file diversi. Quindi, cosa succede se vuoi solo scaricare tutti i PDF sul server, o forse tutte le GIF? Usa semplicemente il seguente comando:
wget -r -A pdf <url_to_download>
Questo particolare comando è stato utilizzato da Mark Zuckerberg nella sua stanza del dormitorio di Harvard, per scaricare tutte le immagini con un solo comando e creare il famigerato sito Web “facesmash.com”.
wget -r -A jpg, jpeg, png, bmp <url_to_download>
2. Scarica file da più URL con Wget
Supponiamo che tu debba scaricare file da una serie di posizioni diverse su Internet. Potrebbe esserci un file PDF su url1, un file ZIP importante su url2 e qualcos’altro in url3. Se hai usato Wget in modo tradizionale, dovrai eseguirlo tre volte. Tuttavia, c’è un modo molto più semplice per farlo.
- Innanzitutto, crea un file con tutti gli URL da cui devi scaricare i dati. Assicurati di mantenere ogni URL nella propria riga. Salva il file e assicurati di ricordare il nome.
- In Terminale, usa il seguente comando per scaricare file da tutti gli URL:
wget -i <file_name>
dove “file_name” è il nome del file che hai creato con tutti gli URL di cui avevi bisogno per scaricare materiale.
3. Scarica un intero sito Web con Wget
Sì, avete letto bene. Puoi usare Wget anche per scaricare i contenuti di un intero sito web. Ovviamente, se il sito web è troppo grande, questo comando impiegherà molto tempo per essere completato, per non parlare del fatto che occuperà molto spazio sul tuo sistema. Detto questo, se vuoi usare Wget per scaricare un intero sito web, usa semplicemente il seguente comando:
wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL
Questo scaricherà l’intero sito Web, in una cartella “LOCAL-DIR” all’interno della directory di lavoro. I file del sito web verranno archiviati in una cartella con lo stesso nome del sito web, grazie a “WEBSITE-URL“.
4. Usa Wget come ragnatela
Puoi anche fare in modo che Wget agisca come un web crawler (o un web spider). Ciò è utile quando si desidera confermare che l’URL del file che si desidera scaricare sia valido. Per utilizzare Wget come web spider, e verificare la validità degli URL, basta usare il seguente comando:
wget --spider <url>
Questo controllerà se l’URL che hai menzionato esiste e riceverai una risposta che ti dice i risultati del controllo.
- Risposta positiva:
- Risposta negativa:
5. Continua download incompleti
Questa è un’altra cosa davvero interessante che Wget può fare. Diciamo che stavi scaricando un file con Wget, ma per qualche motivo hai dovuto spegnere il tuo laptop. La prossima volta che vuoi provare a scaricare lo stesso file, Wget può effettivamente continuare il download per te. Devi solo assicurarti di essere nella stessa cartella in cui stavi scaricando il file l’ultima volta, quindi utilizzare il seguente comando:
wget -c <url>
Quando Wget vede che una parte del file è già presente nel tuo sistema, continuerà automaticamente il download.
NotaNota: se il file sul server è stato modificato dall’ultima volta che hai provato a scaricarlo, non dovresti usare questo comando, perché risulterà in un file danneggiato che non sarai in grado di leggere.
Inoltre, se il server non consente download continui, Wget rifiuterà di avviare il download da zero. Se vuoi avviare il download da zero, dovrai prima eliminare il file parzialmente scaricato dal tuo sistema.
Ci sono altre condizioni per usare questo argomento e puoi leggere di più su di esso nella pagina man di Wget.
6. Limita la velocità di download
Se stai usando Wget per scaricare file e navighi in Internet insieme ad esso, probabilmente non vorrai che tutta la tua larghezza di banda venga utilizzata da Wget. Fortunatamente, Wget include un argomento che puoi utilizzare per limitare la quantità di larghezza di banda che Wget può utilizzare per scaricare file sul tuo sistema:
wget --limit-rate=<speed> <url>
Nota: Tieni presente che la velocità è indicata in Byte e non in Bit. Quindi, se usi Wget –limit-rate=20k, limiterà l’utilizzo della larghezza di banda a 20 kB e non a 20 kb.
7. Usa Wget per scaricare file da server FTP
Se devi scaricare un file da un server FTP, puoi farlo anche con Wget. Usa semplicemente il seguente comando per scaricare file dai server FTP:
wget <ftp_url>
- Scarica file da server FTP con Login
SE il tuo server FTP richiede un login per consentire il download dei file, puoi semplicemente passare le credenziali anche con Wget. Basta usare il seguente comando:
wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>
Usa facilmente Wget per scaricare file da Internet
Puoi usare Wget per scaricare file da qualsiasi punto su Internet. Tuttavia, sebbene Wget funzioni quasi sempre, ci sono alcuni server che impediscono l’accesso a Wget, nel qual caso puoi provare a cambiare –user-agent per il tuo comando Wget. Tuttavia, questa non è una linea d’azione consigliata, a meno che tu non sappia assolutamente cosa stai facendo. Per la maggior parte, Wget ti consente di scaricare qualsiasi file da Internet, purché tu abbia accesso ad esso e al suo URL.
Quindi, hai mai usato Wget per scaricare file da Internet? Facci sapere la tua esperienza con l’utilizzo di Wget per scaricare file, tramite i protocolli HTTP, HTTPS e FTP. Inoltre, se conosci altri usi di Wget che ritieni meritino di essere in questo elenco, faccelo sapere nella sezione commenti qui sotto.