Linux での Wget コマンドの使い方

1. wget がインストールされているかどうかを調べる
2. wget コマンドの構文
3. wget でファイルをダウンロードする
4. wget を使ってダウンロードしたファイルをカスタムファイル名で保存する
5. wget を使ってダウンロードしたファイルを特定のディレクトリに保存する
6. wget でダウンロード速度を指定する
7. wget を使ってダウンロードを再開する
8. wget を用いてバックグラウンドでファイルをダウンロードする
9. wget の wget ユーザーエージェントを変更する
10. wget を使って複数のファイルを同時にダウンロードする
11. FTP 経由で wget コマンドを使ってファイルをダウンロードする
12. wget を用いて Web サイトのコピーを作成する
13. Wget の使用中に証明書チェックをスキップする

複数のファイルを一度にダウンロードしたり、バックグラウンドでダウンロードしたり、帯域幅を制限したりと、様々なオプションを使って、HTTP、HTTPS、FTP プロトコルを使ってインターネットからファイルをダウンロードするには、Linux の wget コマンドを使用することができます。

wget がインストールされているかどうかを調べる

ターミナルで wget コマンドを入力するだけで、システムに wget がインストールされているかどうかを確認することができます。

wget がシステムにインストールされていれば、以下のような出力が得られます。

wget: missing URL
Usage: wget [OPTION]... [URL]...

Try 'wget --help' for more options.

wget がシステムにインストールされていなければ、次のような出力が得られます。

Command 'wget' not found, but can be installed with:

sudo snap install wget

システムに wget がインストールされていない場合は、以下のコマンドを使ってインストールすることができます。

Ubuntu と Debian に wget をインストールする

sudo apt install wget

CentOS と Fedora 用に wget をインストールする

sudo yum install wget

wget コマンドの構文

wget [options] [url]

options はダウンロードプロセスをカスタマイズするために利用できる様々なオプションで、url はファイルをダウンロードしたり同期したりする必要がある場所の URL を参照します。

wget でファイルをダウンロードする

wget コマンドを使ってファイルをダウンロードするには、wget の後にファイルレポの URL を指定するだけです。

wget https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

出力：

--2020-09-28 19:29:15--  https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg
Resolving bloximages.newyork1.vip.townnews.com (bloximages.newyork1.vip.townnews.com)... 104.18.130.43, 104.18.131.43
Connecting to bloximages.newyork1.vip.townnews.com (bloximages.newyork1.vip.townnews.com)|104.18.130.43|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 33241 (32K) [image/jpeg]
Saving to: '5ca13d8453042.image.jpg'

5ca13d8453042.image 100%[===================>]  32.46K  --.-KB/s    in 0.003s  

2020-09-28 19:29:15 (11.1 MB/s) - '5ca13d8453042.image.jpg' saved [33241/33241]

指定した URL で画像ファイルをダウンロードし、ダウンロードしたファイルを現在の作業ディレクトリに保存します。

コマンドは最初に URL の IP アドレスを解決してからダウンロードを開始します。また、ターミナルにダウンロードの進行状況を表示します。ことができます。

ターミナルで出力を見たくない場合は、wget コマンドで -q オプションを使用することができます。

wget を使ってダウンロードしたファイルをカスタムファイル名で保存する

デフォルトでは、ダウンロードしたファイルの名前はウェブ上のものと同じです。別のファイル名で保存したい場合は、-O フラグの後にファイル名を指定します。

wget -O linux.jpg https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

これで、ダウンロードしたファイルは現在の作業ディレクトリに linux.jpg というファイル名で保存されます。

wget を使ってダウンロードしたファイルを特定のディレクトリに保存する

デフォルトでは、すべてのダウンロードされたファイルは現在の作業ディレクトリに保存されます。ダウンロードしたファイルを特定のディレクトリに保存するには、-P オプションの後にダウンロードしたファイルを保存するディレクトリの場所を指定します。

wget -P Downloads/Linux_Images https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

これにより、ダウンロードした画像が Downloads ディレクトリ内の Linux_Images ディレクトリに保存されます。

wget でダウンロード速度を指定する

wget を使ってファイルをダウンロードするために利用可能な帯域幅をすべて使いたくない場合は、--limit-rate オプションを使ってファイルのダウンロード速度を制限することができます。

wget -P --limit-rate=5m https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

これはダウンロード速度を 5MB に制限します。

wget を使ってダウンロードを再開する

大容量のファイルをダウンロードしている最中に突然インターネット接続が切れてしまった場合、最初からファイルをダウンロードし直すのは面倒な作業です。そのような場合は、-c オプションを使ってダウンロードを再開することができます。

wget -c https://bloximages.newyork1.vip.townnews.com/redandblack.com/content/tncms/assets/v3/editorial/4/59/45940eb2-5403-11e9-a843-db0e4491cc90/5ca13d8453042.image.jpg

場合によっては、サーバがダウンロードの再開をサポートしていない場合もあり、その場合は最初からダウンロードが開始されます。

wget を用いてバックグラウンドでファイルをダウンロードする

wget を使ってバックグラウンドでファイルをダウンロードするには、コマンドに -b オプションを追加します。

wget -b https://releases.ubuntu.com/20.04/ubuntu-20.04.1-desktop-amd64.iso

これで Ubuntu 20.04 のイメージファイルがバックグラウンドでダウンロードされます。

ファイルのダウンロード状況を見るには、以下のコマンドを使用します。

tail -f wget-log

wget の wget ユーザーエージェントを変更する

場合によっては、サーバが wget ユーザエージェントをブロックすることがあります。そのような場合は、-U オプションを使って別のブラウザをエミュレートすることができます。

get --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0" <url>

この場合、Mozilla 68 は <url> からファイルを要求します。

wget を使って複数のファイルを同時にダウンロードする

wget を使って複数のファイルをダウンロードするには、.txt を作成し、ダウンロードする各ファイルの URL を 1 行にまとめます。次に、wget コマンドに -i オプションをつけて、URL を含むファイルのパスを指定します。

wget -i files.txt

これにより、files.txt ファイルで指定された URL からすべてのファイルがダウンロードされます。

FTP 経由で wget コマンドを使ってファイルをダウンロードする

wget コマンドを使って FTP 経由でファイルをダウンロードするには、--ftp-user オプションでユーザ名を指定し、--ftp-password オプションでパスワードを指定します。

wget --ftp-user=username --ftp-password=password <url>

これで、指定した URL から FTP プロトコルを使ってファイルをダウンロードすることができます。

wget を用いて Web サイトのコピーを作成する

wget を使ってウェブサイトのコピーを作成するには、-m オプションの後にコピーを作成する URL を指定します。

wget -m https://abc.com

これにより、abc.com のコピーが作成され、ウェブサイトのレンダリングに必要な内部リンクと静的ファイルがすべてダウンロードされます。

ダウンロードしたウェブサイトを実行したい場合は、-k と -p オプションを追加する必要があります。

wget -m -k -p https://abc.com

Wget の使用中に証明書チェックをスキップする

HTTPS プロトコルを用いて、有効な SSL 証明書を持たないホストからファイルをダウンロードする必要がある場合があります。このような場合、--no-check-certificate オプションを使って証明書のチェックをスキップします。

wget --no-check-certificate <url>