HOWTO · Python

Python で gzip ファイルを読み取る

このチュートリアルでは、ファイルを圧縮することの重要性を強調し、Python で gzip を使用して圧縮および解凍する方法を示します。

このページの内容

Python の標準ライブラリ gzip モジュールを使うと、.gz ファイルを先に展開せずに読み込めます。gzip.open() をバイナリモードで開くとバイト列を、文字コードを明示してテキストモードで開くと文字列を取得できます。以下の例では、gzip ファイルの作成、追記、展開の方法も紹介します。

Pythonで gzip ファイルを読み込む

gzip ファイルには、gzip 形式で圧縮されたデータが保存されています。gzip.open() で開くとファイルのように扱えるため、データ全体を一度に読み込むことも、1行ずつ処理することもできます。次の例では、小さな gzip ファイルを作成し、その内容を UTF-8 テキストとして読み込みます。入力ファイルも同じプログラム内で作成するため、この例だけで実行できます。

次の例を実行します。

このセクションのコードと表示されるラベルや出力は英語のままです。

import gzip
import tempfile
from pathlib import Path

with tempfile.TemporaryDirectory() as directory:
    path = Path(directory) / "notes.txt.gz"
    with gzip.open(path, "wt", encoding="utf-8") as compressed:
        compressed.write("Python makes gzip files easy to read.\n")

    with gzip.open(path, "rt", encoding="utf-8") as compressed:
        print(compressed.read(), end="")

バイナリモードとテキストモードを選ぶ

圧縮された内容が画像などのバイナリ形式のデータなら、rb を使います。バイナリの gzip ストリームを反復処理すると、各要素はバイト列になります。内容がテキストなら rt を使い、Python がバイト列を一貫してデコードできるよう、文字コードを明示します。gzip.open() では、バイト列の書き込みに wb、テキストの書き込みに wt を使います。テキストストリームには文字列を、バイナリストリームにはバイト列を書き込みます。

大きなテキストファイルは、全体をメモリに読み込まずに、テキストストリームを反復処理できます。たとえば for line in compressed: のように書きます。コンテキストマネージャーを使うと、処理が途中で止まった場合も gzip ストリームが閉じられます。データによっては圧縮で保存容量や転送量を減らせますが、圧縮と展開には CPU 時間が必要です。削減できる量はデータによって異なります。

Pythonで gzip ファイルを書き込む

テキストを書き込む場合は保存先を wt で、バイト列を書き込む場合は wb で開きます。w モードは新しい gzip ストリームを作成し、保存先に既存のファイルがあれば置き換えます。次の例では、元になるテキストと圧縮後のファイルを作成し、書き込み結果を読み込んで利用できることを確認します。

このセクションのコードと表示されるラベルや出力は英語のままです。

import gzip
import tempfile
from pathlib import Path

with tempfile.TemporaryDirectory() as directory:
    path = Path(directory) / "report.txt.gz"
    with gzip.open(path, "wt", encoding="utf-8") as compressed:
        compressed.write("Daily report\n")
    with gzip.open(path, "rt", encoding="utf-8") as compressed:
        print(compressed.read(), end="")

gzip ファイルにデータを追記する

テキストを追記するには at、バイト列を追記するには ab を使います。既存の内容を残したい場合は wb を使わないでください。書き込みモードでは新しい gzip ストリームが始まります。追記するとファイルに gzip メンバーが追加されることがあります。gzip リーダーは連結された複数のメンバーを、1つの論理的なストリームとして読み込めます。

このセクションのコードと表示されるラベルや出力は英語のままです。

import gzip
import tempfile
from pathlib import Path

with tempfile.TemporaryDirectory() as directory:
    path = Path(directory) / "log.txt.gz"
    with gzip.open(path, "wt", encoding="utf-8") as compressed:
        compressed.write("first entry\n")
    with gzip.open(path, "at", encoding="utf-8") as compressed:
        compressed.write("second entry\n")
    with gzip.open(path, "rt", encoding="utf-8") as compressed:
        print(compressed.read(), end="")

Pythonで gzip ファイルを展開する

通常の非圧縮ファイルを作成するには、gzip の入力元を読み込み用に、保存先を出力用に開き、入力元から保存先へコピーします。順序が重要です。gzip ストリームが入力で、通常のファイルが出力です。バイナリモードはテキスト以外の内容にも使え、デコードによる変換をせずにバイト列を保てます。

このセクションのコードと表示されるラベルや出力は英語のままです。

import gzip
import shutil
import tempfile
from pathlib import Path

with tempfile.TemporaryDirectory() as directory:
    source = Path(directory) / "archive.txt.gz"
    destination = Path(directory) / "archive.txt"
    with gzip.open(source, "wb") as compressed:
        compressed.write(b"Recovered contents\n")
    with gzip.open(source, "rb") as compressed:
        with destination.open("wb") as output:
            shutil.copyfileobj(compressed, output)
    print(destination.read_text(encoding="utf-8"), end="")

デコード済みの文字列が必要で、ファイルの文字コードが分かっている場合はテキストモードを選びます。元のバイト列を保ちたい場合や、テキスト以外のデータを扱う場合はバイナリモードを選びます。圧縮ファイルの作成には wt または wb、追記には at または ab を使います。内容を通常のファイルに展開するときは、gzip ファイルを読み込みます。