Pandas DataFrame でマルチプロセッシングを使用する

Mehvish Ashiq 2024年2月15日

Pandas Pandas DataFrame

マルチプロセッシングの紹介
マルチプロセッシングの重要性
Pandas DataFrame でマルチプロセッシングを使用する

このチュートリアルでは、Python のマルチプロセッシングを紹介し、コード例とグラフィック表現を使用してそれについて説明します。また、マルチプロセッシングの重要性を強調し、Pandas データフレームで multiprocessing モジュールを使用する方法を示します。

マルチプロセッシングの紹介

マルチプロセッシングとは、同時に複数のプロセッサをサポートするシステムの能力を持つことを意味します。マルチプロセッシングでは、アプリケーションは独立して実行できる、または独立性が低いルーチンに分割されます。

オペレーティングシステムはこれらのスレッドを異なるプロセッサに割り当て、システムのパフォーマンスを向上させます。どうやって？次の簡単なプログラムで理解してみましょう。

コード例:

import time

start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


print_something()
finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

出力：

Sleeping for 1 second.
Done with sleeping.
Completed in 1.01 second(s)

上記の出力は、コードフェンスで最初に time モジュールをインポートしたため、正しく聞こえます。これを使用して、スクリプトの実行にかかる時間を測定します。それを測定するために、start = time.perf_counter() と finish = time.perf_counter() を使用して start と finish の時間を計算しました。

print_something() という名前の関数もあり、何かを出力し、1 秒間スリープし、別のステートメントを出力します。この関数を呼び出し、最後に、スクリプトが完了したことを示す最後のステートメントを出力します。

ここで、print_something() を 2 回実行すると、ほぼ 2 秒かかります。以下で確認できます。

コード例:

import time

start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


print_something()
print_something()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

出力：

Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.
Completed in 2.02 second(s)

現在、プログラムは 1 秒間 2 回スリープしているため、スクリプトが完了するまでに約 2 秒かかります。

したがって、この print_something() 関数を実行するたびに、スクリプトに約 1 秒追加されることがわかります。スクリプトは 1 秒間スリープ状態で待機しているだけで、次の関数に移動して、さらに 1 秒間待機します。

そして、その時点で作業は完了し、スクリプトは終了します。次の図で理解できます。

python は pandas データフレームで multiprocessing を使用 - グラフィカル表現 1

このグラフィカルな表現は、関数 (この場合は print_something()) を実行し、1 秒待ってから関数を再度実行し、さらに 1 秒待ってから、最終的な print を出力することを示しています。私たちが終わったことを示す声明。

上の図に示されているように、この順序でスクリプトを実行することを同期実行と呼びます。

ここで、同期的に実行する必要のないタスクがある場合、multiprocessing モジュールを使用してこれらのタスクを他の CPU に分割し、同時に実行できます。

multithreading は multiprocessing と同じではないことに注意してください。ここで違いを見つけることができます。

multiprocessing モジュールを使用する場合、グラフィック表示は次のようになります。

python は pandas データフレームで multiprocessing を使用 - グラフィカル表現 2

ここでは、まだ 2つのタスクがありますが、これを 2つのプロセスに分割し、異なるプロセスで同時に実行します。それでは、このグラフィカルな表現を次のようにプログラムに実装しましょう。

import multiprocessing
import time


start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


process1 = multiprocessing.Process(target=print_something)
process2 = multiprocessing.Process(target=print_something)

process1.start()
process2.start()

process1.join()
process2.join()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

出力：

Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.
Completed in 1.02 second(s)

ご覧のとおり、スクリプトの所要時間は 2 秒ではなく 1 秒です。上記のスクリプトは、いくつかの変更を除いて前のスクリプトと似ています。

プロセスの作成に使用する multiprocessing モジュールをインポートしました。次に、multiprocessing.Process(target=print_something) を使用して 2つのプロセスを作成し、process1 と process2 に保存します。

その後、process1.start() と process2.start() を使用してこれらのプロセスの両方を開始します。 .join() メソッドを使用して、プロセスを終了する前に残りのスクリプトを実行しないようにしました。

.join() メソッドを省略すると、プロセスを終了する前に次の 2つのステートメントが実行されることを意味します。

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

次のサンプルコードを使用して学習できます。

import multiprocessing
import time


start = time.perf_counter()


def print_something():
    print("Sleeping for 1 second.")
    time.sleep(1)
    print("Done with sleeping.")


process1 = multiprocessing.Process(target=print_something)
process2 = multiprocessing.Process(target=print_something)

process1.start()
process2.start()

# process1.join()
# process2.join()

finish = time.perf_counter()
print(f"Completed in {round(finish-start,2)} second(s)")

出力：

Completed in 0.01 second(s)
Sleeping for 1 second.
Done with sleeping.
Sleeping for 1 second.
Done with sleeping.

ご覧のとおり、Sleeping ステートメントと Done ステートメントの前に Completed ステートメントを出力します。それを避けるために、.join() メソッドを使用できます。

マルチプロセッシングの重要性

プロセッサが 1つあるマシン (PC/ラップトップ) があるとします。複数のプロセスを同時に割り当てると、すべてのタスクを妨害または中断し、すべてのプロセスを実行し続けるために、あるタスクから別のタスクに切り替える必要があります。

ここで、マルチプロセッシングの概念が登場します。マルチプロセッシングコンピューターには、複数の中央処理装置 (マルチプロセッサー) を搭載することも、コアと呼ばれる 2つ以上の独立した実際の処理ユニット (マルチコアプロセッサー) を備えた 1つのコンピューティングコンポーネントを搭載することもできます。

ここでは、CPU は複数のタスクを同時に簡単に実行でき、各タスクはそのプロセスを使用します。このようにして、プログラムを高速化し、多くの時間とコストを節約します。