HOWTO · Python
OpenCV でのイメージ マスキング
この記事では、OpenCV Python で Bitwise AND を使用して画像マスキングを実行する方法について説明します。
このページの内容
画像マスキングを使用すると、画像の一部を保持し、それを別の画像と組み合わせることができます。OpenCV では、マスキングはビット単位の AND 演算に基づいています。cv.bitwise_and() 関数は 2 つの配列の要素ごとのビット単位 AND を計算し、オプションのマスクによってその結果のどのピクセルを出力に反映するかが決まります。
この記事では、Python における標準的なマスキングワークフローを順に説明します。車の写真とロゴファイルを使用して、関心領域(ROI)を準備し、ロゴからバイナリマスクとその逆マスクを作成し、両方のマスクを適用して、車の画像の左上隅にロゴを合成します。
cv.bitwise_and() がマスクを適用する仕組み
cv.bitwise_and() は、画像オブジェクトのメソッドではなく、cv2 パッケージのモジュールレベル関数です。その Python シグネチャは次のとおりです。
cv.bitwise_and(src1, src2[, dst[, mask]])
src1とsrc2は 2 つの入力配列です。同じサイズとデータ型でなければなりません。単一の画像をマスクするには、両方に同じ配列を渡します。dstは、同じサイズと型を持つオプションの出力配列です。省略すると、関数は結果を新しく割り当てて返します。maskは、ソースと同じサイズのオプションの 8 ビット単一チャネル配列です。マスクが非ゼロ値を保持している場所では、出力ピクセルはsrc1 & src2になります。マスクが0を保持している場所では、出力ピクセルは0になります。したがって、マスクは演算のどのピクセルを結果に表示するかを選択します。この選択こそが、画像マスキングの考え方です。
OpenCV がインストールされている場合は cv.bitwise_and() を呼び出し、それ以外の場合は標準の Python リストで同一の要素ごとの AND を実行する、次の例を実行してください。この例は AND 演算後のピクセル値のリストを表示します。コードと出力は英語のままです。
import importlib.util
if importlib.util.find_spec("cv2") is not None:
import cv2 as cv
import numpy as np
pixels = np.array([[200, 120, 60], [30, 90, 250]], dtype=np.uint8)
mask = np.array([[255, 255, 0], [0, 255, 255]], dtype=np.uint8)
result = cv.bitwise_and(pixels, pixels, mask=mask).tolist()
else:
pixels = [[200, 120, 60], [30, 90, 250]]
mask = [[255, 255, 0], [0, 255, 255]]
result = [[v & m for v, m in zip(pr, mr)] for pr, mr in zip(pixels, mask)]
print(result)
[[200, 120, 0], [0, 90, 250]]
255 のマスク値に対応する各ピクセルは保持され、0 のマスク値に対応する各ピクセルはクリアされます。実際のマスクの値は、手で記述するのではなく、しきい値処理によって生成します。その手順を次に説明します。
画像の関心領域を準備する
目的は、車の画像の左上隅にロゴを配置することです。そのため、コードは両方のファイルを読み込み、車の画像からロゴと同じサイズの領域を切り出します。
car = cv.imread("car.jpg")とlogo = cv.imread("logo.png")は、画像を BGR 配列として読み込みます。cv.imreadはファイルの読み込みに失敗するとNoneを返すため、先に進む前に両方の結果を確認してください。logo.shapeは(rows, cols, channels)を返します。最初の 2 つの要素がロゴの寸法です。roi = car[0:rows, 0:cols]は、ロゴサイズと正確に一致する車の画像の左上隅の NumPy ビューを取得します。ビューであるため、合成結果をcar[0:rows, 0:cols]に書き戻すと元の画像が更新されます。
ロゴは車の画像内に収まる必要があります。ロゴの幅または高さが写真より大きい場合、スライスは警告なく小さくなり、その後 cv.bitwise_and(roi, roi, mask=mask_inv) がサイズ不一致で失敗します。これは、mask_inv が縮小された ROI ではなくロゴのサイズに合わせられているためです。そのため、先にロゴをサイズ変更するか、収まる位置を選択してください。また、cv.imread はデフォルトで PNG を 3 チャネルの BGR 画像として読み込み、アルファチャネルは破棄されます。そのため、ロゴと ROI のチャネル数は一致します。
ロゴ用のバイナリマスクを作成する
ロゴから 2 つのマスクを作成します。ロゴ自身のピクセルを選択する mask と、それ以外すべてを選択する mask_inv です。
gray_logo = cv.cvtColor(logo, cv.COLOR_BGR2GRAY)はロゴをグレースケールに変換します。色変換の詳細については、Python のcv.cvtColor()関数を参照してください。_, mask = cv.threshold(gray_logo, 10, 255, cv.THRESH_BINARY)はバイナリマスクを生成します。10より明るいピクセルは255になり、暗いピクセルは0になります。暗い背景または黒い背景上のロゴでは、これによりロゴの形状が分離されます。しきい値の10は、使用している背景に合わせて調整してください。mask_inv = cv.bitwise_not(mask)はすべてのビットを反転し、代わりに背景領域を選択する反転マスクを作成します。
ロゴと関心領域を合成する
両方のマスクの準備ができたら、マスクを適用した 2 つの AND 演算が処理を分担します。cv.bitwise_and(roi, roi, mask=mask_inv) は車の背景を保持してロゴ形状を黒く塗りつぶし、cv.bitwise_and(logo, logo, mask=mask) はロゴのピクセルのみを保持します。次に cv.add() が 2 つの結果を合計して合成画像を作成し、それが車の画像に書き戻されます。
以下の完全なスクリプトは、すべてのステップを実行します。OpenCV または画像ファイルが存在しない場合は、短いメッセージを出力してトレースバックなしで停止します。コード内のメッセージなど、読者に表示される文字列とその出力は英語のままです。
import importlib.util
if importlib.util.find_spec("cv2") is None:
print("This example needs OpenCV installed: pip install opencv-python.")
raise SystemExit
import cv2 as cv
car = cv.imread("car.jpg")
logo = cv.imread("logo.png")
if car is None or logo is None:
print("car.jpg and logo.png must sit next to this script.")
raise SystemExit
rows, cols = logo.shape[:2]
if rows > car.shape[0] or cols > car.shape[1]:
print("The logo is larger than the car image; resize it first.")
raise SystemExit
roi = car[0:rows, 0:cols]
gray_logo = cv.cvtColor(logo, cv.COLOR_BGR2GRAY)
_, mask = cv.threshold(gray_logo, 10, 255, cv.THRESH_BINARY)
mask_inv = cv.bitwise_not(mask)
background = cv.bitwise_and(roi, roi, mask=mask_inv)
foreground = cv.bitwise_and(logo, logo, mask=mask)
composite = cv.add(background, foreground)
car[0:rows, 0:cols] = composite
cv.imwrite("car-with-logo.png", car)
print("Wrote car-with-logo.png")
スクリプトは cv.imwrite() で完成した画像を保存するため、ディスプレイのないマシンでも実行できます。表示呼び出しは次のセクションに示します。
マスキング結果を確認する
合成画像は、写真の残りの部分を変更せずに、車の左上隅にロゴを配置します。
各ステージの出力を確認するには、中間画像を表示または保存します。cv.imshow("mask", mask)、cv.imshow("mask_inv", mask_inv)、cv.imshow("background", background)、cv.imshow("foreground", foreground) に続いて cv.waitKey(0) を実行すると画面上に表示され、ヘッドレス環境では cv.imwrite() がそれらをディスクに書き込みます。cv.imshow() には GUI ディスプレイが必要なため、上記のスクリプトは代わりにファイルを保存します。
mask では黒背景にロゴの白いシルエットが表示され、mask_inv はそれを反転した画像になります。background にはロゴ形状が切り抜かれた車の隅の領域が表示され、foreground にはロゴのみが表示されます。これがマスキングパターンの全体です。一度しきい値処理を行い、cv.bitwise_and() を 2 回適用して結果を加算すると、ROI が合成後の画像を保持します。