HOWTO · Python
Python 中的緩衝區
了解 Python 緩衝區協定與 memoryview 如何存取相容的位元組資料、檢視何時會共用可寫入儲存空間,以及自訂類別支援緩衝區協定的條件。
本頁內容
Python 的緩衝區協定讓相容物件能將面向位元組的資料提供給程式的其他部分使用,消費端不必了解提供端的內部表示方式。memoryview 是常見的消費端:它可以透過檢視讀取資料,或在提供端允許時修改資料。這可能省去額外複製,但不代表每項操作都不會複製,也不保證能提升速度。儲存空間是否共用,取決於提供端和你執行的操作。
Python 緩衝區協定提供的功能
緩衝區協定是提供資料的物件與能操作該資料的消費端之間的介面。它適用於二進位輸入、檔案或網路承載資料,以及交換連續或結構化資料的函式庫。bytes 和 bytearray 等內建物件都提供緩衝區;其他型別也可能提供。Python 的 str 是文字,不是位元組緩衝區,因此使用面向位元組的 API 前,請先將文字編碼成指定的位元組編碼。
這項協定描述的是如何存取現有資料區域,而不是每個提供端都必須向 Python 程式碼公開的一組通用方法。memoryview 之類的消費端會要求具有特定屬性的檢視。提供端可能直接支援這些屬性、提供唯讀檢視,或拒絕無法滿足的要求。如果檢視參照提供端的儲存空間,就可能減少複製;若將它轉換成另一個物件,例如呼叫 tobytes(),則會建立副本。
使用 memoryview 搭配內建緩衝區提供端
使用 memoryview(data),即可從相容物件建立檢視。面向位元組的檢視經索引後會傳回 0 到 255 之間的整數,切片則會傳回另一個檢視。檢視會保留對原始儲存空間的存取,因此以 bytearray 建立的可寫入檢視可以修改該物件。相對地,以不可變的 bytes 建立的檢視是唯讀的。以下獨立範例示範如何透過可寫入檢視進行索引、切片和相同大小的更新。
執行此範例:
本節中的程式碼以及顯示的標籤或輸出仍為英文。
data = bytearray(b'Python Buffer Interface')
view = memoryview(data)
print(view[0])
print(view[0:6].tobytes())
view[0:6] = b'Java '
print(data.decode('ascii'))
80
b'Python'
Java Buffer Interface
切片指定會將六個位元組寫入六個既有位置;透過檢視進行切片指定時,必須符合檢視的形狀和大小限制。需要變更資料時,請使用可寫入的提供端。如果任務只需要獨立的位元組序列,請明確呼叫 tobytes() 複製檢視,並將這次配置所需的空間納入考量。
在自訂類別中實作緩衝區協定
自訂類別是否受支援,取決於 Python 執行環境。在支援 Python 層級 __buffer__ 掛鉤的執行環境中,類別可以定義 __buffer__(self, flags),以傳回適用的緩衝區匯出端;常見做法是傳回一個參照類別自有儲存空間的檢視。此方法必須遵守要求的旗標,並在消費端需要的期間內維持底層儲存空間有效。使用此掛鉤前,請查閱目標執行環境的文件;本文不假定特定的版本界線。
定義 __getitem__ 和 __len__ 可以讓物件具有類似序列的行為,但光有這些方法並不會讓物件成為緩衝區提供端。同樣地,若執行環境的緩衝區協定不識別該類別的實作,傳回位元組的方法就只是一般 API。如果執行環境不支援此功能,或你的類別無法符合消費端對配置和可變性的要求,請提供有文件說明的轉換方法,或使用 bytearray 等內建緩衝區提供端。
檢查可變性與相容性
將檢視傳給其他 API 前,請確認該 API 是否需要可寫入資料、特定的位元組配置或特定格式。bytes 提供不可變資料,而 bytearray 可變;若消費端需要寫入,就可能拒絕唯讀檢視。檢視也不保證後續的每項操作都不會複製。memoryview 會保留其匯出端,因此你不必為了延長檢視的生命週期而另外保留參照。不過,啟用中的檢視可能會阻止與已匯出緩衝區衝突的提供端操作,例如調整 bytearray 的大小;嘗試這類操作前,請先釋放檢視。
舊版內建函式 buffer() 屬於 Python 2,不能在 Python 3 中用來取得檢視。請對相容的提供端使用 memoryview(),並確認你要部署的執行環境是否支援自訂的 __buffer__。了解這項差異,就能避免把序列方法、文字值或特定執行環境才有的掛鉤誤當成通用的緩衝區支援。