HOWTO · MongoDB
MongoDB の最大ドキュメントサイズ
このチュートリアルでは、MongoDB の最大ドキュメントサイズ制限について説明します。また、デフォルトの BSON サイズ制限を効率的に使用し、ドキュメントの保存制限を超えた場合にデータを保存する方法についても説明します。
このページの内容
MongoDB では、各 BSON ドキュメントのサイズは 16 MB までです。レコードがこの上限を超える場合は、エンコード後のサイズを小さくするか、一部のデータを別のドキュメントに移してください。大きなファイルには GridFS を検討できます。この制限は各ドキュメントに適用され、コレクション全体のサイズや、複数の GridFS ドキュメントで表現されたファイルのサイズには適用されません。
MongoDB の最大 BSON ドキュメントサイズ
MongoDB は、JSON に似たドキュメントを扱うバイナリ形式の BSON でレコードを保存します。BSON は日付やバイナリデータなど、JSON にはないデータ型もサポートします。MongoDB の制限に関するドキュメントによると、BSON ドキュメント1件の最大サイズは 16 MB、最大のネスト深度は100階層です。配列や埋め込みドキュメントもネスト深度に含まれます。
サイズは、フィールド名、型を示す情報、長さなどの構造上のオーバーヘッドを含めた、エンコード後の BSON ドキュメントを基準に測定します。そのため、JSON 文字列のサイズや値の数だけでは、ドキュメントが上限内に収まるかどうかは分かりません。レコードを設計するときは上限まで余裕を持たせ、見積もりだけに頼らず、利用するドライバーの BSON ツールで実際のデータを代表するドキュメントを測定してください。
GridFS がドキュメントの上限を超えるファイルを保存する仕組み
GridFS は、単一ドキュメントの上限を超えるファイルを保存・取得するための MongoDB の仕様です。GridFS の実装では、ファイルをチャンクに分割し、それぞれを別のドキュメントとして保存します。既定では、ファイルのメタデータに fs.files コレクションを、チャンクデータに fs.chunks コレクションを使います。ファイルのドキュメントがファイルを識別し、各チャンクは files_id を通じてそのファイルを参照します。
この仕組みなら大きなファイルを分割して扱えますが、単一の BSON ドキュメントの上限を超えてよいわけではありません。ファイルのアップロード、取得、ストリーミングには、MongoDB ドライバーが提供する GridFS の機能を使ってください。チャンクサイズや API の詳細は実装や設定によって異なるため、使用するドライバーのドキュメントを確認してください。
BSON ドキュメントを上限内に収める方法
まず、エンコード後のサイズの大部分を占めているフィールドを確認します。導出できるデータは削除し、大きな値の重複を避け、分かりやすさと保守性を損なわない範囲でコンパクトな表現を選びましょう。アプリケーションコードで文字列を圧縮する方法が役立つのは、圧縮後のバイナリデータをアプリケーションで保存し、解釈できる場合に限られます。また、処理負荷や互換性についても考慮が必要です。
フィールドに少数の文字列が繰り返し含まれる場合は、辞書エンコーディングを使って、異なる文字列をそれぞれ一度だけ保存し、出現箇所をインデックスで表せます。次の Python の例は、この変換をメモリ上で行う様子を示しています。BSON のサイズを計算するものでも、MongoDB に接続するものでもありません。
この例を実行します:
このセクションのコードと表示されるラベルや出力は英語のままです。
values = ["pending", "complete", "pending", "pending"]
dictionary = list(dict.fromkeys(values))
indexes = [dictionary.index(value) for value in values]
print(dictionary)
print(indexes)
辞書エンコーディングは重複するテキストを減らせますが、インデックスを使うとレコードを直接確認しにくくなり、辞書を利用可能な状態に保ち、一貫性を維持する必要があります。値の大半が一意なら効果がないこともあり、追加の構造にもコストがかかります。変換すれば必ず上限内に収まると考えず、実際のデータを代表するエンコード済みドキュメントを測定してください。
データが上限を超える場合の保存方法を選ぶ
データをまとめて扱う必要があり、必要な情報を失わずによりコンパクトに表現できる場合は、ドキュメントを小さくしてください。データの各部分に独自のライフサイクルがある場合や、個別に読み取る場合は、関連するドキュメントに分割します。アプリケーションが関連レコードを取得できるよう、安定した識別子や参照を保持してください。この方法ではクエリで読み取り回数が増えることがあり、関連するデータの更新にも慎重な取り扱いが必要です。
画像、音声、動画などの大きなファイルについて、アプリケーションが MongoDB のファイル保存・取得機能を必要とする場合は GridFS を使います。検索や頻繁なクエリの対象となる属性は通常のドキュメントに保持し、GridFS ファイルへの参照を保存してください。サイズ超過への対応として GridFS が常に適切とは限りません。データがファイルなのか、関連する構造化データなのか、それとも単に小さくできるドキュメントなのかを先に判断しましょう。