HOWTO · MongoDB

MongoDB 最大文档大小

本教程描述了 MongoDB 中的最大文档大小限制。它还讲述了如何有效地使用默认的 BSON 大小限制并在超出存储文档的限制时存储数据。

本页内容

MongoDB 将每个 BSON 文档的大小限制为 16 MB。如果记录超过此限制,可以缩减其编码后的大小,或将部分数据移到其他文档中;对于大型文件,可以考虑使用 GridFS。此限制针对单个文档,不针对集合的总大小,也不针对由多个 GridFS 文档表示的文件。

MongoDB 的 BSON 文档最大大小

MongoDB 使用 BSON(一种用于表示类 JSON 文档的二进制格式)存储记录。BSON 还支持日期和二进制数据等其他数据类型。MongoDB 限制文档指出,单个 BSON 文档的最大大小为 16 MB,最大嵌套深度为 100 层。数组和嵌入式文档都会计入嵌套深度。

此限制按编码后的 BSON 文档计算,其中包括字段名、类型标记、长度及其他结构开销。因此,仅凭 JSON 字符串的大小或值的数量,无法判断文档是否能满足限制。设计记录时应为上限留出余量,并使用应用程序驱动程序提供的 BSON 工具测量有代表性的文档,再据此评估大小。

GridFS 如何存储超过文档大小限制的文件

GridFS 是 MongoDB 的一项规范,用于存储和检索超过单个文档大小限制的文件。GridFS 实现会将文件拆分为多个块,并分别存储在不同文档中。默认情况下,文件元数据存储在 fs.files 集合中,块数据存储在 fs.chunks 集合中。文件文档用于标识文件,每个块则通过 files_id 指向对应文件。

这种结构可以分块处理大型文件,但不能让单个超大 BSON 文档变得有效。请使用 MongoDB 驱动程序提供的 GridFS 支持来上传、检索或串流文件。块大小和 API 细节取决于具体实现和配置,请查阅所用驱动程序的文档。

如何让 BSON 文档保持在大小限制内

首先,检查哪些字段占用了大部分编码空间。删除可以推导得出的数据,避免重复存储较大的值,并在不影响可读性和可维护性的前提下选择紧凑的表示方式。只有当应用程序能够存储并解读压缩后得到的二进制数据时,才适合在应用程序代码中压缩字符串;这样做还会带来处理开销和兼容性方面的考量。

如果某个字段只包含少量重复字符串,可以使用字典编码:每个不同的字符串只存储一次,再用索引表示各处出现的值。下面的 Python 示例演示了如何在内存中进行这种转换;它不会计算 BSON 大小,也不会连接到 MongoDB。

运行此示例:

本节中的代码以及显示的标签或输出仍为英文。

values = ["pending", "complete", "pending", "pending"]
dictionary = list(dict.fromkeys(values))
indexes = [dictionary.index(value) for value in values]
print(dictionary)
print(indexes)

字典编码可以减少重复文本,但索引会让记录更难直接查看,也要求字典始终可用且保持一致。如果值大多各不相同,这种方法可能没有帮助;此外,编码结构本身也会占用空间。应测量有代表性的编码后文档,不要假设某种转换一定能让文档满足大小限制。

数据超过限制时如何选择存储策略

如果数据本身适合放在一起,而且在不丢失所需信息的情况下可以用更紧凑的方式表示,就使用较小的文档。如果数据的不同部分有各自的生命周期,或会被独立读取,则可将它们拆分到相关联的多个文档中;保留稳定的标识符或引用,以便应用程序检索相关记录。这样可能需要额外读取才能完成查询,更新相关记录时也需要谨慎处理。

如果应用程序需要 MongoDB 的文件存储和检索能力,可以使用 GridFS 存储图片、音频或视频等大型文件内容。将可搜索或经常查询的属性保存在普通文档中,并存储指向 GridFS 文件的引用。GridFS 并非所有超大记录的默认解决方案:应先判断数据属于文件、相关的结构化数据,还是仅仅可以缩小的文档。