当你的 Python 程序向文件写入数据时，函数调用的返回值并 会被写入；它仅仅是对写入操作的确认。作为开发者，我们依赖于高级抽象来掩盖硬件的复杂现实。我们编写的代码往往给人一种确定性和瞬时性的感觉，常常假设函数调用成功就意味着数据会永久保存。 不能保证数据一定 考虑以下这段简单的 Python 代码片段，它在交易处理系统中发挥作用：   当 transaction_id = "TXN-987654321" # Open a transaction log in text mode with open("/var/log/transactions.log", "a") as log_file: # Write the commitment record log_file.write(f"COMMIT: {transaction_id}\n") print("Transaction recorded") transaction_id = "TXN-987654321" # Open a transaction log in text mode with open("/var/log/transactions.log", "a") as log_file: # Write the commitment record log_file.write(f"COMMIT: {transaction_id}\n") print("Transaction recorded")   语句执行后，应用程序继续运行，并假定数据安全。然而，数据尚未写入磁盘，甚至尚未写入文件系统。它仅仅开始了一场跨越六个不同抽象层的复杂传递过程，每一层都有其自身的缓冲区和架构目标。 print 在本文中，我们将描述该数据有效载荷（即字符串 从 Python 用户空间到 SSD 芯片的技术生命周期。 "COMMIT: TXN-987654321\n"  [第一层]：用户空间（Python 和 Libc） 应用程序缓冲区 我们的旅程始于 Python 解释器的进程内存。当您对以文本模式打开的文件调用 时，Python 通常不会立即调用系统调用。切换到内核的上下文开销很大。因此，Python 使用用户空间缓冲区来累积数据。默认情况下，该缓冲区大小为 8KB，特意选择此大小以与底层操作系统的内存页大小保持一致。 file.write() 我们的数据有效载荷存储在这个 RAM 缓冲区中，它完全归 Python 进程所有。如果应用程序突然终止（例如由于 信号或段错误），数据将立即丢失，从未离开过应用程序的内存空间。 SIGKILL 冲洗和Libc包装 语句结束并触发自动的 调用。随后，这会触发 `  调用。Python 现在会将这些数据弹出，并将有效载荷传递给系统的 C 标准库，例如 Linux 上的 作为内核的标准化接口。虽然像   的 C 函数管理着自己的用户空间缓冲区，但 Python 的 `  操作通常会直接调用底层的 。libc 会使用文件描述符编号、指向缓冲区的指针和有效载荷长度来设置 CPU 寄存器。然后，它会执行一条 CPU 指令（例如 x86-64 架构上的  ，以进入内核。 with .close() .flush() glibc。libc fwrite libc libc write(2) 函数 SYSCALL 此时，我们从用户空间进入内核空间。  [第 2 层]：内核边界（VFS）  CPU 切换到特权模式。Linux 内核处理中断，检查 CPU 寄存器，并识别出写入文件描述符的请求。它将该请求传递给  。VFS 作为内核的统一层，为系统提供一致的 API，无论底层存储是 Ext4、XFS、NFS 还是 RAM 磁盘。 虚拟文件系统 (VFS)  VFS 执行初始有效性检查，例如验证权限和文件描述符状态。然后，它使用文件描述符找到负责该路径的特定文件系统驱动程序，在本例中为 Ext4。VFS 调用该驱动程序特有的写入操作。  【第 3 层】：页面缓存（乐观 I/O） 我们已经到达了 Linux 存储堆栈的性能中心： 。 页面缓存 在 Linux 系统中，文件 I/O 本质上是 。当 Ext4 驱动程序收到写入请求时，通常不会立即与磁盘通信，而是会准备写入页面缓存。页面缓存是系统 RAM 中 的部分。需要注意的是，Ext4 通常会将实际的页面缓存相关内存操作委托给通用的内核内存管理子系统。接下来会发生什么呢？ 内存映射的 专门用于缓存文件数据 内核以称为 ”（在标准 Linux 配置中通常为 4KB）的固定大小单元来管理内存。由于我们的事务日志有效负载很小（   ），因此它完全可以放入单个页中。内核会分配（或定位）与文件当前偏移量对应的特定 4KB RAM 页。 “页 "COMMIT: TXN-987654321\n" 它将数据有效载荷复制到此内存页中。 它会将此页面标记为  。脏页意味着 RAM 中的数据比持久存储中的数据更新。 “脏页” 数据复制到 RAM 后，  系统调用会向 返回  ，libc 再将结果返回给 Python。关键在于，应用程序在任何物理 I/O 操作发生 就收到了成功信号。内核 ，将耗时的磁盘操作延迟到后台进程执行。目前，数据容易受到内核崩溃或断电的影响。 返回过程： write(2) libc SUCCESS 之前 优先考虑吞吐量和延迟，而非立即持久化  【第四层】：文件系统（Ext4 和 JBD2） 数据可能会在页面缓存中停留相当长的时间。Linux 默认设置允许脏页在内存中保留最多 30 秒。最终，后台内核线程会启动写回过程来清除这些脏页。此时，  必须持久化这些数据。它还必须更新相关的元数据，例如文件大小和指向磁盘上物理块的指针。这些元数据结构最初仅存在于系统内存中。为了防止崩溃期间数据损坏，Ext4 采用了一种称为日志记录的技术。 Ext4 文件系统 在文件系统永久更新文件结构之前，Ext4 会与其日志层 进行交互。Ext4 通常以“有序日志”模式运行。它通过按特定顺序向块层（第 5 层 - 下一节）提交不同的写入请求来协调操作。 JBD2（日志块设备） 。首先，Ext4 会提交请求，将实际数据内容写入磁盘上的最终位置。这确保在任何元数据指针引用存储块之前，存储块都包含有效信息。 步骤 1：数据写入 。数据写入完成后，JBD2 会提交元数据写入请求。它会将更改描述写入磁盘上一个名为“日志”的预留循环缓冲区。此条目相当于文件结构已有效更新的“提交”。 步骤 2：日志提交 。最后，文件系统会将修改后的元数据从系统内存刷新到磁盘 inode 表中的永久位置。如果系统在此步骤之前崩溃，操作系统可以重放日志，将文件系统恢复到一致状态。 步骤 3：检查点  【第 5 层】：块层和 I/O 调度器 文件系统将待处理的数据打包成一种称为  （块 I/O）的结构，然后将其提交给 。块层充当存储子系统的流量控制器，它使用 （例如 MQ-Deadline 或 BFQ）在请求到达硬件之前优化请求流。如果系统负载过重，存在数千个小型随机写入请求，调度器会拦截这些请求以提高效率。它通常执行两个关键操作。 bio 块层 I/O 调度器 。调度程序会尝试将相邻的请求合并成更少、更大的操作。通过合并多个针对磁盘上连续扇区的写入操作，系统可以减少必须发送到设备的单个命令数量。 合并请求 。调度器还会对队列进行重新排序。它会对请求进行优先级排序，以最大限度地提高设备的吞吐量或确保不同运行进程之间的公平性。 请求重新排序 调度器整理好队列后，会将请求传递给特定的设备驱动程序，例如 。该驱动程序会将通用块请求转换为硬件所需的特定协议，例如通过 传输的 NVMe 命令集。 NVMe 驱动程序 PCIe 总线  【第六层】：硬件（固态硬盘控制器） 有效载荷通过 PCIe 总线传输至 SSD。然而，即使在硬件层面，缓冲也起着至关重要的作用。现代企业级 SSD 的功能类似于专用计算机。它们在多核 ARM 处理器上运行专有固件，以管理复杂的数据存储物理过程。   。 DRAM 缓存和确认 为了掩盖NAND闪存写入速度远慢于读取速度的延迟，SSD控制器首先将数据加载到其内部的DRAM缓存中。数据到达缓存后，控制器会向操作系统发送写入完成的确认信息。在这一精确的纳秒级时间内， 中，它位于硬盘的印刷电路板上，而不是服务器的主板上。高端企业级硬盘内置电容，可在突然断电时刷新缓存，但消费级硬盘通常缺乏这种保护措施。 数据仍然处于易失性存储器 闪光翻译与擦除 SSD的闪存转换层（FTL）现在开始发挥作用。由于NAND闪存不能直接覆盖写入，因此必须先以大块形式擦除。FTL会确定数据的最佳物理位置，以确保整个驱动器的磨损均匀，这个过程称为磨损均衡。 物理存储 最后，控制器向NAND芯片中的晶体管施加电压。这会改变它们的物理状态，从而表示二进制数据。 只有经过这种物理转变之后， 存在。  数据才能真正持久 结论：理解耐久性合同 写入操作的流程凸显了操作系统在性能和安全性之间做出的权衡。通过允许各层缓冲和延迟工作，系统可以实现高吞吐量，但“已写入”的定义也变得模糊不清。如果应用程序要求在完成操作的瞬间保证严格的数据持久性，并且不允许数据丢失，那么开发人员就不能依赖应用程序层 调用的默认行为。 write() 为了保证持久性，必须使用 显式地穿透这些抽象层。这个 Python 会调用 系统调用（在基于 Linux 的系统中），强制将脏页刷新到文件系统，提交日志，分派块 I/O，并向存储控制器发出标准的“刷新缓存”命令，要求硬件将其易失性缓冲区清空到 NAND 闪存中。只有当 返回时，整个过程才真正结束。 os.fsync(fd) 调用 `fsync` fsync

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

写入操作的剖析

About Author

註釋

標籤

这篇文章刊登在

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

从论坛到信息流：社交媒体算法如何塑造数字互动

数字游民请注意：您需要了解泰国新推出的 DTV 签证

如何将您的工作流程提高 10 倍：17 个必备应用程序

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

从论坛到信息流：社交媒体算法如何塑造数字互动

数字游民请注意：您需要了解泰国新推出的 DTV 签证

如何将您的工作流程提高 10 倍：17 个必备应用程序

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps