Linux零拷贝技术：sendfile、splice和tee之间有什么区别？

电子设计联盟

jj1b3et2via64027947626.gif

点击上方蓝色字体，关注我们
在Linux中，零拷贝技术是一种优化数据传输效率的方式，避免了将数据多次在用户空间和内核空间之间拷贝。

常见的零拷贝技术包括sendfile、splice 和 tee，每种方法都适用于不同的场景，并有各自的限制。
1
0 |# G5 B* r3 [3 Ssendfile
& V  N' s! U2 q8 h3 H5 a3 Bsendfile是Linux中最早实现的零拷贝函数，常用于从文件传输数据到网络套接字。
, ~/ }" n7 P" j2 T8 G
它将文件数据从内核中的文件系统缓存直接传输到网络栈，无需经过用户空间。
8 F- n$ Z# {& l: A
9 G0 C/ J2 g+ O- ~5 `  y6 E' b0 y' b使用场景：典型应用是Web服务器，用于将静态文件（如HTML、图片等）从硬盘传输到客户端。
4 e! p% a2 r  E4 S* Y% ]& p6 u
限制：只能在文件描述符和套接字之间传输数据，无法在两个普通文件描述符之间使用。只支持顺序文件，不能直接用于管道或设备文件。传输的数据必须是文件系统中的文件，无法用于内存中的缓冲区。
2
splice
! R! P4 p" R1 J/ j) ^splice 是一个更通用的系统调用，它允许在任意两个文件描述符之间移动数据，而无需将数据复制到用户空间。
! b- F/ Q* C; T6 _7 H
它支持管道操作，可以从文件、管道、设备甚至网络套接字传输数据到其他文件描述符。

使用场景：适用于需要在多个I/O源之间进行数据流转的场景，如从磁盘读取数据后通过网络发送，或将网络数据流转到管道中进行进一步处理。

关键特性：可以在文件、管道和套接字之间灵活使用。数据在传输时保持在内核中，无需经过用户空间。可选的SPLICE_F_MOVE标志允许尝试避免内存拷贝，但并非强制执行。

- }' @3 y: P# G$ i2 @3 Q8 y. u限制：传输的数据必须通过管道，且只有管道能作为中介。换句话说，splice 操作的一个端点必须是管道。并非所有设备都支持splice，某些文件系统或设备驱动程序可能不支持这种操作。
3
tee
" S+ p' |8 T9 m4 v8 Mtee是一种特殊的splice变体，用于将数据复制到多个管道中，而不消耗源管道的数据。

它类似于Unix中的tee命令，可以将输入的数据复制到两个地方，而不会破坏数据流。
. f$ i9 V% b7 p# b- M& I" B5 e
使用场景：适用于需要将同一数据流同时发送到多个目标的场景，比如同时处理日志和实时流数据。

关键特性：允许数据流在多个管道中共享，不影响源管道的数据流。数据仍然停留在内核中，避免了用户空间的拷贝。
  R) j9 i4 ]9 d' D4 t; I, k- N" n
6 \4 o# v% ?3 A; X# f2 A/ A' Y限制：与splice一样，必须在管道之间操作，且不支持其他类型的文件描述符。由于是复制操作，并非完全的零拷贝；虽然数据仍停留在内核中，但数据被复制到了多个目的地。
4
, ?" Z8 \8 o, T区别
2 |; t5 m0 \# K  b$ X# V7 \* \

sendfile 主要用于文件到网络套接字的高效传输，适用于传输文件到远程客户端的场景。

splice 更加灵活，允许在文件、管道、套接字之间高效传输数据，特别适合需要在不同I/O设备之间流转数据的场景。

tee 则是一个特殊的splice，用于在多个管道之间复制数据流，而不消耗数据。
* D7 {: z8 F. W  D* S( u' G6 D

sendfile：局限于文件到套接字传输，无法在文件描述符之间直接使用。

splice/tee：必须使用管道，且不支持所有文件系统和设备。
: L: |5 j7 D9 W, }8 \) A
0 t0 M: Y! ]: A" G* {! c这些系统调用虽然被称为零拷贝技术，但实际上它们的效率和零拷贝的程度取决于底层硬件支持和具体的内核实现。

( D* O7 M9 @5 W0 B在某些情况下，如果硬件或文件系统不支持，数据拷贝可能仍会发生，只是避免了用户空间的参与。
2 t! e) a  Q1 Y4 @7 S$ z" O

mqnnf34jp0264027947726.jpg

/ Q% {* A5 r" O5 `. l0 _& ^

qtywyte3jus64027947826.gif

点击阅读原文，更精彩~