Inside Linux TCP stack: Overview

Inside Linux TCP stack: Overview
Li Yu

Contents
TCP/IP protocol stack overview
Key components
How protocol stack interacts with other kernel subsystems
Related important RFC documents review
Key features of TCP stack
Create new connections
Transmit data
Receive data
Huh!

Key components
Applications
System call
Virtual file system
Protocol independent socket layer
ICMP
INET socket layer
Neighbor(ARP) layer
Internet
Connection
Socket
Layer
TCP
Routing layer
NIC device management layer / NIC device drivers
IP
UDP

Interactions
Device drivers: NIC, PCI, USB, …
Virtual file system: sockfs glue layer, NFS, …
Timing subsystem: various TCP timers, ARP timers, …
Interrupt dispatch subsystem: SoftIRQ, MultiQueue, RPS, …
Security subsystem: IPSec, NetLabel, … (TODO: wzt :)
Virtual memory subsystem, of course!
…

RFC documents review – Terms
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Source Port | Destination Port |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Sequence Number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Acknowledgment Number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Data | |U|A|P|R|S|F| |
| Offset| Reserved |R|C|S|S|Y|I| Window |
| | |G|K|H|T|N|N| |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Checksum | Urgent Pointer |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Options | Padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| data |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

RFC documents review – Terms

TCP protocol review – RFC
793 : TRANSMISSION CONTROL PROTOCOL
Core concepts, packet format, connection create and release, window management
and a reference implementation.
813 : WINDOW AND ACKNOWLEDGEMENT STRATEGY IN TCP
Introduce to concepts of SWS and why we need to delay send ACKs.
1122 : Requirements for Internet Hosts -- Communication Layers
This RFC is an official specification for the Internet community.It incorporates by
reference, amends, corrects, and supplements the primary protocol standards
documents relating to hosts.
5681 : TCP Congestion Control
RFC2001 -> RFC2581 -> RFC5681
slow start, congestion avoidance, fast retransmit, and fast recovery.

TCP protocol review – RFC
All RFCs related to TCP have 4000+ pages, some are experiment status,
some are specification, even some are unused or obsoleted, so we need a
roadmap to study them, that is RFC 4614
RFC is enough? No! Many information only can be found in other
resources, e.g. FastTCP, and so on.

Client vs Server
Create new connections
CLOSE->SYN_SENT(tcp_connect) SYN>
LISTEN(tcp_v4_conn_request()) SYN/ACK>
SYN_SENT->ESTABLISHED(tcp_rcv_synsent_state_process())
ACK>
LISTEN->(new)SYN_RECV->(new)ESTABLISHED ACK>
tcp_child_process() / tcp_rcv_state_process()

inet_stream_connect()
tcp_v4_connect()
tcp_connect()
tcp_transmit_skb()
Create new connections
Client: - / SYN
检查 socket 的 “ 抽象 ” 状态,如果未连接,就启动连接。
之后,等待连接完成。如果是非阻塞模式就立即返回。
设置 SYN_SENT 状态
端口检查,如果没有绑定端口,就自动绑定一个端口;
根据 socket pair ,查找输出路由;
计算 TCP 序列号, IP 报文ID。
tcp_connect_init()
计算可用的 MSS ( MTU + sockopt ), TCP-MTUP 的初始化,估算 rcv_mss ;
计算发送窗口(缓冲大小、 Scaling 、 sockopt );
初始化 TCP 内部状态: snd_una/rcv_nxt/rcv_wup/copied_seq 等,复位计数器;
--------------------------
分配 skb ,设置相关的发送队列信息(内存计数, quota 统计,重启RTO)
构造 TCP options(time stamp/MSS/Window-scaling/SACK ability)
构造 TCP header (包括检验和)
发送IP报文

Create new connections
tcp_v4_do_rcv()
tcp_rcv_state_process()
tcp_v4_conn_request()
基本检查: SEG 长度,校验和
如果处于 LISTEN 状态,继续处理
如果是 LISTEN 状态,就检查输入 SEG 是否设置 ACK/RST 位,
如果有就丢包
如果有 SYN ,就继续处理,否则,就丢包
拒绝广播/组播SEG
检查 request ,或者处于半连接状态( accepting )的连接是否太多。
创建一个新的 request 结构,解析输入 SEG 的 TCP options
将连接的基本信息记入 request 结构
根据是否使用 SYN cookie ,计算 ISN
发送 SYN/ACK
将 request 加入到 request queue 中
SYN_RECV?
Server: SYN / SYN-ACK

Create new connections
tcp_v4_do_rcv()
tcp_rcv_state_process()
tcp_rcv_synsent_state_process()
Client: SYN-ACK / ACK
如果是 SYN_SENT 状态,就继续处理
如果处理失败返回 tcp_v4_do_rcv() ,从而导致发送RST
解析 TCP options
如果ACK标志置位 {
检查 ACK 的序号与 snd_nxt 是否相同
timestamp 检查
RST?
有没有 SYN?
更新 window /scaling factor / timestamp
初始化 TCP MTUP/MSS/rcv MSS/
设置 ESTABLISHED 状态
拥塞避免处理初始化
发送 ACK
}

tcp_v4_do_rcv()
Create new connections
如果是 LISTEN 状态
如果
tcp_v4_hnd_req()
创建
了新的 socket
tcp_v4_hnd_req()
tcp_child_process()
Server: Recv ACK
搜索是否有匹配的 req ,若找到就调用 tcp_check_req() ,
这个函数完成了:
1. 解析 TCP options
2. RFC793 的其余检查
3. 调用 tcp_v4_syn_recv_sock() 创建新 socket ,
这个 socket 状态是 SYN_RECV ,大部分状态从父 socket 复制而来
4. 将 req 从 request queue 中删除,加入到 accept queue 中
1. 调用 tcp_rcv_state_process() 处理
处于 SYN_RECV 状态的新 socket:
1.1 设置状态 ESTABLISHED
1.2 更新各种 TCP 内部状态
2. 唤醒处于休眠状态的进程( accept() syscall )

tcp_sendmsg
Key features: Tx data
计算发送超时 , 可用的 MSS 大小;
检查连接是否处于已连接/半连接状态;
检查连接是否已经 shutdown
从发送队列中取最后一个 skb ,
如果没有这样 skb ,或者这个 skb 没有空闲空间就分配一个新的 skb
如果没有空闲内存,就进入休眠状态,等待空闲内存数量可用
将新分配的 skb 加入到发送队列尾部
向 skb 内复制数据,其间可能涉及到 linear area 和 fragmented area
如果写入的数据距上次 push 的 SEQ 大于 max_window/2 个字节了,
就将写入的 push 出去
如果发送的 seg ,就是正要发送的 seg ,直接 push 它
复制完所有数据之后,根据 NAGLE 和 max_window/2 条件判断是否 push

tcp_write_xmit()
Key features: Tx data
尝试捎带发送 MTUP
遍历发送队列,发送数据直到违反发送条件
检查是否超过拥塞窗口/发送窗口
如果只有一个 seg ,进行 nagle 检查
如果不是 push 出来的SEG,为了降低TSO分拆
SEG的代价,检查是否可以延缓发包
tcp_transmit_skb()
调整发送队列
重置重传队列

Rx Data: from NIC
Key features: Rx data
tcp_v4_do_rcv() tcp_rcv_established(FAST PATH)
如果符合以下条件:顺序 SEG 、只有 PSH/ACK 标志、
除 timestamp 外无其他选项、发送窗口未变化,就进
入快速接收路径:
1. 解析 timestamp 、进行PAWS检查,若失败就进
入正常接收 iytk
2. 如果 SEG 长度小于最小值,就丢包返回0
3. 尝试使用 DMA channel 复制
4. 如果当前任务就是接收方,尝试直接复制到 “ 接收区 ” 内。
5. 如果以上尝试成功:
5.1 如果 SEG 包含上次发送的第一个 SEG 的 ACK ,就更
新 timesstamp 记录
5.2 RTTM
5.3 发送可能的数据。
6. 如果以上优化尝试的都没有成功,就进行校验和检查,再
执行第 5 步,之后将 SEG 放入接收队列
7. 调用 tcp_ack() 处理接收到的 ACK ,更新 TCP 内部状态,
如 snd_una ,刷新重传队列。
8. 通知这个 socket 上的休眠任务。

Rx Data: from system call
Key features: Rx data
tcp_recvmsg()
1. 计算 receive timeout
2. 进入主工作循环
2.1 如果接收到了紧急数据,或者有信号需要处理,就退出这次系统调用。
2.2 从 copied_seq 开始搜索接收队列,查找适当位置上的 skb
2.3 复制SEG数据到用户的缓冲区内
2.4 调整接收队列的状态,加速下次查找
2.5 如果不是 MSG_PEEK ,就把这个 SEG 从接收队列上删掉
2.6 如果 2.2 步没有找到需要的 skb ,就进行一系列可能错误检查,如果没有发生错误就
进入休眠。之后, tcp_rcv_established() 接收到数据后会复制到 prequeue ( “ 接收
区 ” ),然后唤醒这个任务,之后,再进入与 2.2 - 2.5 类似的过程
接收队列:
sk_receive_queue
DMA channel
ucopy.prequeue
sk_backlog_queue
async_queue

GAME OVER
Navigate your eyes to Tx source
code if we still have time
And
Q&A
That is all, Thanks!

Pending questions