All writings

应用层:Web、电子邮件和 DNS

应用层协议原理,HTTP、Email、DNS 以及进程间通信

Computer NetworkingApplication Layer

应用层协议原理

网络应用程序的核心目标,是编写能够运行在不同的异构端系统上、并通过网络基础设施彼此交换报文的软件程序。在因特网架构中,应用软件只需部署在网络边缘的端系统(主机)上,网络核心中的路由器与交换机并不执行应用层逻辑,这一设计极大地降低了新网络应用的研发门槛与创新成本。

互联网应用程序体系结构

从应用程序开发者的视角来看,底层网络核心体系是固定的;开发者需要设计的是应用程序体系结构(Application Architecture),即如何将软件逻辑组织并分布在各个端系统上:

  • 客户-服务器体系结构(Client-Server): 拥有一个长期在线的主机——服务器(Server),它拥有固定周知的 IP 地址,随时监听并响应来自大量称为客户机(Client)的主机的请求。Web、FTP、Telnet 以及电子邮件等经典服务均基于此模式构建。现代大规模 Web 服务通常借助拥有海量主机的数据中心(Data Center)构建高可用、高并发的虚拟服务器集群。
  • 对等网络体系结构(P2P): 应用程序在间断连接的主机对(称为对等方,Peer)之间进行直接通信。这些对等方由普通用户控制,其核心优势在于自扩展性(Self-Scalability):每个节点在向系统请求文件的同时,也向上贡献带宽分发数据,系统服务能力随着用户规模的扩大而同步增长。

进程通信

Pasted image 20231023191228.png

在操作系统层面,进行网络通信的实际主体是进程(Process)——即正在运行的程序实例。运行在同一主机上的进程通过操作系统提供的进程间通信(IPC)机制交互;而运行在不同端系统上的进程,则通过跨网络交换 报文(Message) 实现交互。

在一对进程的通信会话中,发起联系的进程被称为客户端进程,而在会话开始时等待接入的进程称为服务器进程。

进程与网络之间的套接字接口

进程向网络发送报文与接收报文的软件接口被称为套接字(Socket)。套接字位于同一台主机内的应用层与运输层之间,是构建网络应用程序的可编程接口(API)。开发者可以完全控制套接字在应用层一侧的所有逻辑,而对运输层的控制仅限于两点:选择运输层协议(如 TCP 或 UDP),以及微调少量运输层参数(如最大套接字缓存与最大报文段长度)。

进程寻址

为了让报文准确送达目标端系统上的指定进程,必须具备两个标识信息:

  1. 主机的网络地址(IP 地址):用于在网络层定位目的主机。
  2. 目的进程的标识符(端口号,Port Number):用于在运输层定位该主机内部的具体套接字。例如 Web 服务默认占用 80 端口,SMTP 邮件服务占用 25 端口。

可供应用程序使用的运输服务

不同网络应用对底层运输层提供的服务特性有着差异化的诉求:

  • 可靠数据传输(Reliable Data Transfer):保证由发送端注入的数据无差错、无丢失、按序完全交付给接收端。金融、文件传输与网页浏览等应用严格要求可靠交付;而容忍丢失的应用(Loss-Tolerant Application,如实时语音或流媒体视频)在网络拥塞时能够接受少量分组丢失。
  • 吞吐量(Throughput):网络在发送与接收进程间传输比特的速率。 带宽敏感应用(如高清视频流)有明确的最低保底带宽门槛;而弹性应用(如电子邮件、文件下载)则能够灵活利用当时可用的一切吞吐量。
  • 定时与时延(Timing):要求发送方注入套接字的每个比特在指定时间上限内送达接收方,这对多人游戏、网络电话(VoIP)等交互式实时应用至关重要。
  • 安全性(Security):包括数据机密性(加密传输)、完整性检验以及端点身份鉴别。

因特网提供的两类运输服务

因特网在运输层主要提供了两个标准协议:

  • TCP 服务:
    • 面向连接:在应用层报文传输前,双方必须通过“三次握手”交换控制信息建立全双工连接,传输结束后需执行拆链。
    • 可靠数据传输:通过序号、确认、超时重传机制,保证数据无差错、按序到达。
    • 拥塞控制:在网络链路过载时主动压制发送速率,兼顾网络全局吞吐。
    • 安全增强:通过在应用层集成 SSL/TLS 协议库(形成 HTTPS),为 TCP 连接提供透明的端到端加密、防篡改与证书鉴别服务。 Pasted image 20231031150119.png
  • UDP 服务: 轻量级无连接协议,没有握手过程,不提供可靠交付、拥塞控制和流量控制,以极低的开销尽最大努力交付数据。 Pasted image 20231031152513.png

值得注意的是,目前的公网 IP 基础设施不提供任何严格的定时时延保证或最小带宽承诺,实时应用的流畅度主要依赖工程优化与轻载带宽余量。

应用层协议规范

应用层协议定义了分布式进程间交换报文的标准规范,具体涵盖:报文类型(请求/响应)、报文各字段的语法格式、字段的详细语义,以及进程在何时如何发送报文与做出响应的动作规则。

network-protocol.gif

Web 和 HTTP

万维网(World Wide Web)是互联网上最成功的分布式应用,其核心交互依赖超文本传输协议(HyperText Transfer Protocol, HTTP)(RFC 1945、RFC 2616、RFC 7540)。

Web 页面由若干对象(Object) 组成,对象可以是 HTML 文件、JPEG 图片、CSS 样式表或 JavaScript 脚本等。大多数网页由一个主 HTML 骨架文件以及通过 URL 引用的多个外部子对象构成。每个对象的 URL 均由存放对象的主机域名和对象在服务器上的路径名拼接而成。

Pasted image 20231031154854.png

HTTP 核心特征与连接模式

HTTP 客户端(浏览器)通过发出请求报文来索取资源,服务器则以响应报文传回对象。HTTP 基于 TCP 运行(默认使用 80 端口)。HTTP 是无状态协议(Stateless Protocol),服务器不会跨请求保存客户端的历史交互状态,这一特性极大地简化了服务器设计并支撑了超高并发。

非持续连接 vs 持续连接

根据每次请求/响应是否复用同一个底层 TCP 连接,HTTP 连接模式可分为两类:

  1. 非持续连接(Non-Persistent Connection,HTTP/1.0 默认): 每个对象的获取都需要建立一个全新的独立 TCP 连接,对象传输完成后连接立即关闭。 Pasted image 20231031163253.png Pasted image 20231031164531.png Pasted image 20231031163437.png Pasted image 20231031163454.png 针对不同 HostName 建立并发并行连接时,现代浏览器通常允许配置并发连接数上限。
    • 往返时间(RTT, Round-Trip Time):指一个微型控制分组从客户端传播到服务端并原路返回的总耗时,包括传播时延、排队时延和处理时延。
    • 在非持续连接中,获取一个对象需要耗费 2 个 RTT 加上传输时间:第 1 个 RTT 用于 TCP 三次握手前两步,第 2 个 RTT 用于随第三步握手附带发送的 HTTP 请求到收到首字节响应。若一个网页引用了数十个小对象,每个对象都重复经历握手与慢启动,时延开销巨大。 Pasted image 20231031165751.png
  2. 持续连接(Persistent Connection,HTTP/1.1 默认): 服务器在响应请求后保持 TCP 连接处于打开状态,后续针对同一服务器的多个对象请求均可通过同一条连接串行或流水线式传输,消除了反复握手带来的额外 RTT 开销。 Pasted image 20231031171140.png

HTTP 报文格式

HTTP 报文为人类可读的纯 ASCII 文本格式,每行以回车符和换行符(\r\n)结束,首部与主体之间以一个单独的空行(\r\n\r\n)作为边界分割。

HTTP 请求报文

一段典型的 HTTP GET 请求报文如下:

GET / HTTP/1.1
Host: cnhktrz3k5nc.hack-challenge.lug.ustc.edu.cn:13202
Cookie: session=eyJ0b2tlbiI6IjU2ODpNRVVDSVFEOUtzZWdBT2c5ZE9jdGkzUmJPSUVTSTdSTWQ5cDRQaW8vdWNxTXY3V0dhUUlnR0dIMHVROHhISWI4SzBNT2lidlFjVk0xaGoxZEdQZGNOYkpGbXJyZE45az0ifQ.ZUGxTw.PrwGL6P9rTzYpTfdu21r7irxBjQ
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0) Gecko/20100101 Firefox/118.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Te: trailers
Connection: close

显式展示回车换行控制符的实际结构:

GET / HTTP/1.1\r\n
Host: cnhktrz3k5nc.hack-challenge.lug.ustc.edu.cn:13202\r\n
Cookie: session=...\r\n
User-Agent: Mozilla/5.0...\r\n
Accept: text/html...\r\n
Accept-Language: en-US,en;q=0.5\r\n
Accept-Encoding: gzip, deflate\r\n
Connection: close\r\n
\r\n (空行,标志首部结束)

十六进制与 ASCII 对照:

G  E  T  SP /  SP H  T  T  P  /  1  .  1  CR LF ...
47 45 54 20 2f 20 48 54 54 50 2f 31 2e 31 0d 0a ...

请求报文结构包含三部分:

  1. 请求行:由方法字段(GET、POST 等)、URL 字段与 HTTP 版本号组成。
  2. 首部行:携带请求上下文元数据,例如 Host(反向代理与虚拟主机寻址必需)、User-Agent(客户端浏览器类型)、Accept-Language(期望语言)、Connection(指定 keep-alive 或 close)。
  3. 实体主体(Entity Body):GET 请求时主体为空;使用 POST 等方法提交表单或上传数据时,主体紧随空行之后。
Pasted image 20231101133831.png

常见 HTTP 方法示例:

  • POST 提交表单数据:
    POST / HTTP/1.1
    Host: 202.38.93.111:12345
    User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0) Gecko/20100101 Firefox/118.0
    Content-Type: application/x-www-form-urlencoded; charset=UTF-8
    Content-Length: 48
    Connection: close
    
    QW5zd2VyMT0yMDIzLTA4LTEwJkFuc3dlcjI9SUNSUg==.txt
    
  • HEAD 请求:要求服务器做出与 GET 完全相同的响应,但仅返回首部行而不返回实际请求对象,常用于网络调试与缓存有效性探测。
  • PUT 方法:用于将实体主体中的数据写入或替换 Web 服务器指定 URL 路径下的对象。
  • DELETE 方法:请求服务器删除指定 URL 指向的资源。

HTTP 响应报文

一段典型的 HTTP 响应报文:

HTTP/1.1 200 OK
Server: nginx
Content-Length: 90
Date: Tue, 31 Oct 2023 19:59:05 GMT
Content-Type: text/html
Cache-Control: public,must-revalidate,max-age=0,s-maxage=3600
Connection: close

<meta http-equiv="refresh" content="0;url=https://support.mozilla.org/kb/captive-portal"/>

响应报文由三个部分构成:

  1. 状态行(Status Line):包含协议版本、三位数字状态码(Status Code)以及对应的状态短语(Status Phrase)。
  2. 首部行(Header Lines):如 Server、Content-Type、Content-Length、Date 等元数据。
  3. 实体主体(Entity Body):实际交付的网页对象或数据内容。

由于 HTTP 本身是无状态的,Web 站点利用 Cookie 技术在无状态的传输之上抽象出一层“用户会话状态”。Cookie 系统由四个关键部件构成:

  1. 响应报文首部:服务器在 HTTP 响应中通过 Set-Cookie: name=value; ... 首部向客户端派发标识。
  2. 客户端本地管理:浏览器解析并安全存储该站点的 Cookie 文件(在 macOS Chrome 中保存在 ~/Library/Application Support/Google/Chrome/Default/Cookies 等路径下)。
  3. 请求报文首部:后续客户端向同一站点发起请求时,浏览器自动在请求头中附带 Cookie: name=value。
  4. 服务器后端数据库:服务端将 Cookie 映射至后端的 Session 数据,完成登录鉴权与个性化推荐。

Web 缓存与条件请求

Web 缓存器(Web Cache,又称代理服务器 Proxy Server) 作为独立网络实体,代替原始 Web 服务器处理客户端的 HTTP 请求:

  • 正向代理:部署在客户端本地网络边缘,代表客户端对外索取资源。
  • 反向代理:部署在网站服务器前端网络边缘,拦截外部请求,实现负载均衡、缓存加速与安全防护。

Web 缓存能够大幅缩短响应时间(本地局域网带宽远高于广域网接入带宽),并大幅削减机构网络的出网外联带宽。

缓存优化网络负载实例

Pasted image 20231101163234.png Pasted image 20231101163308.png

设机构内浏览器的平均请求速率为 15 req/s,对象平均体积为 1 Mb,机构内网带宽为 100 Mbps,对外接入链路带宽为 15 Mbps:

  • 未配置缓存时:
    • 局域网流量强度为:(15 req/s×1 Mb)/100 Mbps=0.15(15 \text{ req/s} \times 1 \text{ Mb}) / 100 \text{ Mbps} = 0.15(内网毫无压力)。
    • 接入链路流量强度为:(15 req/s×1 Mb)/15 Mbps=1.0(15 \text{ req/s} \times 1 \text{ Mb}) / 15 \text{ Mbps} = 1.0(链路处于极限饱和,排队时延暴增至数秒甚至丢包)。
  • 部署 Web 缓存后(假设命中率为 40%):
    • 40% 的请求在局域网内数十毫秒内直接命中;仅剩 60% 的流量需要穿过外网接入链路。
    • 接入链路流量强度骤降至:1.0×0.6=0.61.0 \times 0.6 = 0.6(脱离拥塞区间),整体平均访问延迟大幅下降。

条件 GET 请求(Conditional GET)

缓存虽然能够加速访问,但必须确保向用户展示的内容不是过期的旧副本。HTTP 提供了 条件 GET(Conditional GET) 机制来实现缓存的新鲜度检验:

  1. 客户端首次请求资源,服务器返回 200 OK,并在响应中携带验证器:
    • Last-Modified:资源最后的修改时间戳。
    • ETag:资源的强校验实体标签(如内容的哈希指纹)。 Pasted image 20231102100948.png
  2. 缓存根据 Cache-Control 判断资源需要校验时,向服务器发起附带条件首部的 GET 请求:
    • If-Modified-Since(比对时间戳)或 If-None-Match(比对 ETag)。
  3. 若资源未发生变更:服务器无需重传数据实体,直接返回极简的 304 Not Modified 响应,指示缓存继续使用本地副本。 Pasted image 20231102103202.png
  4. 若资源已被修改:服务器正常返回 200 OK 以及最新版本的资源与新验证器,更新本地缓存。 Pasted image 20231102103136.png

电子邮件(Email)

Pasted image 20231103092045.png

电子邮件系统由三个核心构件组成:

  • 用户代理(User Agent, UA):允许用户阅读、撰写和管理邮件的客户端软件(如 Outlook、Apple Mail、Thunderbird)。
  • 邮件服务器(Mail Server):网络核心基础设施,每个用户在服务器上分配有一个邮箱(Mailbox),并维护发件报文队列(Message Queue)。
  • 传输协议:包括在邮件服务器之间搬移邮件的 SMTP 协议,以及供客户端从服务器下载邮件的邮件访问协议(POP3、IMAP)。

发送邮件的标准链路为:发件人 UA →\to 发件人邮件服务器 →\to 接收人邮件服务器 →\to 接收人邮箱 →\to 收件人 UA。

简单邮件传输协议(SMTP)

  • 简单邮件传输协议(SMTP, Simple Mail Transfer Protocol) 基于 TCP 运行(使用熟知端口 25)。
  • 推(Push)与拉(Pull)的对比:HTTP 本质上是客户端主动从服务端“拉取(Pull)”数据的协议;而 SMTP 本质上是发送端将数据主动“推(Push)”给接收端邮件服务器的协议。

我们可以通过简单的 Python 脚本启动一个测试 SMTP 监听服务,并通过 telnet 直接体验底层的明文命令交互:

import smtpd
import asyncore

class CustomSMTPServer(smtpd.SMTPServer):
    def process_message(self, peer, mailfrom, rcpttos, data):
        print('Received message from:', peer)
        print('Message addressed from:', mailfrom)
        print('Message addressed to  :', rcpttos)
        print('Message length        :', len(data))
        print('Data:')
        print(data)

server = CustomSMTPServer(('0.0.0.0', 25), None)

try:
    asyncore.loop()
except KeyboardInterrupt:
    server.close()

连接并发送邮件的 SMTP 典型交互过程:

S: 220 smtp.example.com ESMTP Postfix
C: HELO relay.example.org
S: 250 Hello relay.example.org, I am glad to meet you
C: MAIL FROM:<bob@example.org>
S: 250 Ok
C: RCPT TO:<alice@example.com>
S: 250 Ok
C: RCPT TO:<theboss@example.com>
S: 250 Ok
C: DATA
S: 354 End data with <CR><LF>.<CR><LF>
C: From: "Bob Example" <bob@example.org>
C: To: "Alice Example" <alice@example.com>
C: Cc: theboss@example.com
C: Date: Tue, 15 Jan 2008 16:02:43 -0500
C: Subject: Test message
C:
C: Hello Alice.
C: This is a test message with 5 header fields and 4 lines in the message body.
C: Your friend,
C: Bob
C: .
S: 250 Ok: queued as 12345
C: QUIT
S: 221 Bye

SMTP 核心命令解析:

  • HELO / EHLO:客户端发起问候并开启 SMTP 会话。
  • MAIL FROM:声明邮件的发信人信箱。
  • RCPT TO:声明邮件的收件人信箱(若有多个收件人,可连续发送多次)。
  • DATA:触发邮件正文传输。正文遵循 RFC 5322 格式,包含邮件自身的首部行(From、To、Subject、Date 等),并以单独的一行点号(<CR><LF>.<CR><LF>)标志正文输入结束。
  • QUIT:断开 TCP 会话连接。

邮件访问协议:POP3 与 IMAP

收件人通常不是一台持续在线的服务器,因此无法直接运行 SMTP 监听接收。收件人客户端需要借助邮件访问协议从邮件服务器拉取存放在邮箱中的邮件。

特性对比IMAP(Internet Message Access Protocol)POP3(Post Office Protocol - Version 3)
多设备同步天然支持多设备同步,所有邮件与文件夹状态均统一保存在云端服务器。默认为单设备下载,在一台设备上处理后其他设备无法同步状态。
本地与远程存储邮件本体长久保存在服务器端;本地客户端仅作为缓存与展示中介。默认下载至本地后从服务器删除(除非用户特意配置“在服务器保留副本”)。
部分获取与按需加载支持按需拉取邮件头部或特定附件,在弱网或大邮件场景下加载迅速。默认拉取整封邮件数据,邮件包含大附件时下载耗时长。
层次化文件夹结构支持用户在服务端自由创建、移动和重命名层级文件夹。仅维护扁平的单收件箱概念,不支持服务端文件夹同步。

POP3 工作流程

POP3(基于 TCP 110 端口)的工作过程主要分为三个阶段:

  1. 特许阶段(Authorization):客户端发送 USER 与 PASS(或采用安全哈希摘要的 APOP)完成用户身份认证。
  2. 事务处理阶段(Transaction):使用 STAT 查看统计信息、LIST 列举邮件、RETR 检索并下载指定邮件、DELE 给待删除邮件打标记。
  3. 更新阶段(Update):客户端发出 QUIT 命令,服务端正式物理删除被打上标记的邮件并关闭连接。

IMAP 的丰富状态管理

IMAP(基于 TCP 143 端口)在服务端维护了细致的会话状态与邮件标志(如 \Seen 已读、\Answered 已回复、\Flagged 星标、\Deleted 待删)。客户端在断开连接重连后,能够无缝恢复先前的会话上下文与选定文件夹视图。

Pasted image 20231103114204.png Pasted image 20231103113920.png

域名系统(DNS)

计算机网络中的主机标识存在两套体系:人类偏好有逻辑意义的字母主机名(Hostname)(如 www.google.com),而底层路由协议偏好定长的IP 地址。域名系统(Domain Name System, DNS) 的核心职责,就是提供主机名到 IP 地址双向映射的分布式目录查询服务。

DNS 既是一个由分层 DNS 服务器协同维护的分布式数据库,也是一个运行在 UDP 53 端口之上的应用层通信协议。

Pasted image 20231103150341.png

DNS 提供的衍生核心服务:

  • 主机别名(Host Aliasing):拥有复杂规范主机名(Canonical Hostname)的站点可以对外提供简短的别名(如将 server-east-01.cdn.cw.tc 映射为 cw.tc)。

  • 邮件服务器别名(Mail Server Aliasing):通过 MX 记录为邮件域指定专用的邮件网关。

  • 负载分配(Load Distribution):对于高负载网站,单个域名在 DNS 中可以绑定一个 IP 地址池;DNS 服务器在应答时循环轮转(Round-Robin)返回的 IP 顺序,实现请求的初步负载均衡。

    Pasted image 20231103154100.png
  • TTL(Time to Live,生存时间):确定 DNS 缓存服务器在向权威服务器重新校验之前,该记录允许保留并对外提供服务的秒数有效时长。

DNS 报文格式

DNS 的查询报文与回答报文采用高度统一的格式:

Pasted image 20231106084448.png
  1. 首部区域(固定前 12 字节):
    • 标识符(16 bit):匹配请求与应答的唯一 ID,回答报文会原样复制该 ID。
    • 标志字段(16 bit):指明查询/响应状态与递归特性。
    • 数量字段(各 16 bit):问题数(Questions)、回答资源记录数(Answers)、权威记录数(Authority RRs)与附加记录数(Additional RRs)。
  2. 问题区域(Question Section):包含正在查询的名字字段、查询类型字段(如 A、AAAA、MX)以及类字段(通常为 IN 表示 Internet)。
  3. 回答、权威与附加区域:包含返回的资源记录(Resource Records, RR)。

DNS 首部标志字段(Flags)分解:

字段名称说明长度 (bits)
QR区分查询(0)与应答(1)1
OPCODE操作类型:0 为标准查询(QUERY),1 为反向查询(IQUERY),2 为服务器状态请求(STATUS)4
AA权威应答标志(Authoritative Answer),由应答服务器在自己作为权威时置位1
TC截断标志(Truncation),指示报文因超过 UDP 长度上限(512 字节)被截断1
RD期望递归(Recursion Desired),客户端希望服务器执行递归解析时置位1
RA递归可用(Recursion Available),由应答服务器表明自己是否支持递归查询1
Z保留位(默认置 0)3
RCODE返回状态码:0 为成功(NOERROR),1 为格式错误(FORMERR),2 为服务器错误(SERVFAIL),3 为域名不存在(NXDOMAIN)4

资源记录(RR)格式: 资源记录是一个四元组 (Name, Value, Type, TTL):

字段含义长度
NAME记录所属的域名或节点名可变长度
TYPE记录类型(A: IPv4 地址;AAAA: IPv6 地址;NS: 权威域名服务器;CNAME: 规范别名;MX: 邮件服务器)2 字节
CLASS协议类别(通常为 1,即 IN 类)2 字节
TTL该记录在本地缓存中存活的秒数上限4 字节
RDLENGTH资源数据(RDATA)的字节长度2 字节
RDATA具体的资源数据值(如 IP 地址或域名字符串)由 RDLENGTH 确定

域名注册与解析生效

互联网域名体系由 因特网名称与数字地址分配机构(ICANN) 统一管理,ICANN 向全球商业 域名注册商(Registrar) 授权:

  1. 用户在注册商处申请并付费购买唯一域名(如 example.com)。
  2. 用户需向注册商提供自己的主权威与辅助权威 DNS 服务器的主机名与对应 IP 地址。
  3. 注册商将负责在顶级域(TLD)DNS 服务器中注入两条记录(一条指向权威 DNS 主机名的 NS 记录,以及一条提供该权威主机 IP 的 A 记录胶水记录)。
  4. 用户在自己的权威 DNS 服务器中录入指向实际 Web 主机的 A 记录(如 www.example.com)以及邮件主机的 MX 记录,域名即可在全球生效解析。
[ CLICK TO MIX THE FIRST DRINK ]