B站开源一种Web服务的网络性能调试工具

项目背景

现如今,无论是即时消息,音视频流传输,还是移动应用, 使用HTTP网络协议的服务无处不在。HTTP的性能表现对网络服务的质量和用户的使用体验都有着至关重要的影响。随着技术的进步，包括HTTP的应用的更新、HTTP协议版本的迭代以及拥塞控制算法层面的改进，都不断地推动HTTP性能的提升。对开发者来说，如何有效地调试和评估HTTP网络服务也成为其关心的话题之一。

Record and Replay即记录和重放，是一种辅助调试应用程序和改善性能的有效手段，对于调试HTTP网络服务亦是如此。MIT曾设计提出mahimahi (http://mahimahi.mit.edu/)，一套用于网络仿真和分析的用户空间工具。可记录来自基于HTTP的应用程序流量，并在模拟的网络条件下重放流量内容进行准确的测量。mahimahi主要有两大核心功能：

1. 记录和重放HTTP流量：

提供RecordShell和ReplayShell。RecordShell用于将浏览器发起的真实HTTP请求和响应完整地记录并存储到本地磁盘。ReplayShell将创建一个离线的环境重放记录的内容。

2. 模拟多种网络条件：

主要通过三种shell：固定传输延迟 (DelayShell)、固定/可变链路速率 (LinkShell)以及随机丢包(LossShell)来模拟不同的链路条件。可在模拟的链路条件下执行应用程序或叠加使用RecordShell重放HTTP流量。

Mahimahi 提供的每一种shell既可以彼此独立并行又能相互嵌套从而提供更大的实验灵活性。

此外，项目作者还在论文(http://mahimahi.mit.edu/mahimahi_atc.pdf)中展示如何使用mahimahi框架测试web浏览器使用不同网络协议的表现差异。文中，作者测试了500个站点，分别使用HTTP/1.1，SPDY和QUIC协议，从页面加载时间和速度的指标来综合评估各个协议的优缺点，从而为网络服务的开发者提供了很好的借鉴思路。

但我们在实际使用该项目进行实验研究时发现它对多种协议的重放功能的支持上还有一些待完善的地方。

项目原理

原项目通过搭建apache服务器对记录的流量进行转发，其对HTTP/1.1和SPDY协议的支持是通过加载apache服务器的协议模块，因apache未支持QUIC协议所以作者在测试QUIC协议时将apache替换成了google chromium项目下的quic toy server。且该项目距今也有一些久远，SPDY协议早已废弃，现网络站点已经大规模使用HTTP/2协议，而QUIC协议也经过很多版本的演进标准化为HTTP/3协议。因此我们在原项目基础上拓展网络协议以支持H2和H3/QUIC协议来方便服务器开发者调测自己的应用程序。

为了实现对多种新协议的支持，经调研，一种比较直观的实现方式是替换apache server为Nginx。Nginx的模块化结构设计使得每种协议可以以独立的模块呈现，单独编译，通过配置文件动态加载。Nginx已天然支持H2模块，H3或QUIC协议目前有多个实现版本，B站视频云团队使用自研QUIC协议栈和Nginx QUIC Module模块，可以结合自研QUIC协议日志分析模块来配合后续分析研究工作。