纵横资本网丨专注于全球金融市场投资研究

金融交易为何网络延迟?

量化 纵横 后山人 1218℃ 0评论

纵横视线

数据从自动交易主机生成,经过网卡到达线路上,在经过一个或几个交换机然后到达交易所的交易主机,这中间有三种网络有关的延迟:

  • 主机网卡的延迟
  • 网络交换机等设备的延迟
  • 数据在线路上以光速传输产生的延迟

网卡的延迟

我们先给出一个网卡延迟的定义:网卡的延迟是从应用程序调用Socket的send()函数开始,到数据到达线路上的时间;或数据从线路进入网卡到应用程序接受到Socket recv()函数回调的时间。这个延迟包括了操作系统网络协议实现(比如TCP Stack)的延迟,内核的延迟,以及网卡自身的延迟。

我们这样定义网卡的延迟,将和网卡有关的延迟,包括网卡,主机,操作系统及网卡驱动全都打包进一个数字,是因为它们密切相关,相互影响,并且很容易和应用程序的延迟分开,并且容易测量。常用的测量程序是流行的Ping-Pong,就是在一台机器发出一条消息,另一台机器受到后立即送回去,原来的机器接受到后计算所用时间来计算延迟。这个延迟对网络系统来讲通常叫用户级延迟,因为他是用户看到的延迟,其中操作系统延迟的比重要大于真正网络部分的延迟。

现在主流的低延迟网卡有两大阵营:10G Ethernet和Infiniband。Infiniband出现大约在1999年,而10GE在三年后才出来。Infiniband因为不需要考虑兼容旧版本,性能很先进,尤其是延迟方面,可以达到端到端2微妙的低延迟。10GE是作为1G以太网的升级,有和过去的以太网相同的API,现有系统可以直接使用。10GE虽然传输速度有了很大提高,可以和Infiniband相比较,但在延迟方面就差得很多,因此Infiniband曾是低延迟系统的首选。好在最近推出的新的网卡,把这一差距拉平,甚至超过IB。10GE因为开发容易,从新获得人们的青睐。现在的最新的产品用户级延迟在4微秒以下。

除了上面提到的两大阵营,还有一些其他的技术,他们可能延迟更低,比如基于PCI Express的Dolphin网卡和交换机,但用户较少。

 

操作系统的延迟

在网卡收到一个数据包时,会产生一个硬件中断,CPU在捕获到中断后调用网卡的中断服务程序(ISR)来处理这一事件,ISR负责把受到的数据从网卡拷贝到内存,再生成一个DPC(Deffered Procedure Call)对象并放在DPC对列中。这个DPC负责后续的处理工作,包括运行操作系统的IP Stack,然后通知用户线程受到了数据。在多CPU的系统上,每个CPU都有一个DPC对列。当没有更高级的中断需要处理的时候,CPU会运行DPC对列中的任务。

在上面这个过程中,有几个产生延迟的地方:ISR转到DPC,DPC转到用户线程都会有context`switch;如果ISR和DPC还有用户线程不在同一个CPU上,还需要Inter-Processor Interrupt来启动线程执行。

操作系统的网络实现,比如TCP Stack,需要很多CPU时间来运行,也会有延迟。一般来说每1bit的网卡速度就需要1hz的CPU主频来处理。对于10GE双工的网卡,需要处理20G bit,也就是说要20G HZ CPU主频来处理,或者说需要10个2G主频的CPU才能处理一个满负荷的10GE网卡的流量。CPU能力不足时会造成很多数据来不及处理,就会使缓存完全用完。如果是TCP协议,主机就会向对方发出接受窗口尺寸为零,对方会停止发送数据。对UDP协议来说,来不及处理的包就会被丢掉,这都会造成很大的延迟。如果TCP数据发生了从新传递申请,那延迟就会大倒无法忍受,有可能会有数秒甚至更长的延迟。

高性能网卡都有针对TCP Stack的优化,尽量把一些东西放到网卡上让专用硬件来处理,就是TCP Stack Offload Engine(TOE)。比如建立连接,计算数据包的完整性(Checksum),计算接受窗口大小,发送ACK消息,中断连接等。

另外,因该把每一个网卡安排在不同的CPU上,让CPU分担任务。一般行情数据的网络流量会很大,比如在每秒十万条到一百万条数据的样子,而下单的通道不会有太大的流量,把他们分开在不同的网卡上可以改善下单的通道的延迟,不会因为行情数据出现超大流量是而影响下单。

 

网络交换机等设备的延迟

你需要低延迟的网络交换机,普通的网络交换机延迟都很高,如果网络中有路由器,那延迟就太高了,这就是为什么我没有把路由器列在上面。现在的低延迟交换机延迟都远远低于一微妙,一般在几十纳秒,而且每隔几个月就有很大进步,因此不会有太大的问题。

但这些低延迟的交换机都没有NAT功能,在低延迟的网络里不应该出现NAT。不经过NAT的意思就是,我们的机器和交易所的机器使用同一个网段的IP地址,形象点说就是从交易所的交换机直接拉条网线到我们的机器上。我们一般在和交易所连接的机器上装多块网卡,每一块连接不同的交易所,还有面向内网的网卡。这样的网络环境会比较复杂。
数据在线路上以光速传输产生的延迟

光传输得很快,每秒钟300000公里。但它也走得很慢,每一微秒只能走0.3公里,不过一个街口。因此在低延迟网络环境里要考虑数据中心的位置。

转载请注明:纵横资本网 » 金融交易为何网络延迟?

喜欢 (2)
纵横需要你的评论!