回忆未来[张宴]

　　[文章作者：张宴 本文版本：v1.1 最后修改：2008.07.17 转载请注明出自：http://blog.s135.com]

　　Citrix NetScaler是一款不错的4-7层硬件负载均衡交换机，市场占有率仅次于F5 BIG-IP，位居第二。NetScaler 8.0是美国思杰系统有限公司（Citrix Systems, Inc）正式推出的最新版本NetScaler产品系列。

　　从我的实际测试来看，NetScaler 8.0在七层负载均衡方面，性能和功能都要比F5 BIG-IP强。

　　NetScaler 8.0的负载均衡监控中，可以对MySQL数据库进行健康检查，而F5 BIG-IP目前只支持对Oracle和Microsoft SQL Server数据库的健康检查。

　　

　　但是，NetScaler 8.0自带的MySQL健康检查脚本（nsmysql.pl）并不完善，它只能检查一条SQL语句执行是否出错，并不能检查MySQL主从结构中的MySQL Slave数据库同步是否正常、表有无损坏、同步延迟是否过大、是否出现错误、非sleeping状态的连程数是否过高等情况。于是，我根据自己的需要，为NetScaler 8.0写了一个MySQL Slave数据库负载均衡健康检查脚本（nsmysql-slave.pl），实现了上述需求。

　　有了“nsmysql-slave.pl”做健康检查，利用NetScaler的VIP（虚拟IP），就可以完美实现多台MySQL Slave数据库的负载均衡了。当一台MySQL Slave数据库出现不同步、表损坏、同步延迟过大（本脚本中默认设置的落后MySQL主库600秒视为延迟，可根据具体应用修改）、活动连程数太高（本脚本中默认设置的是大于200视为连程数太高，可根据具体应用修改）等情况，“nsmysql-slave.pl”就会自动将其检查出来，并告知NetScaler，NetScaler会将该数据库标识为宕机，从而不将用户的查询请求传送到这台发生故障的数据库上。故障一旦修复，“nsmysql-slave.pl”会自动告知NetScaler，该数据库已经可以使用。

　　“nsmysql-slave.pl”源代码如下：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.05.22 转载请注明出自：http://blog.s135.com/f5_big_ip]

　　前言：最近一直在对比测试F5 BIG-IP和Citrix NetScaler负载均衡器的各项性能，于是写下此篇文章，记录F5 BIG-IP的常见应用配置方法。

　　目前，许多厂商推出了专用于平衡服务器负载的负载均衡器，如F5 Network公司的BIG-IP，Citrix公司的NetScaler。F5 BIG-IP LTM 的官方名称叫做本地流量管理器，可以做4-7层负载均衡，具有负载均衡、应用交换、会话交换、状态监控、智能网络地址转换、通用持续性、响应错误处理、IPv6网关、高级路由、智能端口镜像、SSL加速、智能HTTP压缩、TCP优化、第7层速率整形、内容缓冲、内容转换、连接加速、高速缓存、Cookie加密、选择性内容加密、应用攻击过滤、拒绝服务(DoS)攻击和SYN Flood保护、防火墙—包过滤、包消毒等功能。

　　以下是F5 BIG-IP用作HTTP负载均衡器的主要功能：
　　①、F5 BIG-IP提供12种灵活的算法将所有流量均衡的分配到各个服务器，而面对用户，只是一台虚拟服务器。
　　②、F5 BIG-IP可以确认应用程序能否对请求返回对应的数据。假如F5 BIG-IP后面的某一台服务器发生服务停止、死机等故障，F5会检查出来并将该服务器标识为宕机，从而不将用户的访问请求传送到该台发生故障的服务器上。这样，只要其它的服务器正常，用户的访问就不会受到影响。宕机一旦修复，F5 BIG-IP就会自动查证应用已能对客户请求作出正确响应并恢复向该服务器传送。
　　③、F5 BIG-IP具有动态Session的会话保持功能。
　　④、F5 BIG-IP的iRules功能可以做HTTP内容过滤，根据不同的域名、URL，将访问请求传送到不同的服务器。

---

　　下面，结合实例，配置F5 BIG-IP LTM v9.x：

　　

　　①、如图，假设域名blog.s135.com被解析到F5的外网/公网虚拟IP：61.1.1.3（vs_squid），该虚拟IP下有一个服务器池（pool_squid），该服务器池下包含两台真实的Squid服务器（192.168.1.11和192.168.1.12）。
　　②、如果Squid缓存未命中，则会请求F5的内网虚拟IP：192.168.1.3（vs_apache），该虚拟IP下有一个默认服务器池（pool_apache_default），该服务器池下包含两台真实的Apache服务器（192.168.1.21和192.168.1.22），当该虚拟IP匹配iRules规则时，则会访问另外一个服务器池（pool_apache_irules），该服务器池下同样包含两台真实的Apache服务器（192.168.1.23和192.168.1.24）。
　　③、另外，所有真实服务器的默认网关指向F5的自身内网IP，即192.168.1.2。
　　④、所有的真实服务器通过SNAT IP地址61.1.1.4访问互联网。

---

　　详细配置步骤：

　　注：/usr/local/apache/为Apache的安装路径，/opt/httpd-2.0.55/为Apache的源代码目录。

　　Linux下，执行以下命令为Apache添加mod_expires模块：

　　报错：
　　再执行：

　　编译成功。

　　2008年4月18日，在Alexa安排的一次“Scaling MySQL -- Up or Out?”的小组辩论中，MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们，对其网站MySQL数据库服务器、Web服务器、缓存服务器的数量，MySQL版本，编程语言类型，操作系统类型等问题进行了回答。

　　

　　Linux下高并发的Squid服务器，TCP TIME_WAIT套接字数量经常达到两、三万，服务器很容易被拖死。通过修改Linux内核参数，可以减少Squid服务器的TIME_WAIT套接字数量。
　　
　　增加以下几行：
　　说明：
　　net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
　　net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
　　net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
　　net.ipv4.tcp_fin_timeout = 30 表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。
　　net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。
　　net.ipv4.ip_local_port_range = 1024    65000 表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
　　net.ipv4.tcp_max_syn_backlog = 8192 表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。
　　net.ipv4.tcp_max_tw_buckets = 5000 表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000，改为5000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于Squid，效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。

　　执行以下命令使配置生效：

　　Apache、IIS、Nginx等绝大多数web服务器，都不允许静态文件响应POST请求，否则会返回“HTTP/1.1 405 Method not allowed”错误。

　　例1：用Linux下的curl命令发送POST请求给Apache服务器上的HTML静态页


　　例2：用Linux下的curl命令发送POST请求给Nginx服务器上的HTML静态页


　　但在有些应用中，需要使静态文件能够响应POST请求。

　　对于Nginx，可以修改nginc.conf配置文件，改变“405错误”为“200 ok”，并配置location来解决，方法如下：

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，从Nginx的日志可以统计出，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量：

　　服务器①：DELL PowerEdge 1950（两颗 Intel(R) Xeon(R) 双核CPU 5120 @ 1.86GHz，4GB内存）

　　服务器②：DELL PowerEdge 1950（一颗 Intel(R) Xeon(R) 双核CPU 5140 @ 2.33GHz，4GB内存）

　　Web服务器：CentOS Linux 4.4 + Nginx 0.5.35 + PHP 5.2.6RC2（300 FastCGI Procees, unix-domain socket, with XCache）

　　PHP程序内容：大量Memcached读写、少量MySQL读操作、大量文件队列写操作，然后计算，生成供<script type="text/javascript" src="http://www.domain.com/abc.php?u=1"></script>方式调用的JS代码或XML数据。

　　网卡流量：1.5M～3M/秒

　　请求数统计方式：从Nginx访问日志中，统计每分钟的第15秒共有多少条日志记录。

　　

　　服务器的系统负载也不算高：

　　

　　总结：
　　1、Nginx的处理能力超强，这块不是瓶颈。影响动态程序处理能力的因素主要在于PHP（FastCGI）。PHP（FastCGI）模式适用于执行时间较短的PHP程序，一般复杂的PHP程序执行时间应该在100ms以内，例如我的博客首页执行时间为38ms左右。假设一个PHP程序的执行时间为100ms，那么一个PHP（FastCGI）进程每秒可以处理完毕10个请求，300个FastCGI进程理论上每秒可以处理3000个请求。但是，在生产环境下，还将受到内存、系统负载等多方面的影响，例如300个PHP（FastCGI）进程需要占用2.4GB左右的内存，每秒处理超过1000个请求时，系统负载会飚升到100以上。因此，FastCGI的进程不是越多越好，而是够用就好。

　　2、使用PHP的XCache、APC等加速模块会提供速度10倍左右，降低系统负载50倍以上。

　　3、修改了spawn-fcgi，使它能够支持250个以上的FastCGI进程。

　　4、如果PHP直接对MySQL进行大量读写操作，速度是达不到“700 request/sec”的，PHP与MySQL之间需要一个中间层，这是关键的技术。

　　5、CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。

　　6、使用PHP 5.2.6RC2，因为它修正了PHP 5.2.5的“zend_mm_heap corrupted”错误BUG。PHP 5.2.5（FastCGI）在高并发请求情况下，经常会出现该错误。

　　7、有空我将写一篇针对CentOS Linux环境Nginx + PHP5（FastCGI）安装、配置的最新博文。

　　Internet Explorer 浏览器在同一时刻只能从同一域名下载两个文件。

　　至于原因请见 MSDN Blogs：《Internet Explorer and Connection Limits》，如何解除限制请见微软客户帮助与支持主页：《如何将 Internet Explorer 配置为可以同时进行两个以上的下载会话》。

　　不管 Firefox 有多火，无可否认，IE 仍然是浏览器市场的老大。所以，在做系统架构时，不得不去考虑 IE 同时只能从同一域名下载两个文件的限制。如果超过两个文件，IE 将会以队列形式等待两个文件下载完毕，再去下载接下来的两个文件。这样，当在一个页面显示多张图片时，IE 用户的图片下载速度就会受到影响。

　　百度、新浪、雅虎等网站采用了同一组图片服务器，使用多个二级域名的方式来解决这个问题。

　　通过 HttpWatch Professional 5.2.17 分析可以看出，百度的图片搜索采用了 t1.baidu.com ～ t8.baidu.com 八个域名来显示图片，消耗在 IE 浏览器端的 Blocked 时间小于0.001秒，非常快。

　　Links Collection of OpenSource Software

　　http://www.designandcommunication.co.jp/Nakano/

　　一个日本的网站，上面分类搜集了众多开源软件的官方网站地址。

　　例如：
　　数据库类别：http://www.designandcommunication.co.jp/Nakano/Dev/Database.html
　　HTTP服务器类别：http://www.designandcommunication.co.jp/Nakano/Net/HTTP.html

　　前言：dbcached 1.0 beta* 在 Memcached 1.2.4 的基础上编写而成，也是我的第一个开源C项目。编写 dbcached 的目的是为了最大限度的发挥 Memcached 内存缓存的优势，便捷地维护 Memcached 服务器节点哈希列表，智能地支持 Memcached 故障转移，同时保证数据的持久化存储。

　　dbcached

　　协议：New BSD License
　　作者：张宴
　　网址：http://code.google.com/p/dbcached/

　　dbcached 是什么?

　　● dbcached 是一款基于 Memcached 和 NMDB 的分布式 key-value 数据库内存缓存系统。

　　● dbcached = Memcached + 持久化存储管理器 + NMDB 客户端接口

　　● Memcached 是一款高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。

　　● NMDB 是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用 QDBM 或 Berkeley DB 作为后端数据库。

　　● QDBM 是一个管理数据库的例程库，它参照 GDBM 为了下述三点而被开发：更高的处理速度，更小的数据库文件大小，和更简单的API。QDBM 读写速度比 Berkeley DB 要快，详细速度比较见《Report of Benchmark Test》。

　　


　　Memcached 和 dbcached 在功能上一样吗?

　　● 兼容：Memcached 能做的，dbcached 都能做。除此之外，dbcached 还将“Memcached、持久化存储管理器、NMDB 客户端接口”在一个程序中结合起来，对任何原有 Memcached 客户端来讲，dbcached 仍旧是个 Memcached 内存对象缓存系统，但是，它的数据可以持久存储到本机或其它服务器上的 QDBM 或 Berkeley DB 数据库中。

　　这段视频在技术上对Nginx和Apache进行了比较，给出了一些如何让两者结合使用的例子。

　　xbayDNS

　　协议：New BSD License
　　作者：huangdong
　　团队：新浪研发中心──系统研发
　　网址：http://code.google.com/p/xbaydns/

　　xBayDNS是一个基于Web的BIND 9管理界面。与通常我们所知道的管理界面所不同的是，它尽可能的将DNS的管理简化，并帮助用户建立起一个容易管理、维护、扩展的DNS系统。

　　一个普通的DNS服器可以提供域名的解析、代理、缓存这样的服务。我们期望DNS不但是一个服务，它更应该承担起GSLB、用户访问加速这样的任务。而在现实的环境中，应用DNS已经能够很好的完成这样的工作。所以沿着从前的经历，我们启动了xBayDNS这个项目，它的目的是让DNS服务在承担着GSLB和访问加速这样的工作时更容易管理。做为xBayDNS附加的礼物，也可以从中学到如何形成一个基于DNS的GSLB和用户访问加速的原理。

　　xBayDNS的特性如下：
　　• 基于Web的BIND管理
　　• 非常容易的支持多种操作系统（现有我们考虑支持的就有FreeBSD、OpenBSD、MacOSX、Linux）
　　• 支持ACL、View、TSIG这样的BIND高级管理功能

　　什么时候使用xBayDNS？
　　• 你需要简单的管理一台BIND的DNS服务器
　　• 你需要多台DNS服务器来为你的用户提供解晰服务
　　• 一套基于DNS的GSLB系统
　　• 一套基于DNS的分布式GSLB系统
　　• 你需要维护多台分布式的服务器

　　安装：

　　Memcachedb

　　协议：New BSD License
　　作者：stvchu, gary.caokai, forever.sky81
　　团队：新浪互动社区事业部──博客产品
　　网址：http://www.memcachedb.org/

　　Memcachedb = memcache + Berkeley DB

　　Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
　　前端：memcached的网络层
　　后端：Berkeley DB存储

　　写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
　　读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。

　　• 支持的memcache命令
　　get, set, add, replace
　　incr, decr
　　delete
　　stats
　　flush_all

　　• 私有命令
　　db_checkpoint, db_archive
　　db_ismaster, db_whoismaster (for replication)

　　编译及安装方法：
　　http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx

　　

---

　　ncache

　　协议：New BSD License
　　作者：shinepf, shuiyang
　　团队：新浪互动社区事业部──博客产品
　　网址：http://code.google.com/p/ncache/

　　ncache是一款基于nginx的缓存系统，比Squid更快更高效。

　　01
　　

　　视频演讲：Cuong Do （YouTube/Google 的一位工程部经理）
　　演讲地点：西雅图扩展性的技术研讨会

　　以下为 Kyle Cordes 根据上述视频写下的文章：

　　YouTube Scalability Talk

　　Cuong Do of YouTube / Google recently gave a Google Tech Talk on scalability.

　　I found it interesting in light of my own comments on YouTube’s 45 TB a while back.

　　Here are my notes from his talk, a mix of what he said and my commentary:

　　In the summer of 2006, they grew from 30 million pages per day to 100 million pages per day, in a 4 month period. (Wow! In most organizations, it takes nearly 4 months to pick out, order, install, and set up a few servers.)

　　YouTube uses Apache for FastCGI serving. (I wonder if things would have been easier for them had they chosen nginx, which is apparently wonderful for FastCGI and less problematic than Lighttpd)

　　本文已有最新版本：

　　请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》

---

　　[文章作者：张宴 本文版本：v2.1 最后修改：2008.02.27 转载请注明出处：http://blog.s135.com]

　　前言：本文为我2007年9月写过的文章《Nginx 0.5.31 + PHP 5.2.4（FastCGI）搭建可承受3万以上并发连接数，胜过Apache 10倍的Web服务器》的第2版，经过了多台服务器的测试，修正了PHP iconv和gd库冲突的BUG，增加了PHP mcrypt、memcache扩展，修改了PHP和Nginx编译参数，优化了Nginx配置文件，添加了部分功能。

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 的中文维基：http://wiki.codemongers.com/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.33 + PHP 5.2.5 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.5.33 + PHP 5.2.5 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.5.33 + PHP 5.2.5 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　以下为 Nginx 0.5.33 + PHP 5.2.5 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和64个php-cgi进程时的系统负载情况：

　　

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）

　　一、获取相关开源程序：
　　1、下载程序源码包到当前目录：
　　本文中提到的所有开源软件为截止到2007年11月25日的最新稳定版。我将它们打了两个压缩包。