张宴的博客

　　此文为《程序员》杂志约稿，发表在2010年6月刊。

　　文章以“KBI用户行为分析”的项目架构为原型，对Web商业智能平台的架构设计进行了概要介绍。实现海量数据的分析挖掘计算相对较易，如何以灵活的可扩展性框架，来便捷地应对项目开发周期中，来自众多项目干系人的需求变更，才是难点。

　　想要个宝宝，原来的“1室1厅”太小，于是将在公司附近莱镇香格里小区的房子卖掉，暂时在南三环与南四环之间的角门路，租了个两居，离老婆单位经济日报社近一点。我上班的路程也由原来的2公里变成了28公里。“地铁4号线”换“地铁13号线”再换公司班车太折腾，且人多如蚂蚁，遂买了辆电动摩托，速度最快50码，骑行上下班。

　　搜狗地图的路书功能不错，可以将行驶路程用Flash动画表示出来。


　　最后，怀念一下，我们已经不再拥有的那曾经的家：

　　同事下午遇到一问题，MySQL 和 Memcached 对于同一个key，不能对应起来。最终原因是：PHP将key写入MySQL数据库之前，没有经过trim()过滤首尾空格（关键是尾部空格），结果：

　　1、MySQL的varchar、char类型字段，SELECT .... WHERE 查询时忽略字段的尾部空格。例如varchar类型字段uidcode中，存储的含有尾部空格的内容“rewinx ”，通过以下三种方式均可查询到：

　　

　　在MySQL手册第“11.4.1. CHAR和VARCHAR类型”节中写道（http://dev.mysql.com/doc/refman/5.1/zh/column-types.html#char）：请注意所有MySQL校对规则属于PADSPACE类。这说明在MySQL中的所有CHAR和VARCHAR值比较时不需要考虑任何尾部空格。请注意所有MySQL版本均如此，并且它不受SQL服务器模式的影响。

---

　　2、PHP 的 Memcache 扩展，则在set、get时，自动将key中的空格，转换成了半角下划线“_”。当然，直接通过 Memcached 协议来读取，key值“rewinx ”就要写成“rewinx_”了。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2010.06.29 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_3/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

---

　　HTTPSQS 1.3 版本增加的功能：

　　1、服务器端：

　　● 增加了重要功能：定时将内存缓冲区内容写到磁盘的功能。
　　HTTPSQS 1.2 及以前的版本，只有当内存缓冲区满的时候，才将内存中的内容写到磁盘，如果这期间服务器宕机，将导致一部分数据丢失。从 1.3 版本开始，支持了定时（默认5秒钟/次）将内存缓冲区内容同步到磁盘的功能，可以在启动 HTTPSQS 时使用“-s <second>”参数设置同步间隔。在 HTTPSQS 运行过程中，可以通过浏览器访问“http://host:port/?name=your_queue_name&opt=synctime&num=间隔秒数”来实时修改同步间隔，无需重启。

　　● 增加了辅助功能：以JSON格式查看队列状态。
　　原有的查询队列状态功能“http://host:port/?name=your_queue_name&opt=status”，适合通过浏览器访问，人工查看，不便于程序处理。新增加的功能“http://host:port/?name=your_queue_name&opt=status_json”，以JSON格式输出队列状态信息，便于客户端程序进行处理，输出的格式示例如下：


　　● 增加了以下四项启动参数：


　　2、客户端：

　　● PHP客户端Class增加了Keep-alive长连接断线自动检测、自动重连功能，PHP客服端守护进程从HTTPSQS读取数据时，不用考虑连接异常断开处理。非常适合PHP客服端作为守护进程，从队列GET读取数据，或者批量往队列中写入数据的应用。

　　● PHP客户端Class增加了函数$httpsqs->status_json($host, $port, $charset, $name);、$httpsqs->synctime($host, $port, $charset, $name, $num);、$httpsqs->pstatus_json($host, $port, $charset, $name);、$httpsqs->psynctime($host, $port, $charset, $name, $num);，详细使用说明请见：http://blog.zyan.cc/httpsqs/

---

　　HTTPSQS 1.1/1.2 版本如何升级到 HTTPSQS 1.2 版本：

　　●服务器端版本完全兼容：编译安装 HTTPSQS 1.3，替换 HTTPSQS 1.1/1.2，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。

　　●客户端版本完全兼容：HTTPSQS 1.3 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.1/1.2。两个版本的PHP客户端函数使用方式、参数相同，1.3 版本的PHP客户端与 1.2 版本相比，增加了status_json()、synctime()、pstatus_json()、psynctime()四个函数。

---

　　HTTPSQS 的生产环境应用：

　　●金山通行证（https://my.xoyo.com）
　　队列应用类型：手机短信上行、手机短信下发、邮件下发
　　队列应用要求：稳定性高，存储数据量大
　　队列部署结构：一主、一备两台 HTTPSQS 热备模式

　　●金山用户行为分析系统（http://kbi.xoyo.com）
　　队列应用类型：用户鼠标点击、访问URL原始数据采集
　　队列应用要求：并发性能高，存储数据量大
　　队列部署结构：多台 HTTPSQS 应用层哈希分布式模式

　　●金山逍遥网站内搜索
　　队列应用类型：索引准实时更新。在金山游戏官网中，新闻、论坛帖子、客服公告、SNS社区等发生的增、删、改操作，文本内容实时写入HTTPSQS队列，全站搜索引擎增量索引准实时（1分钟内）更新的数据源取自HTTPSQS。

　　●金山逍遥网全站通用评论系统
　　队列应用类型：评论发表

　　●金山《剑侠情缘》电视连续剧四大角色人物选秀活动（http://zt.xoyo.com/haixuan/）
　　队列应用类型：用户上传的照片异步裁剪、缩放处理

　　●新浪邮箱（http://mail.sina.com.cn）
　　队列应用类型：用户登陆日志记录

---

　　HTTPSQS 1.3 版本的详细使用说明，请访问： http://blog.zyan.cc/httpsqs/

　　CentOS 5.4 Linux 下的 PHP（FastCGI） 需要连接相关部门的SQL Server 2000数据库，配置了扩展FreeTDS扩展。

　　1、编译安装FreeTDS

　　输入以下内容：


　　2、编译安装PHP自带MSSQL扩展
　　进入本地已存在的php-5.2.XX源码包目录：


　　3、在php.ini配置文件中增加mssql.so

　　增加一行：


　　4、重启PHP FastCGI


　　5、测试文件（test_mssql.php）：
<?php header("Content-type: text/html; charset=utf-8"); $msdb=mssql_connect("mssql.yourdomain.com:1433","username","password"); if (!$msdb) {         echo "connect sqlserver error";         exit; } mssql_select_db("database_name",$msdb); $result = mssql_query("SELECT top 5 * FROM table", $msdb); while($row = mssql_fetch_array($result)) {         var_dump($row); } mssql_free_result($result); ?>

　　职位名称：金山游戏KSG-逍遥网系统工程师
　　所属部门：KSG－逍遥网XOYO
　　招聘人数：2人
　　工作地点：北京金山软件大厦
　　相关描述：http://job.kingsoft.com/intro.php?id=372

　　工作职责：
　　1、Linux/Unix 服务器安装、配置、调优；
　　2、常用环境搭建，如：apache、php、mysql、nginx、memcache、svn、vpn、iSCSI等；
　　3、系统脚本编写，数据统计；
　　4、配合逍遥网动态应用云计算架构平台开发。

　　任职资格：
　　1、熟悉网络理论(如OSI七层模型,TCP状态机)，网络协议（TCP/IP）等；
　　2、熟悉各种网络设备的配置调试及故障分析；
　　3、熟悉UNIX系统，具备一定的语言开发能力（Perl，PHP，C，shell等）及相关开发工作经验；
　　4、有大型社区网站运维经验者优先，熟悉分布式架构；
　　5、愿意积极主动的思考如何把工作做好；
　　6、有团队合作精神，能够承受较大的工作压力。

　　简历请发至 zhangyan2[at]kingsoft.com（发邮件时[at]请改成@） 或 hr@kingsoft.com（如投给hr邮箱，邮件主题请包含关键词“系统工程师”，便于邮件自动识别分发）

---

　　职位名称：金山游戏KSG-逍遥网PHP工程师
　　所属部门：KSG－逍遥网XOYO
　　招聘人数：4人
　　工作地点：北京金山软件大厦
　　相关描述：http://job.kingsoft.com/intro.php?id=494

　　工作职责：
　　1、熟悉apache＋php5 + mysql 开发，1年以上开发经验；
　　2、有PHP主流框架的使用经验，能自己写一套MVC框架更佳；
　　3、熟悉各种设计模式，并能应用在开发当中；
　　4、熟悉json+AJAX技术和模板技术，了解css+div和JavaScript；
　　5、熟悉Apache、MySQL和Linux的日常管理和维护，熟悉分布式架构；
　　6、有Linux下C语言开发经验者优先；
　　7、具有文档编写能力，面向对象的编程思想，优良的编程风格和习惯；
　　8、较强的团队协作能力、沟通能力和学习能力。

　　任职资格：
　　1、1年及以上PHP web应用程序开发；
　　2、熟练使用CSS，HTML，javascript；
　　3、扎实的SQL知识，熟练使用MySQL；
　　4、良好的SQL ,PL/SQL编程技巧，有在Mysql下的编程；
　　5、具有出色的独立工作能力及团队合作精神。

　　简历请发至 zhangyan2[at]kingsoft.com（发邮件时[at]请改成@） 或 hr@kingsoft.com（如投给hr邮箱，邮件主题请包含关键词“PHP”，便于邮件自动识别分发）

---

　　金山软件公司

　　金山软件公司，自1989年第一款办公软件产品WPS1.0投放市场以来，目前已经成为中国最知名的软件企业之一，是中国领先的应用软件产品和互联网服务供应商。

　　金山软件在珠海、北京、成都、大连、深圳五地分设研发中心，2005年成立日本合资公司。公司目前主要涉及软件和网游两大核心业务，创造了金山词霸、WPS Office、金山毒霸、剑侠情缘、封神榜等众多知名产品。

　　2007年10月9日，金山软件在香港联交所主板成功上市，股份编号3888。

　　金山在不断成长的20年中，经历了岁月的洗礼与沉淀。一直以来，金山执着于对技术的创新，在2000多名公司员工中，从事研发相关工作的人员超过总体的60%。因为坚持的奋斗与努力，金山人相信，创造出世界上一流的软件产品、创造一家世界一流的软件公司、让我们的软件运行在每一台电脑上，都一定是可以实现的梦想。

　　金山游戏

　　金山从1995年开始进入游戏产业，成立珠海西山居工作室。1996年之后，《中关村启示录》、《剑侠情缘》、《朝鲜战争》等单机游戏陆续发布。2003年，金山进入网游产业，做植根于中华文化的网游产品。同年西山居工作室推出首款网游《剑侠情缘网络版》并大获成功。

　　2004年，金山游戏业务开始飞速发展，陆续成立烈火、亚丁等工作室，并推出《封神榜》、《春秋Q传》等系列产品。与此同时，《剑侠情缘网络版》首度进军台湾、马来西亚等海外市场。2005年6月《剑侠情缘网络版》登陆越南，迅速占领越南网游80%市场份额。

　　2009年，金山游戏（之前网游事业部）作为独立公司运营，简称“KSG”。如今，金山游戏主要面向计算机游戏和数字电视娱乐产业，是集自主研发和独立运营于一体的中国最知名的数字娱乐产品和服务供货商之一，代表作品包括：剑侠情缘系列、封神榜系列等，其中“剑侠系列”游戏被誉为“中国原创武侠游戏第一品牌”。目前，金山游戏产品注册人数超过1亿4千万。

　　金山游戏拥有员工超过1200人，由研发和运营两大体系构成，设有西山居、烈火、亚丁、鲸彩、上水轩、七尘斋六大游戏工作室，主要从事大型MMO游戏自主研发，并且控股多家游戏工作室，同时运营超过10款大型MMO游戏。金山游戏运营中心设有网游运营、业务发展、业务拓展、市场、区域营销、运维、客户服务等相关运营体系，服务于亿万用户；同时，在全国七大片区设立20多个分公司和办事处，覆盖了全国渠道网络。

　　金山逍遥Xoyo.com

　　金山逍遥Xoyo.com是金山游戏官方网站，为金山旗下的各款游戏产品提供网络营销服务，包括金山公司网游介绍、客户服务、在线充值、玩家社区等内容建设和在线服务支持。

　　作为金山游戏未来发展战略中的重要组成部分，金山逍遥Xoyo.com致力于发挥网络营销多途径、低成本的优势，帮助公司打造各工作室与产品品牌，降低整体营销成本；同时以“吸引新用户、服务老用户”为目标，为金山游戏用户提供高品质的服务。

　　Google 最近提供了 SSL（HTTPS） 搜索功能（https://www.google.com），可以保护用户的搜索关键字和搜索结果不被ISP等第三方机构拦截、窃取，不被墙连接重置。

　　国内用户访问 https://www.google.com 默认情况下会跳转到谷歌香港 http://www.google.com.hk，解决方法为先点击“Google.com in English“访问 http://www.google.com/ncr （仅需要点击一次），该网址会种一个Cookie，防止跳转，再设置搜索语言为中文，再输入 https://www.google.com 即可，比较麻烦。

　　本人将这一复杂的流程简化为一个域名：ggssl.com，只需要访问：http://ggssl.com，即可利用脚本快速跳转到 Google SSL 加密搜索中文版。第一次访问自动设置并跳转，以后访问立即自动跳转。

　　Google SSL 搜索快速跳转域名：http://ggssl.com

　　[文章作者：张宴 本文版本：v1.2 最后修改：2010.05.24 转载请注明原文链接：http://blog.zyan.cc/nginx_0day/]

　　注：2010年5月23日14:00前阅读本文的朋友，请按目前v1.1版本的最新配置进行设置。

　　昨日，80Sec 爆出Nginx具有严重的0day漏洞，详见《Nginx文件类型错误解析漏洞》。只要用户拥有上传图片权限的Nginx+PHP服务器，就有被入侵的可能。

　　其实此漏洞并不是Nginx的漏洞，而是PHP PATH_INFO的漏洞，详见：http://bugs.php.net/bug.php?id=50852&edit=1

　　例如用户上传了一张照片，访问地址为http://www.domain.com/images/test.jpg，而test.jpg文件内的内容实际上是PHP代码时，通过http://www.domain.com/images/test.jpg/abc.php就能够执行该文件内的PHP代码。

　　网上提供的临时解决方法有：

　　方法①、修改php.ini，设置cgi.fix_pathinfo = 0;然后重启php-cgi。此修改会影响到使用PATH_INFO伪静态的应用，例如我以前博文的URL：http://blog.zyan.cc/read.php/348.htm 就不能访问了。

　　方法②、在nginx的配置文件添加如下内容后重启：if ( $fastcgi_script_name ~ \..*\/.*php ) {return 403;}。该匹配会影响类似 http://www.domain.com/software/5.0/test.php（5.0为目录），http://www.domain.com/goto.php/phpwind 的URL访问。

　　方法③、对于存储图片的location{...}，或虚拟主机server{...}，只允许纯静态访问，不配置PHP访问。例如在金山逍遥网论坛、SNS上传的图片、附件，会传送到专门的图片、附件存储服务器集群上（pic.xoyo.com），这组服务器提供纯静态服务，无任何动态PHP配置。各大网站几乎全部进行了图片服务器分离，因此Nginx的此次漏洞对大型网站影响不大。

---

　　本人再提供一种修改nginx.conf配置文件的临时解决方法，兼容“http://blog.zyan.cc/demo/0day/phpinfo.php/test”的PATH_INFO伪静态，拒绝“http://blog.zyan.cc/demo/0day/phpinfo.jpg/test.php”的漏洞攻击：


　　也可将以下内容写在fcgi.conf文件中，便于多个虚拟主机引用：

---

　　附：文章修改历史

　　● [2010年05月21日] [Version 1.0] 新建

　　● [2010年05月23日] [Version 1.1] 针对网友michael提出的“如果构造一个形如/..trojan.jpg/dummy.php/?abcd=1，似乎可以绕过防范的nginx配置”，进行了配置修改，防范了此类情况发生。提供测试的URL如下，拒绝漏洞访问：
　　http://blog.zyan.cc/demo/0day/phpinfo.jpg （里面是PHP代码）
　　http://blog.zyan.cc/demo/0day/phpinfo.jpg/.php
　　http://blog.zyan.cc/demo/0day/phpinfo.jpg/dummy.php
　　http://blog.zyan.cc/demo/0day/phpinfo.jpg/dummy.php/?abcd=1

　　同时兼容正常的PATH_INFO伪静态请求，测试URL如下：
　　http://blog.zyan.cc/demo/0day/phpinfo.php （这是正常的PHP文件）
　　http://blog.zyan.cc/demo/0day/phpinfo.php/test
　　http://blog.zyan.cc/demo/0day/phpinfo.php/news123.html
　　http://blog.zyan.cc/read.php/348.htm

　　● [2010年05月24日] [Version 1.2] 修正文字描述错误。

　　[文章作者：张宴 本文版本：v1.1 最后修改：2010.05.18 转载请注明原文链接：http://blog.zyan.cc/infobright/]

　　Infobright是一个与MySQL集成的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。

　　一、Infobright的基本特征：
　　优点：
　　查询性能高：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQL存储引擎快5～60倍
　　存储数据量大：TB级数据大小，几十亿条记录
　　高压缩比：在我们的项目中为18:1，极大地节省了数据存储空间
　　基于列存储：无需建索引，无需分区
　　适合复杂的分析性SQL查询：SUM, COUNT, AVG, GROUP BY

　　限制：
　　不支持数据更新：社区版Infobright只能使用“LOAD DATA INFILE”的方式导入数据，不支持INSERT、UPDATE、DELETE
　　不支持高并发：只能支持10多个并发查询

---

　　二、Infobright 安装与基本用法：
　　1、下载安装社区版Infobright二进制Linux版本，端口3307


　　①、64位系统：


　　②、32位系统：

　　4月21日全国哀悼日，将去除网站全站所有站点色彩（变灰），悼念遇难同胞，愿死者安息。

　　金山逍遥网旗下站点众多，虽然官网都有统一的页头、页尾，但是，还有一部分站点（例如用户中心、注册充值页面、游戏客户端内嵌网站、活动专题页等）页头、页尾不相同。但是，所有站点采用的都是Nginx服务器，95%以上的站点都经过Nginx负载均衡服务器，因此只需要在Nginx负载均衡服务器上，利用sub_filter指令在输出的HTML中增加一行：



　　就可以实现在IE及IE内核浏览器下，所有网站变灰色。步骤如下：

　　1、重新编译Nginx，增加http_sub_module模块：

---

　　2、在nginx.conf配置文件的http {...}大括号内增加以下两行：


　　保存后，重新加载配置文件：

---

　　3、如果某些带有Flash的页面仍显示彩色，或浏览器上下滚动条拖动时Flash FLV播放器变花（例如剑网3、剑侠世界官网分流页），将Flash改为JS输出（本例为SWFObject）：


　　这样，整个页面，包括Flash播放器中的视频就都变灰色了。

　　Sersync 是我们金山逍遥网技术支持部平台组周洋同学，开发的一款基于 inotify + rsync 的大量文件的多服务器自动同步程序，目前已开源，开源协议为 New BSD License。

　　原理：
　　使用 Linux 2.6 内核的 inotify 监控 Linux 文件系统事件，被监听目录下如果有文件发生修改，sersync 将通过内核自动捕获到事件，并将该文件利用 rsync 同步到多台远程服务器。sersync 仅仅同步发生增、删、改事件的单个文件或目录，不像rsync镜像同步那样需要比对双方服务器整个目录下数千万的文件，并且支持多线程同步，因此效率非常高。

　　应用：
　　金山游戏官网的 CMS 内容发布系统。无论编辑通过 Web 还是 FTP 上传图片、视频、附件，还是系统工程师直接去CMS发布服务器上增加、修改、删除文件，干完这些事情后不用做任何处理，sersync 会自动将发生增、删、改事件的文件同步到远程服务器，并可以在文件同步完成后，自动调用 CDN（ChinaCache）缓存刷新接口，刷新发生修改、删除的文件的访问 URL。

　　更多内容，请访问项目网址：http://code.google.com/p/sersync/

　　以下是我4月2日在“2010年数据库技术大会”的演讲PPT，介绍了 Tokyo Cabinet Key-Value 数据库的性能优化关键参数，以及金山逍遥网在Tokyo Cabinet基础上实现的TCSQL实时列表缓存数据库(Version 1.3)。

　　PDF格式下载：

　　书名：《实战Nginx：取代Apache的高性能Web服务器》
　　作者：张宴
　　出版社：电子工业出版社
　　ISBN号：9787121102479
　　出版日期：2010年03月
　　字数：430千字
　　页码：352
　　开本：16

　　网上书城：
　　卓越亚马逊：http://www.amazon.cn/mn/detailApp/ref=sr_1_1?_encoding=UTF8&s=books&qid=1270279433&asin=B003CHHHB8&sr=8-1
　　当当网：http://product.dangdang.com/product.aspx?product_id=20807089&ref=search-0-A
　　China-Pub：http://www.china-pub.com/196364
　　电子工业出版社书城：http://www.phei.com.cn/bookshop/bookinfo.asp?bookcode=TP102470&booktype=main


　　

　　[文章作者：张宴 本文版本：v1.0 最后修改：2010.03.18 转载请注明原文链接：http://blog.zyan.cc/httpsqs_1_2/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.zyan.cc/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）
　　软件作者：张宴

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

---

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过700行，适合二次开发。

---

　　HTTPSQS 1.2 版本增加的功能：

　　1、服务器端：

　　● PUT入队列、GET出时，1.2版本在Header头增加了一行Pos，输出当前队列“写入点”或“读取点”。假设从队列取出一条消息，这条消息的队列读取点Pos为7，将这条消息插入数据库失败了，那么，就可以在失败Pos日志文件中记录这个队列点。过段时间后，只要该Pos点的数据未被覆盖，通过“http://127.0.0.1:1218/?charset=utf-8&name=your_queue_name&opt=view&pos=7”则可以再次取出该条消息，做失败原因分析或进一步处理。

　　● PUT入队列时，如果“队列写入点”追上“队列读取点”，会返回“HTTPSQS_PUT_END”，提示队列已满，而不是像1.1版本那样直接覆盖未读数据。

　　2、客户端：

　　● 增加了Perl版本的客户端。感谢网友tonny0830为HTTPSQS开发了Perl客户端。

　　● PHP客户端Class增加了函数$httpsqs->gets($host, $port, $charset, $name)、$httpsqs->pgets($host, $port, $charset, $name)，详细使用说明请见：http://blog.zyan.cc/httpsqs/

---

　　HTTPSQS 1.1 版本如何升级到 HTTPSQS 1.2 版本：

　　●服务器端版本完全兼容：编译安装 HTTPSQS 1.2，替换 HTTPSQS 1.1，然后“kill httpsqs的进程ID”，按原来的启动参数启动 HTTPSQS 即可，数据完全兼容。

　　●客户端版本完全兼容：HTTPSQS 1.1 版本的PHP客户端，仍可以直接操作 HTTPSQS 1.2。两个版本的PHP客户端函数使用方式、参数相同，1.2 版本的PHP客户端与 1.1 版本相比，增加了gets()和pgets()函数，用于从一个队列中取出文本信息和当前队列读取点Pos。

---

　　HTTPSQS 1.2 的生产环境典型应用案例架构：

　　

---

　　HTTPSQS 1.2 版本的详细使用说明，请访问：http://blog.zyan.cc/httpsqs/

　　[文章作者：张宴 本文版本：v6.3 最后修改：2010.07.26 转载请注明原文链接：http://blog.zyan.cc/nginx_php_v6/]

　　前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第6篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。本文可能不断更新小版本，请记住原文链接“http://blog.zyan.cc/nginx_php_v6/”，获取最新内容。第6篇文章主要介绍了Nginx 0.8.x新的平滑重启方式，将PHP升级到了5.2.14，修正了PEAR问题。另将MySQL 5.1.x升级到了5.5.x系列，配置文件变更较大。

　　链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》、《2008年8月的第4版》、《2009年5月的第5版》

　　

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过三年了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻、腾讯网、搜狐博客等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，盛大在线、金山逍遥网等网络游戏网站，豆瓣、人人网、YUPOO相册、金山爱词霸、迅雷在线等新兴Web 2.0网站。

---

　　Nginx 的官方中文维基：http://wiki.nginx.org/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.8.46 + PHP 5.2.14 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：

　　

　　2009年9月3日下午2：30，金山游戏《剑侠情缘网络版叁》临时维护1小时（http://kefu.xoyo.com/gonggao/jx3/2009-09-03/750438.shtml），大量玩家上官网，论坛、评论、客服等动态应用Nginx服务器集群，每台服务器的Nginx活动连接数达到2.8万，这是笔者遇到的Nginx生产环境最高并发值。

　　

---

　　下面是用100个并发连接分别去压生产环境中同一负载均衡器VIP下、提供相同服务的两台服务器，一台为Nginx，另一台为Apache，Nginx每秒处理的请求数是Apache的两倍多，Nginx服务器的系统负载、CPU使用率远低于Apache：

　　你可以将连接数开到10000～30000，去压Nginx和Apache上的phpinfo.php，这是用浏览器访问Nginx上的phpinfo.php一切正常，而访问Apache服务器的phpinfo.php，则是该页无法显示。4G内存的服务器，即使再优化，Apache也很难在“webbench -c 30000 -t 60 http://xxx.xxx.xxx.xxx/phpinfo.php”的压力情况下正常访问，而调整参数优化后的Nginx可以。

　　webbench 下载地址：http://blog.zyan.cc/post/288/

　　注意：webbench 做压力测试时，该软件自身也会消耗CPU和内存资源，为了测试准确，请将 webbench 安装在别的服务器上。

　　测试结果：##### Nginx + PHP #####


　　测试结果：#####  Apache + PHP #####

---

　　为什么Nginx的性能要比Apache高得多？这得益于Nginx使用了最新的epoll（Linux 2.6内核）和kqueue（freebsd）网络I/O模型，而Apache则使用的是传统的select模型。目前Linux下能够承受高并发访问的Squid、Memcached都采用的是epoll网络I/O模型。

　　处理大量的连接的读写，Apache所采用的select网络I/O模型非常低效。下面用一个比喻来解析Apache采用的select模型和Nginx采用的epoll模型进行之间的区别：

　　假设你在大学读书，住的宿舍楼有很多间房间，你的朋友要来找你。select版宿管大妈就会带着你的朋友挨个房间去找，直到找到你为止。而epoll版宿管大妈会先记下每位同学的房间号，你的朋友来时，只需告诉你的朋友你住在哪个房间即可，不用亲自带着你的朋友满大楼找人。如果来了10000个人，都要找自己住这栋楼的同学时，select版和epoll版宿管大妈，谁的效率更高，不言自明。同理，在高并发服务器中，轮询I/O是最耗时间的操作之一，select和epoll的性能谁的性能更高，同样十分明了。

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.3，另在RedHat AS4上也安装成功）