张宴的博客

　　最近工作非常忙碌，贯穿于10条产品线，每个工作日回家也很晚，博客、微博也上得少。

　　我也只能抽出一点周末时间去开发 APMServ，几次周末有事、软件上的一些技术问题，超出预期，造成了耽误。

　　当年开发APMServ的初衷，是那时候我还没有笔记本电脑，为了拷贝到U盘上，带到别的电脑，可以快速配置APM环境。然后一些人也想用，就将它免费共享出来，让想使用的人可以自己去下载。

　　焦急等待的心情可以理解，但等不到就谩骂的用户，类似的产品很多，建议你们去使用其他的产品。如果让你们每天不工作，去做一件费力不讨好的事，你们会去做吗？

　　APMServ 6.0的开发没有停止，也许需要一、两个周末，也许需要更长时间。

　　不想每天来页面看的用户，可以订阅以下邮件列表，APMServ发布时，会发邮件通知：

　　

　　2011.11.02

　　2012.01.04 进度预览：
　　

---

　　[软件作者：张宴 本文版本：v1.1 最后修改：2008.11.06 转载请注明原文链接：http://blog.s135.com/apmserv_v526/]

　　两年后，APMServ再出新版本──APMServ 5.2.6，升级了各集成软件的版本，增加了Nginx、Memcached、WinSCP，以及部分Linux命令的支持。

　　软件名称：APMServ 5.2.6
　　软件作者：张宴
　　授权方式：免费软件
　　发布日期：2008年10月21日
　　运行环境：WinNT/Win2000/WinXP/Win2003
　　文件大小：20.4MB
　　官方网站：http://apmserv.s135.com
　　讨论群组：http://blog.s135.com/apmserv/bbs/
　　
　　下载地址：
　　㈠官方下载点：
　　[国内下载点①→新浪爱问CDN] http://blog.s135.com/apmserv/bin/5.2.6/sina/
　　[国外下载点①→美国微软公司] http://blog.s135.com/apmserv/bin/5.2.6/microsoft/

　　㈡合作下载点：
　　[华军软件园] [新浪网] [中国站长站] [霏凡软件站] [绿色软件联盟] [绿色下载站] [1001下载乐园] [源码网] [共享世纪]
　　[IT168下载] [搜狐下载频道] [太平洋下载中心] [木蚂蚁下载] [汉江软件园] [寻源码] [洪越源代码] [中国站长之家]

　　老版本下载>>>
　　
　　软件简介：
　　APMServ 5.2.6 是一款拥有图形界面的快速搭建Apache 2.2.9、PHP 5.2.6、MySQL 5.1.28＆4.0.26、Nginx 0.7.19、Memcached 1.2.4、phpMyAdmin 2.11.9.2、OpenSSL、SQLite、ZendOptimizer，以及ASP、CGI、Perl网站服务器平台的绿色软件。无需安装，具有灵活的移动性，将其拷贝到其它目录、分区或别的电脑时，均只需点击APMServ.exe中的启动按钮，即可自动进行相关设置，将Apache和MySQL安装为系统服务并启动。APMServ集合了Apache稳定安全的优点，并拥有跟IIS一样便捷的图形管理界面，同时支持MySQL 5.0 & 4.0两个版本，虚拟主机、虚拟目录、端口更改、SMTP、上传大小限制、自动全局变量、SSL证书制作、缓存性能优化等设置，只需鼠标一点即可完成。

　　1、注意事项：APMServ程序所在路径不能含有汉字和空格。
　　2、MySQL默认用户名：root，密码为空
　　3、MySQL数据库文件存放目录：MySQL5.1\data或MySQL4.0\data
　　4、网站根目录[HTML,PHP]www\htdocs [ASP]www\asp [CGI,Perl]www\cgi-bin
　　5、访问本机请用http://127.0.0.1/或https://127.0.0.1/ (如果开启SSL)
　　6、非默认端口，网址为http://127.0.0.1:端口/或https://127.0.0.1:端口/
　　7、如果在“扩展功能”中选择使用Memcached，它的端口为：11211
　　8、APMServ集成了以下软件：

　　Apache 2.2.9 【HTTP服务器】
　　Nginx 0.7.19 【HTTP服务器】
　　NetBox 2.8 Build 4128 【HTTP服务器＋ASP脚本解释引擎】
　　PHP 5.2.6 【PHP脚本解释引擎】
　　MiniPerl 5.8 【Perl脚本解释器】
　　Memcached 1.2.4 【key-value内存缓存系统】
　　MySQL 5.1.28 【MySQL数据库服务器】
　　MySQL 4.0.26 【MySQL数据库服务器】
　　phpMyAdmin 2.11.9.2 【MySQL数据库在线管理工具】
　　eAccelerator 0.9.5.3 【PHP脚本加速引擎】
　　ZendOptimizer 3.3.3 【PHP脚本加速引擎】
　　OpenSSL 0.9.8h 【HTTPS(SSL)安全传输协议】

　　附加组件：
　　㈠Perl、CGI支持（需下载ActivePerl）：
　　APMServ 5.2.6 附带的是MiniPerl，可以运行简单的Perl、CGI程序。如果运行复杂的Perl、CGI程序，请下载ActivePerl，安装在APMServ所在分区根目录下的usr目录中。假如APMServ所在目录为E:\APMServ5.2.6，则将ActivePerl的安装路径选为E:\usr
　　ActivePerl 5.8.8.819 for Windows 下载地址：[华军软件园] [中国站长站]

　　注意事项：
　　迅雷、Skype、PPLive、BT等软件启动后默认会占用80端口，导致Apache无法启动。解决方法：先关闭这些软件，启动完APMServ之后，再开启这些软件。

　　已知BUG修正：
　　1、无法启动Nginx的BUG修正方法
　　http://www.unixsns.com/space.php?uid=1&do=thread&id=51

　　使用教程（非官方）：
　　● 用APMServ一键快速搭建Apache+PHP+MySQL+Nginx+Memcached+ASP运行平台

　　软件截图：
　　㈠主界面：
　　

　　我发表在《PHPer》杂志第12期上的这篇文章──《Nginx 0.7.x + PHP 5.2.6（FastCGI）搭建胜过Apache十倍的Web服务器》，可能很多朋友已经提前看过，不过该杂志的其他文章也是非常不错的，值得一看。

　　《PHPer》杂志主页：http://phper.phpchina.com/

　　《PHPer》第12期下载：http://phper.phpchina.com/12/dl12.php?i=12

　　

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.10.06 转载请注明原文链接：http://blog.s135.com/read.php/371.htm]

　　今天花几分钟写的一个PHP小程序，用途是：无需给程序员开放服务器SSH帐号，只需通过Web浏览器即可从SVN版本库更新代码到Linux服务器的指定目录。如果有需要，可以给这段代码加个密码登录。

　　1、假设www、www是Apache或Nginx服务器的用户名和组，/data0/www/是网页文件存放根目录，执行以下shell命令：


　　2、创建文件svn_up.php：

　　UnixSNS──Linux/Unix技术工程师社交网络，结识更多的同行人，分享前沿的新技术。

　　http://www.unixsns.com

　　

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.09.21 转载请注明原文链接：http://blog.s135.com/post/369/]

　　9月20日下午，我应邀参加了 ChinaUnix 举办的以“如何搞定服务器负载均衡？”为主题的技术沙龙（http://linux.chinaunix.net/bbs/thread-1019366-1-1.html），很高兴能够跟诸多业界精英一起探讨交流，很荣幸能够与Unix资深系统工程师──田逸、HonestQiao，以及F5资深技术工程师──杨明非，同台演讲。

　　

---

　　《使用Nginx轻松实现开源负载均衡》是我的演讲PPT（PowerPiont），现提供下载。

　　PPT分为四个部分：
　　1、介绍Nginx的基本特征，以及使用Nginx做负载均衡器的理由。

　　2、用实例，来介绍Nginx负载均衡在大型网站的典型应用。

　　3、以实现网站动静分离为原型，对NetScaler硬件七层负载均衡和Nginx软件负载均衡做一个对比。

　　9月13日晚，我们亲临“鸟巢”观看北京残奥会田径比赛，现场激动万分。中国选手掀起夺金浪潮，共摘下五枚金牌，并破两项世界纪录。

　　● 女子铁饼F40级别的决赛中，中国选手孟根吉米素以二十八米零四的成绩夺冠，并且打破世界纪录。
　　● 女子二百米T36级别的比赛中，中国选手王芳以二十九秒五七的成绩获得金牌。
　　● 男子铅球F37-38级决赛中，中国选手夏东以十六米六零、一千一百零四分夺金，并破世界纪录。
　　● 男子一百米T35级决赛中，中国选手杨森以十二秒二九的成绩夺冠，并打破世界纪录，傅昕瀚以十二秒五五的成绩获得亚军。
　　● 男子二百米T53级轮椅竞速决赛上，中国小将余世然以二十六秒七九获得冠军。

　　远眺
　　

　　抵达
　　

　　今天，残奥会门票追加发售。我在奥运票务网站（http://www.tickets.beijing2008.cn），用招商银行的VISA信用卡，在线支付购得了7张“鸟巢”田径门票（其中我和老婆两张，其余为帮同事、朋友购买）。之后，在中国银行凭借身份证拿到了门票。我和老婆，还有即将来京的vivi，将去观看2008年9月13日（星期六）晚上17:00～21:45，在国家体育场（鸟巢）举行的残奥会田径决赛。

　　

　　2008年9月13日 17:00～21:45 田径项目：
　　女子 标枪 F57/58 决赛
　　女子 铁饼F40 决赛
　　男子 100米 T13 决赛
　　男子 100米 T35 决赛
　　男子 铅球 F37/38 决赛

　　本文已有最新版本：

　　请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》

---

　　[文章作者：张宴 本文版本：v4.14 最后修改：2009.04.14 转载请注明原文链接：http://blog.s135.com/nginx_php_v4/]

　　前言：本文是我撰写的关于搭建“Nginx + PHP（FastCGI）”Web服务器的第4篇文章。本系列文章作为国内最早详细介绍 Nginx + PHP 安装、配置、使用的资料之一，为推动 Nginx 在国内的发展产生了积极的作用。这是一篇关于Nginx 0.7.x系列版本的文章，安装、配置方式与第3篇文章相差不大，但配置参数有不同。Nginx 0.7.x系列版本虽然为开发版，但在很多大型网站的生产环境中已经使用。

　　链接：《2007年9月的第1版》、《2007年12月的第2版》、《2008年6月的第3版》

　　

　　Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。

　　Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，其中包括新浪博客、新浪播客、网易新闻等门户网站频道，六间房、56.com等视频分享网站，Discuz!官方论坛、水木社区等知名论坛，豆瓣、YUPOO相册、海内SNS、迅雷在线等新兴Web 2.0网站。

---

　　Nginx 的官方中文维基：http://wiki.codemongers.com/NginxChs

---

　　在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。

　　根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。

　　而这台 Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。

　　在3万并发连接下，访问Nginx 0.7.51 + PHP 5.2.8 (FastCGI) 服务器的PHP程序，仍然速度飞快。下图为Nginx的状态监控页面，显示的活动连接数为28457（关于Nginx的监控页配置，会在本文接下来所给出的Nginx配置文件中写明）：

　　

　　我生产环境下的两台Nginx + PHP5（FastCGI）服务器，跑多个一般复杂的纯PHP动态程序，单台Nginx + PHP5（FastCGI）服务器跑PHP动态程序的处理能力已经超过“700次请求/秒”，相当于每天可以承受6000万（700*60*60*24=60480000）的访问量（更多信息见此），而服务器的系统负载也不高：

　　

---

　　安装步骤：
　　（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 5.1，另在RedHat AS4上也安装成功）

　　8月25日，在三元桥租住的房子到期。由于老婆的新单位──经济日报旗下的中国经济网离三元桥有点远，于是，我们决定不再续租。我们在西直门新租了两居室中的一室。另一室住两个女孩，一个是网易的编辑，另一个在中国移动的12580工作。看来，又组成了一个互联网行业的小圈子。明天，我们将从三元桥搬家到西直门。联系好了搬家的车，60元，单号车牌。

　　西直门，或将成为我们北京租房之路的最后一站。明年6月，我们在清河小营──莱镇香格里购买的期房将予以交付。

　　西直门（远图纵览）
　　

　　8月19日消息，百度大规模拆空搜索服务器硬盘传闻获得百度官方证实，19日下午，百度宣布搜索服务器正式使用闪存（Flash Memory）技术代替硬盘并大规模商用，百度自称是全球首家服务器使用闪存技术的互联网公司。

　　这是否预示着一个新的存储时代的到来？

　　

　　相关新闻：
　　http://tech.sina.com.cn/i/2008-08-19/16072400910.shtml
　　http://tech.163.com/08/0819/14/4JNF85V1000915BF.html

　　[文章作者：张宴 本文版本：v1.4 最后修改：2010.06.11 转载请注明原文链接：http://blog.s135.com/read.php/362/]

　　Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。

　　

---

　　Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。

　　Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。

　　相比Memcachedb而言，Tokyo Tyrant具有以下优势：

　　1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。

　　

　　这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。

　　引用 memcached 官方网站和 PHP 手册中的两段话：

---

　　2、日志文件体积小：Tokyo Tyrant用于主辅同步的日志文件比较小，大约是数据库文件的1.3倍，而Memcachedb的同步日志文件非常大，如果不定期清理，很容易将磁盘写满。

---

　　3、超大数据量下表现出色：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.30 转载请注明原文链接：http://blog.s135.com/read.php/361/]

　　昨日，有朋友问我，他将Web服务器换成Nginx 0.6.31  + PHP 4.4.7（FastCGI）后，有时候访问会出现“502 Bad Gateway”错误，如何解决。

　　我让按照以下两个步骤去解决，最后在第2步中将FastCGI的timeout时间增加为300，问题解决：

　　PS：比较羡慕迅雷的Web服务器，16G内存。

---

　　1、查看当前的PHP FastCGI进程数是否够用：

　　如果实际使用的“FastCGI进程数”接近预设的“FastCGI进程数”，那么，说明“FastCGI进程数”不够用，需要增大。

---

　　2、部分PHP程序的执行时间超过了Nginx的等待时间，可以适当增加nginx.conf配置文件中FastCGI的timeout时间，例如：

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.27 转载请注明原文链接：http://blog.s135.com/post/360/]

　　前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。

　　在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条件进行SQL查询，速度非常之快，只耗费0.01秒。

　　出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。

　　基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。

---

　　一、搜索引擎架构设计：
　　1、搜索引擎架构图：
　　

　　2、搜索引擎架构设计思路：
　　(1)、调用方式最简化：
　　尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。

　　(2)、创建索引、查询速度快：
　　①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。
　　Sphinx的特征：
　　•Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）
　　•高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）
　　•高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）
　　•支持分布式检索
　　•支持基于短语和基于统计的复合结果排序机制
　　•支持任意数量的文件字段（数值属性或全文检索属性）
　　•支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）
　　•支持作为Mysql的存储引擎

　　②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：
　　

　　③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。
　　创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。

　　(3)、按服务类型进行分离：
　　为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。

　　(4)、“主索引＋增量索引”更新方式：
　　一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。
　　基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。

　　(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：
　　为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。

　　(6)、中文分词词库：
　　我根据“自整理的中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.24 转载请注明原文链接：http://blog.s135.com/post/359/]

　　写了一个shell脚本，可以在同一台Linux服务器的不同端口，运行多个MySQL服务的情况下，快捷启动、停止、重启、杀死指定端口的MySQL进程。


　　输入以下内容（因各服务器的MySQL配置不同，可能需要修改的部分已用红色标注）：


　　赋予脚本可执行权限：


　　脚本执行方法：

　　1、通过镜像站
　　http://mirror.optus.net/sourceforge/
　　http://www.mirrorservice.org/sites/download.sourceforge.net/pub/sourceforge/

　　2、通过Google代理（虽然是针对手机上网的，但是PC上的浏览器也可以访问）
　　http://www.google.com/gwt/n
　　http://www.google.com/gwt/n?u=http%3A%2F%2Fsourceforge.net

　　3、找国外代理服务器

　　4、名称以F开头的某软件（不便公布）