使用Varnish代替Squid做网站缓存加速器的详细解决方案[原创]
[
2007-11-29 22:11 | by 张宴 ]
2007-11-29 22:11 | by 张宴 ]
[文章作者：张宴 本文版本：v1.2 最后修改：2008.01.02 转载请注明出处：http://blog.s135.com]
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》，但当时仅仅是用着玩，没做深入研究。
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。
在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。
下面来安装Varnish网站缓存加速器（Linux系统）：
1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）：
一个发送HTML邮件的PHP函数[原创]
[ 2007-11-21 09:14 | by 张宴 ]
2007-11-21 09:14 | by 张宴 ]
写了一个简单的发送HTML邮件的PHP函数。
函数说明：send_mail("发件人地址", "收件人地址", "邮件主题", "邮件正文");
示例：send_mail($from, "info@s135.com", "这是邮件的主题", "<html><head></head><body><p><font color=red>这是邮件正文</font></p></body></html>");
代码如下：
函数说明：send_mail("发件人地址", "收件人地址", "邮件主题", "邮件正文");
示例：send_mail($from, "info@s135.com", "这是邮件的主题", "<html><head></head><body><p><font color=red>这是邮件正文</font></p></body></html>");
代码如下：
PHP多进程并发控制的测试用例[原创]
[ 2007-11-16 14:32 | by 张宴 ]
2007-11-16 14:32 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.11.16 转载请注明出处：http://blog.s135.com]
最近遇到一个问题，Linux下的PHP命令行程序作为守护进程，需要从队列文件中读一行数据，通过TCP协议发送给外地的接收服务器，再读下一行数据，再发送。当本地与外地的网络状况不好时，有时候发送一条数据所耗费的时间就较长，累积起来容易造成队列堵塞和延迟。
于是，我准备用该PHP命令行程序生成多个子进程，将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行，例如：
但是这样会有一个问题，如果推到后台的进程太多，可能会导致服务器系统资源耗尽而崩溃，所以必须控制进程数量。
我写了一个PHP程序（/opt/zhangyan.php）、一个shell程序（/opt/zhangyan.sh）作为测试用例。
程序的逻辑：
1、设置/opt/zhangyan.php最多允许生成500个子进程；
2、当/opt/zhangyan.php读取到一条数据后，将允许生成的子进程数减1（空闲进程数$p_number=500-1=499），然后将数据交给/opt/zhangyan.sh去后台处理，不等待/opt/zhangyan.sh处理结束，继续读取下一条数据；
3、当允许生成的子进程数减至0时（空闲进程数$p_number=0），/opt/zhangyan.php会等待1秒钟，然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束；
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500（空闲进程数$p_number=0），会继续等待1秒钟，如此反复；
5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了（空闲进程数$p_number=500-300=200），那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进程；
最近遇到一个问题，Linux下的PHP命令行程序作为守护进程，需要从队列文件中读一行数据，通过TCP协议发送给外地的接收服务器，再读下一行数据，再发送。当本地与外地的网络状况不好时，有时候发送一条数据所耗费的时间就较长，累积起来容易造成队列堵塞和延迟。
于是，我准备用该PHP命令行程序生成多个子进程，将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行，例如：
<?php
exec("/bin/sh /opt/zhangyan.sh &");
?>
最后的&表示将shell脚本推到后台去执行。exec("/bin/sh /opt/zhangyan.sh &");
?>
但是这样会有一个问题，如果推到后台的进程太多，可能会导致服务器系统资源耗尽而崩溃，所以必须控制进程数量。
我写了一个PHP程序（/opt/zhangyan.php）、一个shell程序（/opt/zhangyan.sh）作为测试用例。
程序的逻辑：
1、设置/opt/zhangyan.php最多允许生成500个子进程；
2、当/opt/zhangyan.php读取到一条数据后，将允许生成的子进程数减1（空闲进程数$p_number=500-1=499），然后将数据交给/opt/zhangyan.sh去后台处理，不等待/opt/zhangyan.sh处理结束，继续读取下一条数据；
3、当允许生成的子进程数减至0时（空闲进程数$p_number=0），/opt/zhangyan.php会等待1秒钟，然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束；
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500（空闲进程数$p_number=0），会继续等待1秒钟，如此反复；
5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了（空闲进程数$p_number=500-300=200），那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进程；
找到一款批量清除Squid缓存的小工具
[ 2007-11-2 17:49 | by 张宴 ]
2007-11-2 17:49 | by 张宴 ]
以前我写过一篇《清除指定squid缓存文件的脚本》，但在取URL时存在10%的错误率。如今找到一款老外的程序，可以批量清除某类URL的Squid缓存，支持正则表达式。
下载网址：http://www.wa.apana.org.au/~dean/squidpurge/
编译：
清除Squid缓存示例：
1、清除 URL 以“.mp3”结尾的缓存文件（例如 http://www.s135.com/abc.mp3、http://www.s135.com/01/a.mp3）
2、清除URL中包含s135.com的所有缓存：
我喜欢将程序推到后台去执行，让它慢慢地去清Squid缓存，同时将输出内容记录到purge.log文件：
下载网址：http://www.wa.apana.org.au/~dean/squidpurge/
编译：
引用
wget http://www.wa.apana.org.au/~dean/sources/purge-20040201-src.tar.gz
tar zxvf purge-20040201-src.tar.gz
cd purge
make
tar zxvf purge-20040201-src.tar.gz
cd purge
make
清除Squid缓存示例：
1、清除 URL 以“.mp3”结尾的缓存文件（例如 http://www.s135.com/abc.mp3、http://www.s135.com/01/a.mp3）
引用
./purge -p localhost:80 -P 1 -se '\.mp3$'
2、清除URL中包含s135.com的所有缓存：
引用
./purge -p localhost:80 -P 1 -se 's135.com'
我喜欢将程序推到后台去执行，让它慢慢地去清Squid缓存，同时将输出内容记录到purge.log文件：
引用
./purge -p localhost:80 -P 1 -se 's135.com' > purge.log 2>&1 &
我所熟悉的网站负载均衡技术[原创]
[ 2007-11-1 22:29 | by 张宴 ]
2007-11-1 22:29 | by 张宴 ]
DNS轮循
DNS轮循是指将相同的域名解释到不同的IP，随机使用其中某台主机的技术。但其具有明显的缺点：一旦某个服务器出现故障，即使及时修改了DNS设置，还是要等待足够的时间（刷新时间）才能发挥作用，在此期间，保存了故障服务器地址的客户计算机将不能正常访问服务器。DNS负载均衡采用的是简单的轮循负载算法，不能区分服务器的差异，不能反映服务器的当前运行状态，不能做到为性能较好的服务器多分配请求，甚至会出现客户请求集中在某一台服务器上的情况。
F5 BIG-IP
简介：F5 Networks 公司的著名硬件负载均衡交换机。支持硬件四层、七层交换。不同的型号性能不同，BIG-IP 6400可以支持800万条并发连接，低一点型号的可以支持400万条以上的并发连接。性能极高，但价格也不菲。
价格：BIG-IP 6400的价格在16万元人民币左右。
网址：http://www.f5.com.cn/（中国） http://www.f5.com/（全球）
LVS（Linux Virtual Server）
简介：软件四层交换。LVS是在Linux内核中作四层交换，只花128个字节记录一个连接信息，不涉及到文件句柄操作，故没有65535最大文件句柄数的限制。LVS性能很高，可以支持100～400万条并发连接。
价格：免费、开源
网址：http://zh.linuxvirtualserver.org/
L7SW（Layer7 switching）
简介：软件七层交换。这是一款类似LVS的新负载均衡软件，我没有实际应用过，性能未知，因此不作评价。这是它的英文介绍：Layer7 switching is driving a low-level engine using networking design to speed-up forwarding of data stream. Implementation in this project is split into a userspace daemon and a low-level kernelspace forwarding engine. Userspace daemon is responsible for scheduling and switching decisions. Kernelspace forwarding engine is responsible for forwarding stream and using TCP-Splicing scheme. TCP-Splicing is the postponement of the connection between the client and the server in order to obtain sufficient information to make a routing decision. This project is close to Linux Virtual Server project since lot of discusions on this topics have been made online and offline LVS project.
价格：免费、开源
网址：http://www.linux-l7sw.org/
HAProxy
简介：软件七层交换，反向代理服务器。目前还不支持虚拟主机，但其配置简单，拥有非常不错的服务器健康检查功能，当其代理的后端服务器出现故障，HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。另外，HAProxy还支持双机热备。我曾经用过一段时间，能支持2～3万条并发连接。现在我用它做普通的小并发负载均衡，主要用到的是它的服务器健康检查功能。
价格：免费、开源
网址：http://haproxy.1wt.eu/
Nginx
简介：软件七层交换，反向代理服务器。能够很好地支持虚拟主机，可配置性很强，可以按URL做负载均衡。我目前一直在用，大约能支持3～5万条并发连接。
价格：免费、开源
网址：http://wiki.codemongers.com/NginxChs（中文维基）
DNS轮循是指将相同的域名解释到不同的IP，随机使用其中某台主机的技术。但其具有明显的缺点：一旦某个服务器出现故障，即使及时修改了DNS设置，还是要等待足够的时间（刷新时间）才能发挥作用，在此期间，保存了故障服务器地址的客户计算机将不能正常访问服务器。DNS负载均衡采用的是简单的轮循负载算法，不能区分服务器的差异，不能反映服务器的当前运行状态，不能做到为性能较好的服务器多分配请求，甚至会出现客户请求集中在某一台服务器上的情况。
F5 BIG-IP
简介：F5 Networks 公司的著名硬件负载均衡交换机。支持硬件四层、七层交换。不同的型号性能不同，BIG-IP 6400可以支持800万条并发连接，低一点型号的可以支持400万条以上的并发连接。性能极高，但价格也不菲。价格：BIG-IP 6400的价格在16万元人民币左右。
网址：http://www.f5.com.cn/（中国） http://www.f5.com/（全球）
LVS（Linux Virtual Server）
简介：软件四层交换。LVS是在Linux内核中作四层交换，只花128个字节记录一个连接信息，不涉及到文件句柄操作，故没有65535最大文件句柄数的限制。LVS性能很高，可以支持100～400万条并发连接。
价格：免费、开源
网址：http://zh.linuxvirtualserver.org/
L7SW（Layer7 switching）
简介：软件七层交换。这是一款类似LVS的新负载均衡软件，我没有实际应用过，性能未知，因此不作评价。这是它的英文介绍：Layer7 switching is driving a low-level engine using networking design to speed-up forwarding of data stream. Implementation in this project is split into a userspace daemon and a low-level kernelspace forwarding engine. Userspace daemon is responsible for scheduling and switching decisions. Kernelspace forwarding engine is responsible for forwarding stream and using TCP-Splicing scheme. TCP-Splicing is the postponement of the connection between the client and the server in order to obtain sufficient information to make a routing decision. This project is close to Linux Virtual Server project since lot of discusions on this topics have been made online and offline LVS project.
价格：免费、开源
网址：http://www.linux-l7sw.org/
HAProxy
简介：软件七层交换，反向代理服务器。目前还不支持虚拟主机，但其配置简单，拥有非常不错的服务器健康检查功能，当其代理的后端服务器出现故障，HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。另外，HAProxy还支持双机热备。我曾经用过一段时间，能支持2～3万条并发连接。现在我用它做普通的小并发负载均衡，主要用到的是它的服务器健康检查功能。
价格：免费、开源
网址：http://haproxy.1wt.eu/
Nginx
简介：软件七层交换，反向代理服务器。能够很好地支持虚拟主机，可配置性很强，可以按URL做负载均衡。我目前一直在用，大约能支持3～5万条并发连接。
价格：免费、开源
网址：http://wiki.codemongers.com/NginxChs（中文维基）
Nginx 简单的负载均衡配置示例[原创]
[ 2007-10-29 20:50 | by 张宴 ]
2007-10-29 20:50 | by 张宴 ]
www.s135.com 和 blog.s135.com 域名均指向 Nginx 所在的服务器IP。
用户访问http://www.s135.com，将其负载均衡到192.168.1.2:80、192.168.1.3:80、192.168.1.4:80、192.168.1.5:80四台服务器。
用户访问http://blog.s135.com，将其负载均衡到192.168.1.7服务器的8080、8081、8082端口。
以下为配置文件nginx.conf：
用户访问http://www.s135.com，将其负载均衡到192.168.1.2:80、192.168.1.3:80、192.168.1.4:80、192.168.1.5:80四台服务器。
用户访问http://blog.s135.com，将其负载均衡到192.168.1.7服务器的8080、8081、8082端口。
以下为配置文件nginx.conf：
Nginx 0.5.31 + PHP 5.2.4（FastCGI）搭建可承受3万以上并发连接数，胜过Apache 10倍的Web服务器[原创]
[ 2007-9-24 18:56 | by 张宴 ]
2007-9-24 18:56 | by 张宴 ]
本文已有最新版本：
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v1.3 最后修改：2007.11.06 转载请注明出处：http://blog.s135.com]
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
以下是 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下的TCP状况：
各种状态TCP连接数如下（各项值所代表的含义见我的另一篇文章《查看Apache并发请求数及其TCP连接状态》）：
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗100M内存（20MB*10=100M），开启的250个php-cgi进程消耗1G内存（4MB*250≈1GB），加上系统自身消耗的内存，总共才消耗2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才100M。在开启25个php-cgi进程的情况下，每分钟的处理能力只比开启250个php-cgi进程时低了不到一半。
以下为 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和250个php-cgi进程时的系统负载情况：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）
一、获取相关开源程序：
1、下载程序源码包到当前目录：
本文中提到的所有开源软件为截止到2007年9月21日的最新稳定版。我将它们打了两个压缩包。
请点击《Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建胜过Apache十倍的Web服务器（第6版）》
[文章作者：张宴 本文版本：v1.3 最后修改：2007.11.06 转载请注明出处：http://blog.s135.com]
Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。
Nginx 的中文维基：http://wiki.codemongers.com/NginxChs
在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果，Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 可以承受3万以上的并发连接数，相当于同等环境下Apache的10倍。
以下是 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下的TCP状况：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
各种状态TCP连接数如下（各项值所代表的含义见我的另一篇文章《查看Apache并发请求数及其TCP连接状态》）：
引用
LAST_ACK 1
SYN_RECV 991
CLOSE_WAIT 1
ESTABLISHED 18789
FIN_WAIT1 1478
FIN_WAIT2 181
TIME_WAIT 506
SYN_RECV 991
CLOSE_WAIT 1
ESTABLISHED 18789
FIN_WAIT1 1478
FIN_WAIT2 181
TIME_WAIT 506
根据我的经验，4GB内存的服务器+Apache（prefork模式）一般只能处理3000个并发连接，因为它们将占用3GB以上的内存，还得为系统预留1GB的内存。我曾经就有两台Apache服务器，因为在配置文件中设置的MaxClients为4000，当Apache并发连接数达到3800时，导致服务器内存和Swap空间用满而崩溃。
而这台 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程消耗100M内存（20MB*10=100M），开启的250个php-cgi进程消耗1G内存（4MB*250≈1GB），加上系统自身消耗的内存，总共才消耗2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才100M。在开启25个php-cgi进程的情况下，每分钟的处理能力只比开启250个php-cgi进程时低了不到一半。
以下为 Nginx 0.5.31 + PHP 5.2.4 (FastCGI) 服务器在3万并发连接下，开启的10个Nginx进程和250个php-cgi进程时的系统负载情况：
安装步骤：
（系统要求：Linux 2.6+ 内核，本文中的Linux操作系统为CentOS 4.4）
一、获取相关开源程序：
1、下载程序源码包到当前目录：
本文中提到的所有开源软件为截止到2007年9月21日的最新稳定版。我将它们打了两个压缩包。
准备转化“故障转移群集解决方案”理论为实践
[ 2007-9-21 19:18 | by 张宴 ]
2007-9-21 19:18 | by 张宴 ]
在微软的MSDN网站上看到一篇理论文章《Failover Cluster（故障转移群集） 》，文中的故障转移群集解决方案，有点类似两台 F5 BIG-IP 负载均衡交换机通过串口线进行心跳检测的互备模式，对我来说很有参考价值。
最近打算写一套基于Linux系统的实际应用方案，在两台Web服务器之间实现故障转移：用户实际访问的IP地址是“x.x.1.10”，两台服务器自动切换用Linux的IP别名来实现，当主服务器“x.x.1.1”正常时，主服务器的IP别名“x.x.1.10”对外提供服务，当两台服务器之间的心跳检测程序发现主服务器“x.x.1.1”发生故障或死机时，会停掉主服务器“x.x.1.1”的IP别名“x.x.1.10”（主服务器死机时该IP别名会自动消失），而由备用服务器“x.x.1.2”启用相同的IP别名“x.x.1.10”来接替主服务器提供服务；“信号”打算自己写一个心跳检测程序来实现；共享数据部分还没想好用什么方式来实现，NFS吗？不知道NFS在高负载读写下的性能如何？
附：故障转移群集解决方案
第一台服务器 (Database01) 是处理所有事务的活动服务器。 仅当 Database01 发生故障时，处于空闲状态的第二台服务器 (Database02) 才会处理事务。 群集将一个虚拟 IP 地址和主机名 (Database10) 在客户端和应用程序所使用的网络上公开。
注意：您可以将此设计扩展为包括多台活动服务器（除了所示的服务器外），要么使它们共享单个备用服务器，要么将每个活动服务器配置为另一个活动服务器的备用服务器。
最近打算写一套基于Linux系统的实际应用方案，在两台Web服务器之间实现故障转移：用户实际访问的IP地址是“x.x.1.10”，两台服务器自动切换用Linux的IP别名来实现，当主服务器“x.x.1.1”正常时，主服务器的IP别名“x.x.1.10”对外提供服务，当两台服务器之间的心跳检测程序发现主服务器“x.x.1.1”发生故障或死机时，会停掉主服务器“x.x.1.1”的IP别名“x.x.1.10”（主服务器死机时该IP别名会自动消失），而由备用服务器“x.x.1.2”启用相同的IP别名“x.x.1.10”来接替主服务器提供服务；“信号”打算自己写一个心跳检测程序来实现；共享数据部分还没想好用什么方式来实现，NFS吗？不知道NFS在高负载读写下的性能如何？
附：故障转移群集解决方案
第一台服务器 (Database01) 是处理所有事务的活动服务器。 仅当 Database01 发生故障时，处于空闲状态的第二台服务器 (Database02) 才会处理事务。 群集将一个虚拟 IP 地址和主机名 (Database10) 在客户端和应用程序所使用的网络上公开。
注意：您可以将此设计扩展为包括多台活动服务器（除了所示的服务器外），要么使它们共享单个备用服务器，要么将每个活动服务器配置为另一个活动服务器的备用服务器。
Linux索引节点(inode)用满导致的一次故障[原创]
[ 2007-9-12 18:50 | by 张宴 ]
2007-9-12 18:50 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.09.12 转载请注明出处：http://blog.s135.com]
一、发现问题：
在一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。
二、分析问题：
后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。
inode译成中文就是索引节点，每个存储设备（例如硬盘）或存储设备的分区被格式化为文件系统后，应该有两部份，一部份是inode，另一部份是Block，Block是用来存储数据用的。而inode呢，就是用来存储这些数据的信息，这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引，所以就有了inode的数值。操作系统根据指令，能通过inode值最快的找到相对应的文件。
而这台服务器的Block虽然还有剩余，但inode已经用满，因此在创建新目录或文件时，系统提示磁盘空间不足。
三、查找原因：
/data/cache目录中存在数量非常多的小字节缓存文件，占用的Block不多，但是占用了大量的inode。
四、解决方案：
1、删除/data/cache目录中的部分文件，释放出/data分区的一部分inode。
2、用软连接将空闲分区/opt中的newcache目录连接到/data/cache，使用/opt分区的inode来缓解/data分区inode不足的问题：
ln -s /opt/newcache /data/cache
3、更换服务器，用高配置的服务器替换低配置的服务器。很多时候用钱去解决问题比用技术更有效，堆在我办公桌上5台全新的 DELL PowerEdge 1950 服务器即将运往IDC机房。
一、发现问题：
在一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。
二、分析问题：
后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。
inode译成中文就是索引节点，每个存储设备（例如硬盘）或存储设备的分区被格式化为文件系统后，应该有两部份，一部份是inode，另一部份是Block，Block是用来存储数据用的。而inode呢，就是用来存储这些数据的信息，这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引，所以就有了inode的数值。操作系统根据指令，能通过inode值最快的找到相对应的文件。
而这台服务器的Block虽然还有剩余，但inode已经用满，因此在创建新目录或文件时，系统提示磁盘空间不足。
三、查找原因：
/data/cache目录中存在数量非常多的小字节缓存文件，占用的Block不多，但是占用了大量的inode。
四、解决方案：
1、删除/data/cache目录中的部分文件，释放出/data分区的一部分inode。
2、用软连接将空闲分区/opt中的newcache目录连接到/data/cache，使用/opt分区的inode来缓解/data分区inode不足的问题：
ln -s /opt/newcache /data/cache
3、更换服务器，用高配置的服务器替换低配置的服务器。很多时候用钱去解决问题比用技术更有效，堆在我办公桌上5台全新的 DELL PowerEdge 1950 服务器即将运往IDC机房。
为Apache配置mod_deflat压缩输出[原创]
[ 2007-9-10 10:29 | by 张宴 ]
2007-9-10 10:29 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.09.10 转载请注明出处：http://blog.s135.com]
1、如果未安装Apache。编译时，加上--enable-deflate，例如：（仅针对Linux版，Windows版无须此步骤）
./configure --prefix=/usr/local/apache --enable-rewrite --enable-so --enable-deflate
2、如果已安装Apache。添加mod_deflate模块，例如：（仅针对Linux版，Windows版无须此步骤）
/usr/local/apache/bin/apxs -i -a -c /home/zhangyan/software/httpd-2.0.59/modules/filters/mod_deflate.c
注：/home/zhangyan/software/httpd-2.0.59/为Apache源码路径。
3、进行以上步骤后，会在httpd.conf中自动加入一行：（Windows版请将下行最前面的#号去掉）
4、编辑httpd.conf，增加：
Linux版：
Windows版：
如果将#号去掉，可以在logs/deflate_log.log日志文件中看到文件压缩前后的字节数、压缩比，例如：
"GET /index.html HTTP/1.1" 49373/276249 (17%)
压缩前的字节数为276249，压缩后的字节数为49373，压缩比为17%
5、详细配置见Apache官方网站：http://httpd.apache.org/docs/2.0/mod/mod_deflate.html
1、如果未安装Apache。编译时，加上--enable-deflate，例如：（仅针对Linux版，Windows版无须此步骤）
./configure --prefix=/usr/local/apache --enable-rewrite --enable-so --enable-deflate
2、如果已安装Apache。添加mod_deflate模块，例如：（仅针对Linux版，Windows版无须此步骤）
/usr/local/apache/bin/apxs -i -a -c /home/zhangyan/software/httpd-2.0.59/modules/filters/mod_deflate.c
注：/home/zhangyan/software/httpd-2.0.59/为Apache源码路径。
3、进行以上步骤后，会在httpd.conf中自动加入一行：（Windows版请将下行最前面的#号去掉）
引用
LoadModule deflate_module modules/mod_deflate.so
4、编辑httpd.conf，增加：
Linux版：
引用
<ifmodule mod_deflate.c>
DeflateCompressionLevel 9
SetOutputFilter DEFLATE
#DeflateFilterNote Input instream
#DeflateFilterNote Output outstream
#DeflateFilterNote Ratio ratio
#LogFormat '"%r" %{outstream}n/%{instream}n (%{ratio}n%%)' deflate
#CustomLog logs/deflate_log.log deflate
</ifmodule>
DeflateCompressionLevel 9
SetOutputFilter DEFLATE
#DeflateFilterNote Input instream
#DeflateFilterNote Output outstream
#DeflateFilterNote Ratio ratio
#LogFormat '"%r" %{outstream}n/%{instream}n (%{ratio}n%%)' deflate
#CustomLog logs/deflate_log.log deflate
</ifmodule>
Windows版：
引用
<ifmodule deflate_module>
DeflateCompressionLevel 9
SetOutputFilter DEFLATE
#DeflateFilterNote Input instream
#DeflateFilterNote Output outstream
#DeflateFilterNote Ratio ratio
#LogFormat '"%r" %{outstream}n/%{instream}n (%{ratio}n%%)' deflate
#CustomLog logs/deflate_log.log deflate
</ifmodule>
DeflateCompressionLevel 9
SetOutputFilter DEFLATE
#DeflateFilterNote Input instream
#DeflateFilterNote Output outstream
#DeflateFilterNote Ratio ratio
#LogFormat '"%r" %{outstream}n/%{instream}n (%{ratio}n%%)' deflate
#CustomLog logs/deflate_log.log deflate
</ifmodule>
如果将#号去掉，可以在logs/deflate_log.log日志文件中看到文件压缩前后的字节数、压缩比，例如：
"GET /index.html HTTP/1.1" 49373/276249 (17%)
压缩前的字节数为276249，压缩后的字节数为49373，压缩比为17%
5、详细配置见Apache官方网站：http://httpd.apache.org/docs/2.0/mod/mod_deflate.html
写完“Linux服务器监控系统 ServMon V1.1”[原创]
[ 2007-8-31 18:23 | by 张宴 ]
2007-8-31 18:23 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2007.08.31 转载请注明出处：http://blog.s135.com]
8月3日，我写了“Linux服务器监控系统 ServMon V1.0”，今天，ServMon V1.1 版本亮相。
ServMon的原理是用shell脚本定时抓取被监控Linux服务器上的信息，再用curl POST到监控机的PHP接口程序上，由PHP接口程序对信息进行分析，如果存在异常，则发送报警邮件给管理员。报警邮件演示页面请见：http://blog.s135.com/read.php/276.htm
ServMon V1.1 在 1.0 的基础上，增加了对Linux系统负载的监控，并编写了客户端自动安装包：
1、被监控端服务器（Linux）
(1)、下载并安装ServMon Client
注：此处的password为interface.php程序中设置的数据传输验证密码。
客户端安装包源码：
│
├─install
├─[src]
│ ├─[bin]
│ │ ├─diskstat_send
│ │ ├─loadstat_send
│ │ └─swapstat_send
│ ├─[cron]
│ │ └─servmon
│ └─[data]
屏幕演示：
8月3日，我写了“Linux服务器监控系统 ServMon V1.0”，今天，ServMon V1.1 版本亮相。
ServMon的原理是用shell脚本定时抓取被监控Linux服务器上的信息，再用curl POST到监控机的PHP接口程序上，由PHP接口程序对信息进行分析，如果存在异常，则发送报警邮件给管理员。报警邮件演示页面请见：http://blog.s135.com/read.php/276.htm
ServMon V1.1 在 1.0 的基础上，增加了对Linux系统负载的监控，并编写了客户端自动安装包：
1、被监控端服务器（Linux）
(1)、下载并安装ServMon Client
引用
wget http://blog.s135.com/soft/linux/servmon/servmon-1.1.linux.tar.gz
tar zxvf servmon-1.1.linux.tar.gz
cd servmon-1.1
./install -i http://yourdomain/servmon/interface.php password
tar zxvf servmon-1.1.linux.tar.gz
cd servmon-1.1
./install -i http://yourdomain/servmon/interface.php password
注：此处的password为interface.php程序中设置的数据传输验证密码。
客户端安装包源码：
│
├─install
├─[src]
│ ├─[bin]
│ │ ├─diskstat_send
│ │ ├─loadstat_send
│ │ └─swapstat_send
│ ├─[cron]
│ │ └─servmon
│ └─[data]
屏幕演示：
初步试用Squid的替代产品──Varnish Cache网站加速器[原创]
[ 2007-8-29 18:45 | by 张宴 ]
2007-8-29 18:45 | by 张宴 ]
Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。
Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是Varnish cache设计架构。
Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。
1、编译安装varnish HTTP加速器：
2、简单启动varnish守护进程，用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器：
Varnish官方网站：http://www.varnish-cache.org/
另有一份PDF文档，说明Varnish原理的：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384
我测试了一下，在同等配置环境下，Varnish的性能确实要超过Squid，稳定性也不错，值得继续去深入研究。
Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是Varnish cache设计架构。
Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。
1、编译安装varnish HTTP加速器：
引用
wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.1.tar.gz
tar zxvf varnish-1.1.1.tar.gz
cd varnish-1.1.1
./configure --prefix=/usr/local/varnish
make && make install
tar zxvf varnish-1.1.1.tar.gz
cd varnish-1.1.1
./configure --prefix=/usr/local/varnish
make && make install
2、简单启动varnish守护进程，用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器：
引用
/usr/local/varnish/sbin/varnishd -a :8080 -b 127.0.0.1:81 -p thread_pool_max=1500 -p thread_pools=5 -p listen_depth=512 -p client_http11=on -w 1,10000,120
Varnish官方网站：http://www.varnish-cache.org/
另有一份PDF文档，说明Varnish原理的：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384
我测试了一下，在同等配置环境下，Varnish的性能确实要超过Squid，稳定性也不错，值得继续去深入研究。
找到一款不错的网站压力测试工具webbench[原创]
[ 2007-8-28 09:39 | by 张宴 ]
2007-8-28 09:39 | by 张宴 ]
webbench最多可以模拟3万个并发连接去测试网站的负载能力，个人感觉要比Apache自带的ab压力测试工具好，安装使用也特别方便。
1、适用系统：Linux
2、编译安装：
3、使用： 参数说明：-c表示并发数，-t表示时间(秒)
4、测试结果示例：
1、适用系统：Linux
2、编译安装：
引用
wget http://blog.s135.com/soft/linux/webbench/webbench-1.5.tar.gz
tar zxvf webbench-1.5.tar.gz
cd webbench-1.5
make && make install
tar zxvf webbench-1.5.tar.gz
cd webbench-1.5
make && make install
3、使用：
引用
webbench -c 500 -t 30 http://127.0.0.1/test.jpg
4、测试结果示例：
引用
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://127.0.0.1/test.jpg
500 clients, running 30 sec.
Speed=3230 pages/min, 11614212 bytes/sec.
Requests: 1615 susceed, 0 failed.
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://127.0.0.1/test.jpg
500 clients, running 30 sec.
Speed=3230 pages/min, 11614212 bytes/sec.
Requests: 1615 susceed, 0 failed.
IP别名+TCP转发+端口映射实现跨网络访问[原创]
[ 2007-8-21 18:46 | by 张宴 ]
2007-8-21 18:46 | by 张宴 ]
[文章作者：张宴 本文版本：v1.0 最后修改：2007.08.21 转载请注明出处：http://blog.s135.com]
我这两天在工作中遇到了一些问题，在今天下午全部解决，于是决定写一篇文章，将实现方法记录下来：
一、背景环境：
1、都是Linux服务器；
2、“服务器A”与“服务器C”不在同一网络，两者之间是不通的；
3、“服务器A”、“服务器C”分别与“服务器B”相通。
二、要实现的需求：
1、让“服务器A”上的PHP程序能够连接“服务器C”上的MySQL数据库（IP：10.10.1.4，端口：3306）；
2、不允许在“服务器A”上的PHP程序中更改MySQL地址（10.10.1.4）和MySQL端口（3306）。
三、实现原理：
理论上从“服务器A”是无法直接连接“服务器C”的IP地址（10.10.1.4）及其3306端口的【图中的虚线】，但通过“IP别名+TCP转发+端口映射”，我在“服务器A”上的PHP程序无须作任何修改的情况下实现了这项功能【图中的实线】。
访问路线：“服务器A”上的PHP程序─→虚拟10.10.1.4:3306─→192.168.1.3:8520─→真实10.10.1.4:3306
四、实现方法：
我这两天在工作中遇到了一些问题，在今天下午全部解决，于是决定写一篇文章，将实现方法记录下来：
一、背景环境：
1、都是Linux服务器；
2、“服务器A”与“服务器C”不在同一网络，两者之间是不通的；
3、“服务器A”、“服务器C”分别与“服务器B”相通。
二、要实现的需求：
1、让“服务器A”上的PHP程序能够连接“服务器C”上的MySQL数据库（IP：10.10.1.4，端口：3306）；
2、不允许在“服务器A”上的PHP程序中更改MySQL地址（10.10.1.4）和MySQL端口（3306）。
三、实现原理：
理论上从“服务器A”是无法直接连接“服务器C”的IP地址（10.10.1.4）及其3306端口的【图中的虚线】，但通过“IP别名+TCP转发+端口映射”，我在“服务器A”上的PHP程序无须作任何修改的情况下实现了这项功能【图中的实线】。
访问路线：“服务器A”上的PHP程序─→虚拟10.10.1.4:3306─→192.168.1.3:8520─→真实10.10.1.4:3306
四、实现方法：
采用curl库在PHP程序之间传递数组[原创]
[ 2007-8-16 18:59 | by 张宴 ]
2007-8-16 18:59 | by 张宴 ]
[文章作者：张宴 本文版本：v1.1 最后修改：2007.08.23 转载请注明出处：http://blog.s135.com]
最近在工作中遇到一个问题：a.php程序需要将接收到的数据同时写到“线上运行的正式数据库”和“进行开发调试的测试数据库”。而测试数据库可能经常会面临对表结构、字段、配置信息做调整等问题，很不稳定，发生错误的概率很高，如果用a.php程序同时写“正式数据库”和“测试数据库”，势必影响到线上运行的正式服务。
于是，我想到用PHP curl扩展库将生成的$data数组post传递一份给b.php程序，然后a.php程序继续往下执行写“正式数据库”的代码。a.php程序将$data数组传递给b.php程序就完事了，至于b.php如何处理，就不关a.php的事了，b.php程序即使写“测试数据库”失败，也不会对a.php程序造成影响。
按照这种思路，我写了a.php和b.php的代码：
a.php程序源代码：
最近在工作中遇到一个问题：a.php程序需要将接收到的数据同时写到“线上运行的正式数据库”和“进行开发调试的测试数据库”。而测试数据库可能经常会面临对表结构、字段、配置信息做调整等问题，很不稳定，发生错误的概率很高，如果用a.php程序同时写“正式数据库”和“测试数据库”，势必影响到线上运行的正式服务。
于是，我想到用PHP curl扩展库将生成的$data数组post传递一份给b.php程序，然后a.php程序继续往下执行写“正式数据库”的代码。a.php程序将$data数组传递给b.php程序就完事了，至于b.php如何处理，就不关a.php的事了，b.php程序即使写“测试数据库”失败，也不会对a.php程序造成影响。
按照这种思路，我写了a.php和b.php的代码：
a.php程序源代码：
![订阅回忆未来[张宴]的博客](http://pic1.s135.com/images/rewin/rss.gif)
