一、分布式实现原理

如上图所示，主要通过Apache-Server作为中转服务器，实现多个tomcat服务器之间的分布式处理，用户直接请求Apache-Server，然后Apache-Server会将请求分发到具体的tomcat-server，之后tomcat-server响应客户请求并返回结果到Apache-Server，最后Apache-Server返回结果给用户

二、负载均衡

文件说明：

mod_jk.conf

主要定义mod_jk模块的位置以及mod_jk模块的连接日志设置，还有定义worker.properties文件的位置。

worker.properties
定义worker的参数，主要是连接tomcat主机的地址和端口信息。如果Tomcat与apache不在同一台机器上，或者需要做多台机器上tomcat的负载均衡只需要更改workers.properties文件中的相应定义即可。

％APACHE_HOME％为你的安装目录

环境说明：

主要使用了一个Apache Server和两个Tomcat5.5，在同一台电脑上进行测试。

1. 准备软件

Jdk1.6

下载地址：http://java.sun.com

tomcat -6.0.29

下载地址：http://jakarta.apache.org

apache_2.2.4-win32-x86-no_ssl.msi

下载地址：http://httpd.apache.org/download.cgi

mod_jk-1.2.31-httpd-2.0.52.so (主要作用是建立Apache Server与Tomcat之间的连接)

下载地址：http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

说明：apache-server安装完成后，可以在浏览器中输入http://localhost/来测试，如果出现” It works!”则表示安装成功。

2. 安装mod_jk连接模块

安装好Jdk、tomcat、apache后,加入mod_jk连接模块，就是把mod_jk-1.2.31-httpd-2.2.3.so文件拷贝到％APACHE_HOME％\modules下，把jk模块的配置放到单独的文件中来，在％APACHE_HOME％\conf目录新建mod_jk.conf、workers.properties文件。

在httpd.conf最后加上：

# JK module settings

Include conf/mod_jk.conf

说明：以上表示将mod_jk.conf配置文件包含进来

3. 修改mod_jk.conf文件

为了保持httpd.conf文件的简洁，把jk模块的配置放到单独的文件中来。

在mod_jk.conf文件中添加以下内容：

# Load mod_jk2 module

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so

# Where to find workers.properties(引用workers配置文件)

JkWorkersFile conf/workers.properties

# Where to put jk logs(log文件路径)

JkLogFile logs/mod_jk2.log

# Set the jk log level [debug/error/info](log级别)

JkLogLevel info

# Select the log format(log格式)

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

# JkOptions indicate to send SSL KEY SIZE,

JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format

JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer(URL转发配置，匹配的URL才转发到tomcat进行处理)

JkMount /*.jsp controller

# JkMount /*.* loadBalancer

4. 修改workers.properties文件

在workers.properties文件中添加以下内容：

#server 列表

worker.list = controller,tomcat1,tomcat2

# tomcat1(ajp13 端口号，在tomcat下server.xml配置,默认8009)

worker.tomcat1.port=8009

#tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

#server的加权比重，值越高，分得的请求越多

worker.tomcat1.lbfactor = 1

# tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1

# controller(负载均衡控制器)

worker.controller.type=lb

# 指定分担请求的tomcat

worker.controller.balanced_workers=tomcat1,tomcat2

#worker.controller.sticky_session=true

说明：此文件配置了2个tomcat服务器进行负载均衡处理，sticky_session表述是否将对SESSION ID的请求路由回到相同的Tomcat worker。如果属性值不为0，它将被设置为JK_TRUE，session将是粘性的，即SESSION ID的请求路由回到相同的Tomcat worker；当Tomcat正使用能够跨越多个Tomcat实例持久化session数据的Session Manager时，它将被设置为JK_FALSE

5. 修改tomcat配置文件server.xml

更改其中一个的设置打开tomcat2/conf/server.xml文件，修改里面所有的端口设置，将8改为9，如下：

6. 编写一个测试页面teat1.jsp

建立一个test的web应用，里面新建一个test1.jsp,内容为

<%@ page language="java" contentType="text/html; charset=UTF-8"

pageEncoding="UTF-8"%>

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">

<html>

<head>

</head>

<body>

System.out.println("===========================");

</body>

</html>

7. 启动服务器并进行测试

依次启动apache-server、tomcat1、tomcat2，通过 http://localhost/test/test1.jsp 访问，查看tomcat1的窗口，可以看到打印了一行"=========="，再刷新一次，tomcat2也打印了一条，再刷新，可以看到请求会被tomcat1,tomcat2轮流处理,实现了负载均衡

三、集群(session复制)

只配置负载均衡还不行，还要session复制，也就是说其中任何一个tomcat的添加的session，是要同步复制到其它tomcat，集群内的tomcat都有相同的session

1. tomcat配置

1.1 修改tomcat1, tomcat2的server.xml文件添加集群内容，tomcat5.5无需添加，只需要去掉注释符，tomcat6.0需要添加，内容如下：

Tomcat5.5配置

<Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"

managerClassName="org.apache.catalina.cluster.session.DeltaManager"

expireSessionsOnShutdown="false"

useDirtyFlag="true"

notifyListenersOnReplication="true">

<Membership

className="org.apache.catalina.cluster.mcast.McastService"

mcastAddr="228.0.0.4"

mcastPort="45564"

mcastFrequency="500"

mcastDropTime="3000"/>

<Receiver

className="org.apache.catalina.cluster.tcp.ReplicationListener"

tcpListenAddress="auto"

tcpListenPort="4001"

tcpSelectorTimeout="100"

tcpThreadCount="6"/>

<Sender

className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"

replicationMode="pooled"

ackTimeout="15000"

waitForAck="true"/>

<Valve className="org.apache.catalina.cluster.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.cluster.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

</Cluster>

Tomcat6.0配置

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="6">

<!--

<Manager className="org.apache.catalina.ha.session.BackupManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"

mapSendOptions="6"/>

-->

<Manager className="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>

<Membership className="org.apache.catalina.tribes.membership.McastService"

address="228.0.0.4"

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="5000"

selectorTimeout="100"

maxThreads="6"/>

</Sender>

</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

</Cluster>

分别添加以上内容后，在tomcat2中，修改tcpListenPort="4001" 为4002

1.2. Engine增加jvmRoute属性设置，jvmRoute的值来自于workers.properties文件所设置的服务器名称。

#server 列表

worker.list = controller,tomcat1,tomcat2

2. 添加test.jsp页面

2.1. test.jsp添加以下内容：

<%@ page contentType="text/html; charset=UTF-8"%>

<%@ page import="java.util.*"%>

<html>

<head>

<title>Cluster App Test</title>

</head>

<body>

Server Info:

out.println(request.getLocalAddr() + " : " + request.getLocalPort() + "<br>");

out.println("<br> ID " + session.getId() + "<br>");

// 如果有新的 Session 属性设置

String dataName = request.getParameter("dataName");

if (dataName != null && dataName.length() > 0) {

String dataValue = request.getParameter("dataValue");

session.setAttribute(dataName, dataValue);

}

out.print("<b>Session 列表</b>");

Enumeration e = session.getAttributeNames();

while (e.hasMoreElements()) {

String name = (String) e.nextElement();

String value = session.getAttribute(name).toString();

out.println(name + " = " + value + "<br>");

System.out.println(name + " = " + value);

}

名称:<input type=text size=20 name="dataName"> <br>

值:<input type=text size=20 name="dataValue"> <br>

</body>

</html>

2.2. 修改web.xml文件，加入<distributable/>节点，如下所示：

<?xml version="1.0" encoding="UTF-8"?>

<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">

<display-name>test</display-name>

<welcome-file-list>

<welcome-file>index.html</welcome-file>

<welcome-file>index.htm</welcome-file>

<welcome-file>index.jsp</welcome-file>

<welcome-file>default.html</welcome-file>

<welcome-file>default.htm</welcome-file>

<welcome-file>default.jsp</welcome-file>

</welcome-file-list>

</web-app>

3. Session复制测试

测试步骤如下：

1) 启动apache-server、tomcat1、tomcat2

2) 访问http://localhost/test/test.jsp，输入名称：test0001、值：123并点击“提交查询内容”按钮，显示效果如下：

如上图所示，tomcat1创建了一个新的session，session中有属性test0001,值为123

3) 关闭tomcat1服务器，tomcat1端口为8080，如下图：

4)        在页面中再次点击“提交查询内容”按钮，效果如下：

    前端页面并没有发生改变，接下来查看后台情况：


    如图所示，可以发现session已成功复制到tomcat2中，以此证明tomcat集群已配置成功。

5) 另外来看看不关闭tomcat1服务器再次提交的情况

如图所示，请求并没有转发到tomcat2服务器，而是再次转回tomcat1服务器，这种情况是由于配置了jvmRoute所致，以个人理解，配置了此属性后，apache-server会根据session情况来进行路由，同一个session会转发给同一个服务器。

6) 打开一个新的IE窗口，并访问http://localhost/test/test.jsp

             新窗口的请求转发到了tomcat2服务器，session的id为DD9E6C8181653B9BCCF534FC8760B264.tomcat2，根据测试结果可以说明，在不发生服务器关闭的情况下，每个session会绑定到同一个服务器中，而不会在服务器间发生复制。

配置文件下载：/Files/obpm/配置文件.rar

Biegral Blog

Apache Http Server与Tomcat实现负载均衡和集群

一、分布式实现原理

二、负载均衡

1. 准备软件

2. 安装mod_jk连接模块

3. 修改mod_jk.conf文件

4. 修改workers.properties文件

5. 修改tomcat配置文件server.xml

6. 编写一个测试页面teat1.jsp

7. 启动服务器并进行测试

三、集群(session复制)

1. tomcat配置

2. 添加test.jsp页面

3. Session复制测试

阅读排行

分类

归档