Tomcat多实例及优化

Tomcat多实例

tomcat多实例介绍

首先要回答一个问题，为什么要用单机多实例？
在不宕机的情况下，webapps里面存在多个项目，可能由于其中一个项目过度使用内存或者其他不确定的因素使得tomcat挂了，那么同一tomcat下的项目也会一同挂了；而使用不同的tomcat，同一台服务器下，每个tomcat的进程是不一样的额，一个项目出现问题tomcat挂了，那么由于是在不同进程，其他项目不会影响的。
  还有一个问题就是不同tomcat使用了不同端口，最后域名只有一个怎么分配？
其实这个使用nginx的反向代理，根据请求的前缀，代理到相应的tomcat项目服务端口对应的nginx server即可。
其本质就是复制多个tomcat目录，然后修改为不同的端口并启动
代码一致，但是公用一个数据库

复制目录

1
2
3
[root@boysec.cn ~]# cd /opt/
[root@boysec.cn /opt]# cp -a apache-tomcat-8.5.59 tomcat_01
[root@boysec.cn /opt]# cp -a apache-tomcat-8.5.59 tomcat_02

修改配置文件

修改端口号:

1
2
3
4
5
6
7
[root@boysec.cn /opt]# sed -i 's#8005#8006#g'  tomcat_01/conf/server.xml 
[root@boysec.cn /opt]# sed -i 's#8009#8010#g'  tomcat_01/conf/server.xml
[root@boysec.cn /opt]# sed -i 's#8080#8081#g'  tomcat_01/conf/server.xml 
[root@boysec.cn /opt]# 
[root@boysec.cn /opt]# sed -i 's#8005#8007#g'  tomcat_02/conf/server.xml 
[root@boysec.cn /opt]# sed -i 's#8009#8011#g'  tomcat_02/conf/server.xml
[root@boysec.cn /opt]# sed -i 's#8080#8082#g'  tomcat_02/conf/server.xml

修改监听端口：

1
2
3
4
[root@boysec.cn ~]# grep "1234" /opt/tomcat_01/bin/catalina.sh  
-Dcom.sun.management.jmxremote.port=12345 
[root@boysec.cn ~]# grep "1234" /opt/tomcat_02/bin/catalina.sh               
-Dcom.sun.management.jmxremote.port=12346

启动多实例：

1
2
3
/opt/tomcat_01/conf]# /opt/tomcat_01/bin/startup.sh 
/opt/tomcat_02/conf]# /opt/tomcat_01/bin/startup.sh 
ss -lntup|grep java

Tomcat安全优化10项

telnet管理端口保护

使用telnet连接进来可以输入SHUTDOWN可以直接关闭tomcat，极不安全，必须关闭。可以修改默认的管理端口8005改为其他端口，修改SHUTDOWN指令为其他字符串。

1
2
vim /opt/tomcat/conf/server.xml
 <Server port="8365" shutdown="BOYDOWN">

AJP连接端口保护

Tomcat 服务器通过Connector连接器组件与客户程序建立连接，Connector组件负责接收客户的请求，以及把Tomcat服务器的响应结果发送给客 户。默认情况下，Tomcat在server.xml中配置了两种连接器，一种使用ajp，要和apache结合使用，一种使用http。当使用http 时，可以限制ajp端口访问，在于防止线下测试流量被mod_jk转发至线上tomcat服务器。可以通过iptables规则限制ajp端口的访问，或 者直接将改行注释。

1
2
# vim /opt/tomcat/conf/server.xml
    <!--<Connector port="8329" protocol="AJP/1.3" redirectPort="8443" />-->

禁用管理端

对于tomcat的web管理端属于高危安全隐患，一旦被攻破，黑客通过上传web shell方式取得服务器的控制权，那是非常可怕的。我们需要删除tomcat安装目录下conf/tomcat-user.xml或者删除webapps下默认的目录和文件。

1
# mv /opt/tomcat/webapps/* /tmp

降权启动tomcat

tomcat 启动用户权限必须为非root，避免一旦tomcat服务被入侵，获取root权限，普通用户只能使用大于1024端口，如果要想使用80端口，可以使用 iptables规则进行转发，或者使用代理。一般情况下，tomcat前方有一个反向代理服务器nginx或者apache等。

建议system普通用户启动

文件列表访问控制

/opt/tomcat/conf/web.xml文件中的default部分listings的配置必须为false，false为不列出目录文件，true为允许列出，默认为false。

1
2
3
4
<init-param>
     <param-name>listings</param-name>
     <param-value>false</param-value>
 </init-param>

版本信息隐藏

隐藏HTTP 头部的版本信息 。
编辑server.xml: vim /opt/tomcat/conf/server.xml
为Connector 添加 server 属性

1
2
3
<Connector port="8080" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="8443" server="APP srv1.0" />

对一些常见错误重定向，避免出错暴露服务器和版本信息。在conf/web.xml重定向403，404及500等错误到指定页面。

1
2
3
4
5
6
7
8
9
10
11
12
<error-page>
    <error-code>404</error-code>
    <location>/404.html</location>
</error-page>
<error-page>
    <error-code>403</error-code>
    <location>/403.html</location>
</error-page>
<error-page>
    <error-code>500</error-code>
    <location>/500.html</location>
</error-page>

脚本权限回收

去除其他用户对bin目录下可执行权限，防止其他用户起停tomcat

1
chmod -R 744 bin/*

访问日志格式规范

开启Referer和User-Agetn是为了一旦出现安全问题能够更好的根据日志进行排查

1
2
3
4
5
6
7
8
<Host name="10.0.xx.xx"  appBase="webapps"
      unpackWARs="true" autoDeploy="true">
  <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
         prefix="localhost_access_log" suffix=".txt"
         pattern="%h %l %u %t &quot;%r&quot; %s %b %{Referer}i %{User-Agent}i %D" />
  <Context docBase="/opt/tomcat/webapps/FWYsWeb" path=""  reloadable="true"/>
  <Context docBase="/opt/tomcat/webapps/FWYsWeb" path="/FWYsWeb"  reloadable="true"/>
</Host>

设置白名单

只允许192.168.31.0网段访问

1
2
3
4
5
6
7
8
9
<Host name="192.168.31.128"  appBase="webapps"
       unpackWARs="true" autoDeploy="true">
   <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
          prefix="localhost_access_log" suffix=".txt"
          pattern="%h %l %u %t &quot;%r&quot; %s %b %{Referer}i %{User-Agent}i %D" />
   <Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="192.168.31.*"/>
   <Context docBase="/opt/webapps/FWYsWeb" path=""  reloadable="true"/>
   <Context docBase="/opt/tomcat/webapps/FWYsWeb" path="/FWYsWeb"  reloadable="true"/>
 </Host>

屏蔽dns查询

1
2
3
4
vim /opt/tomcat/conf/server.xml
    <Connector  port="8081" protocol="HTTP/1.1"
               connectionTimeout="6000" enableLookups="false" acceptCount="800"
               redirectPort="8443" />

jvm调优

Tomcat最吃内存，只要内存足够，这只猫就跑的很快。
如果系统资源有限，那就需要进行调优，提高资源使用率。
优化catalina.sh配置文件。在catalina.sh配置文件中添加以下代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
JAVA_OPTS="-Djava.awt.headless=true -Dfile.encoding=UTF-8 -server -Xms1024m -Xmx1024m -XX:NewSize=512m -XX:MaxNewSize=512m -XX:PermSize=512m -XX:MaxPermSize=512m"
server:一定要作为第一个参数，在多个CPU时性能佳
-Xms：初始堆内存Heap大小，使用的最小内存,cpu性能高时此值应设的大一些
-Xmx：初始堆内存heap最大值，使用的最大内存
上面两个值是分配JVM的最小和最大内存，取决于硬件物理内存的大小，建议均设为物理内存的一半。
-XX:PermSize:设定内存的永久保存区域
-XX:MaxPermSize:设定最大内存的永久保存区域
-XX:MaxNewSize:
-Xss 15120 这使得JBoss每增加一个线程（thread)就会立即消耗15M内存，而最佳值应该是128K,默认值好像是512k.
+XX:AggressiveHeap 会使得 Xms没有意义。这个参数让jvm忽略Xmx参数,疯狂地吃完一个G物理内存,再吃尽一个G的swap。
-Xss：每个线程的Stack大小
-verbose:gc 现实垃圾收集信息
-Xloggc:gc.log 指定垃圾收集日志文件
-Xmn：young generation的heap大小，一般设置为Xmx的3、4分之一
-XX:+UseParNewGC ：缩短minor收集的时间
-XX:+UseConcMarkSweepGC ：缩短major收集的时间

Tomcat启动慢解决

没优化之前的启动时间

1
2
tail -1 /opt/tomcat/logs/catalina.out  
12-Aug-2019 19:59:30.207 信息 [main] org.apache.catalina.startup.Catalina.start Server startup in 66131 ms

解决方法

1
2
3
4
5
[root@boysec.cn ~]$find / -name "java.security"
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/jre/lib/security/java.security
[root@boysec.cn ~]$vim /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/jre/lib/security/java.security 
[root@boysec.cn ~]$sed -n '117p' /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/jre/lib/security/java.security 
securerandom.source=file:/dev/random

优化后的启动时间

1
2
tail -1 /opt/tomcat/logs/catalina.out  
12-Aug-2019 20:11:16.619 信息 [main] org.apache.catalina.startup.Catalina.start Server startup in 2606 ms

打包和解压war包

使用jkd二进制包自带的jar命令可以打包和解压war包

解压命令

/opt/jdk1.8.0_60/bin/jar -xvf jpress-web-newest.war

打包命令

/opt/jdk1.8.0_60/bin/jar -cvfM0 jpress.war ./

ansible启动tomcat

如果直接使用ansible的shell模块启动tomcat会发现并不能启动成功，需要使用chdir切换工作目录并结合nohub放在后台启动
下面是一个简单的测试剧本

1
2
3
4
5
6
7
8
9
10
11
[root@ansible ~/tomcat]# cat tomcat.yml 
- hosts: tomcat
  tasks:

  - name: 01-start-tomcat
    shell: chdir=/opt/tomcat/bin nohup ./startup.sh start &

  - name: 02-copy-jpress
    copy: 
      src: /root/tomcat/jpress.war
      dest: /opt/tomcat/webapps