JVM高级特性与实践（一）：Java内存区域与内存溢出异常

套用《围城》中的一句话，“墙外面的人想进去，墙里面的人想出来”，用此来形容Java与C++之间这堵内存动态分配和垃圾收集技术所围成的“围墙”就再合适不过了。

对于从事C、C++的开发人员而言，在内存管理领域，他们具有绝对的“权利”——拥有每个对象的控制权，并担负着每个对象生命周期的维护责任。而对于Java开发人员而言，在虚拟机自动内存管理机制的帮助下，无需为每一个创建new操作去配对 delete/free 代码，减少内存泄漏和内存溢出的问题，这些都交给了Java虚拟机去进行内存控制，但是正因如此，当出现相关问题时，若不了解JVM使用内存规则，就难以排查错误。接下来以此篇文章记录学习Java虚拟机内存各个区域概念、作用、服务对象以及可能产生的问题。

此篇将记录学习以下知识点：

Java虚拟机内存划分
各区域知识理论学习
各区域会产生的异常
代码实践哪些操作会产生内存溢出异常
各区域出现异常的原因

一. 运行时区域内存

Java虚拟机在执行Java程序时会将其管理的区域划分为不同的数据区域，不同区域之间拥有各自用途、创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，而有的区域则依赖用户线程的生命周期。Java虚拟机所管理的内容分为以下几块区域：

这里写图片描述

1 . 程序计数器

（1）含义作用

程序计数器（Program Counter Register）是一块较小的内存空间，可以看作是当前线程所执行的字节码的行号指示器。在虚拟机概念模型中，字节码解释器工作时就是通过改变计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖计数器。

（2）计数器与多线程

由于JVM的多线程时通过线程轮流切换并分配处理器执行时间的方式来实现的，在任何一个确定的时刻，一个处理器（对于多核处理器来说是一个内核）都只会执行一条线程中的指令。所以，为了线程切换后能恢复到正确的执行位置，每条线程需要一个独立的程序计数器，各线程之间计数器互不影响、独立存储，相当于是一块“线程私有”的内存。

（3）虚拟机规范记录（有关异常）

若线程正在执行的是一个Java方法，这个计数器记录的时正在执行的虚拟机字节码指令的地址；若执行的是Native方法，则计数器为空（Undefined）。注意：此内存区域是唯一一个在Java虚拟机规范中没有规定任何 OutOfMemoryError情况的区域。

2 . Java虚拟机栈

（1）含义作用

同程序计数器相同，Java虚拟机栈（Java Virtual Machine Stacks）也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型：每个方法在执行的同时都会创建一个栈帧用于存储局部变量表、操作数栈、动态链接、方法出口等信息。每一个方法从调用直至执行完成的过程，会对应一个栈帧在虚拟机栈中入栈到出栈的过程。

（2）Java内存区分误区

大多数人以为Java内存区分为堆内存（Heap）和栈内存（Stack），这是一种误区，Java内存区域的划分远比这种粗糙的分法更加复杂。这种划分方式广泛流传是由于大多数开发者关注与对象内存分配关系最密切的内存区域就是这两块，有关“堆”的知识后续载提，这里的“栈”指的就是虚拟机栈，或者说是虚拟机栈中的变量表部分。

（3）虚拟机栈中的局部变量表

局部变量表中存放了编译期可知的

八大数据类型（boolean、byte、char、short、int、float、long、double）。
对象引用（reference类型，它不等于对象本身，可能是一个指向对象起始地址的指针，也可能是指向一个代表对象的句柄或其他与此对象相关的位置）
returnAddress类型（指向了一条字节码指令的地址）

其中64位长度的long和double类型的数据会占用2个局部变量空间（Slot），其余数据类型只占用1个。局部变量表所需的内存控件在编译期间完成分配，当进入一个方法时，这个方法需要在帧中分配多大的局部变量空间是完全确定的，在方法运行期间不会改变局部变量表的大小。

（4）虚拟机规范记录（有关异常）

在Java虚拟机规范中，对这个区域规定了两种异常状况：

若线程请求的栈深度大于虚拟机所允许的深度，将抛出StackOverflowError异常。
若虚拟机可以动态扩展（当前大部分Java虚拟机都可动态扩展，只不过Java虚拟机规范也允许固定长度的虚拟机栈），当扩展时无法申请到足够的内存，就会抛出OutOfMemoryError异常。

3 . 本地方法栈

（1）含义作用

本地方法栈（Native Method Stack）与虚拟机栈所发挥的作用类似，它们之间的区别是：虚拟机栈为虚拟机执行Java方法（也就是字节码）服务，而本地方法栈则为虚拟机使用到的Native方法服务。

（2）虚拟机规范记录（有关异常）

在虚拟机规范中对本地方法栈中使用的语言、方式和数据结构并无强制规定，因此具体的虚拟机可实现它。甚至有的虚拟机（Sun HotSpot虚拟机）直接把本地方法栈和虚拟机栈合二为一。

与虚拟机一样，本地方法栈会抛出StackOverflowError和OutOfMemoryError异常。

4 . Java堆

（1）含义作用

对于大多数应用而言，Java堆（Heap）是Java虚拟机所管理的内存中最大的一块，它是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域唯一的目的是存放对象实例，几乎所有的对象实例都在这里分配内存。Java虚拟机规范中描述道：所有的对象实例以及数组都要在堆上分配，但是随着JIT编译器的发展和逃逸分析技术逐渐成熟，栈上分配、标量替换优化技术将会导致一些微妙的变化发生，所有的对象都在堆上分配的定论也并不“绝对”了。

（2）Java堆与垃圾回收器

Java堆是垃圾回收器管理的主要区域，因此被称为“GC堆”（Garbage Collected Heap）。

从内存回收角度看，由于目前收集器基本采用分代收集算法，所以Java堆可细分为：新生代和老年代。
从内存分配角度来看，线程共享的Java堆中可能划分出多个线程私有的分配缓冲区（TLAB：Thread Local Allocation Buffer）。

不过无论如何划分，都与存放内容无关，无论哪个区域，存放的都是对象实例，进一步划分目的是为了更好地回收内存，或者是更快地分配内存。此节仅对内存区域作用进行学习，Java堆上各个区域分配回收等细节与内存分配策略有关，后续讲解。

（3）虚拟机规范记录（有关异常）

根据Java虚拟机规范的规定，Java堆可以处于物理上不连续的内存中，只要逻辑上是连续的即可，就像磁盘空间。在实现时，可以实现成固定大小或可扩展的，不过当前主流虚拟机是按照可扩展进行实现的（通过-Xmx和 -Xms控制）。

若堆中没有内存完成实例分配，并且堆也无法扩展时，将会抛出OutOfMemoryError异常。

5 . 方法区

（1）含义作用

方法区（Method Area）与Java堆一样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。虽然Java虚拟机规范把方法区描述为堆的一个逻辑部分，但是它有一个别名叫做 Non-Heap（非堆），目的是为了和Java堆区分开来。

（2）虚拟机规范记录（有关异常）

Java虚拟机规范对方法区的限制非常宽松，除了和Java堆一样不需要连续的内存和可以选择固定大小或可扩展外，还可以选择不实现垃圾收集。相对而言，垃圾收集行为在这个区域比较少见。此区域的内存回收目标主要是针对常量池的回收和对类型的卸载，一般来说，回收效果难以令人满意，尤其是类型的卸载，条件相对苛刻，但是这部分区域回收是有必要的。

根据Java虚拟机规范的规定，当方法无法满足内存需求时，将会抛出OutOfMemoryError异常。

6 . 运行时常量池

（1）含义作用

运行时常量池（Runtime Constant Pool）是方法区的一部分。Class文件中除了有类的版本、字段、方法、接口等描述信息外，还有一项信息是常量池（Constant Pool Table），用于存放编译期生成的各种字面量和符号引用，这部分内容将在类加载后进入方法区的运行时常量池存放。

（2）运行时常量池和Class文件

Java虚拟机对Class文件每一部分（自然包括常量池）的格式有严格规定，每一个字节用于存储那种数据都必须符合规范上的要求才会被虚拟机认可、装载和执行。但对于运行时常量池，Java虚拟机规范没有做任何有关细节的要求，不同的提供商实现的虚拟机可以按照自己的需求来实现此内存区域。不过一般而言，除了保存Class文件中的描述符号引用外，还会把翻译出的直接引用也存储在运行时常量池中。

运行时常量池相对于Class文件常量池的另外一个重要特征是具备动态性，Java语言并不要求常量一定只有编译器才能产生，也就是并非置入Class文件中的常量池的内容才能进入方法区运行时常量池，运行期间也可能将新的常量放入池中，此特性被开发人员利用得比较多的便是String类的intern() 方法。

（3）虚拟机规范记录（有关异常）

运行时常量池是方法区的一部分，自然受到方法区的内存限制，当常量池无法再申请到内存时会抛出OutOfMemoryError异常。

7 . 直接内存

（1）含义作用

直接内存（Direct Memory）并不是虚拟机运行时数据的一部分，也不是Java虚拟机规范中定义的内存区域。但这部分内存也被频繁运用，而却可能导致OutOfMemoryError异常出现。

（3）有关异常

本机直接内存的分配不会受到Java堆大小的限制，但是既然是内存，还是会受到本机总内存（包括RAM以及SWAP区或分页文件）大小以及处理器寻址空间的限制。服务器管理员在配置虚拟机参数时，会根据实际内存设置-Xmx等参数信息，但经常忽略直接内存，使得各个内存区域总和大于物理内存限制（包括物理的和操作系统的限制），从而导致动态扩展时出现OutOfMemoryError异常。

二. 实践：重现OutOfMemoryError异常

在Java虚拟机规范中，除了程序计数器外，虚拟机内存的其它区域都有发生OOM异常的可能，本节内容的目的为：

通过代码验证Java虚拟机规范中描述的各个运行时区域存储的内容。
开发者在遇到实际的内存溢出时，能根据异常信息判断出是那个区域，定位到错误原因。

1 . Java堆溢出

Java堆用于存储对象实例，只要不断地创建对象，并且保证GC Roots到对象之间有可达路径来避免垃圾回收机制清除这些对象，那么在对象数量到达最大堆的容量限制后就会产生内存溢出异常。

【Java堆内存溢出异常测试】

/**
 * VM Args：-Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError
 */
public class HeapOOM {

    static class OOMObject {
    }

    public static void main(String[] args) {
        List<OOMObject> list = new ArrayList<OOMObject>();

        while (true) {
            list.add(new OOMObject());
        }
    }
}

运行结果：

    java.lang.OutOfMemoryError: Java heap space 
    Dumping heap to java_pid1820.hprof ... 
    Heap dump file created [24787111 bytes in 0.346 secs] 
    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

结果分析：

Java堆内存的OOM异常是实际应用中常见的内存溢出异常情况。当出现异常时，堆栈消息“java.lang.OutOfMemoryError”会进一步提示“Java heap space”，而问题原因很明显，对象数量过多，到达最大堆的容量限制。

2 . 虚拟机栈和本地方法栈溢出

在JAVA虚拟机规范描述了两种异常：

如果线程请求的栈深度大于虚拟机所允许的最大深度，将抛出StackOverflowError
如果虚拟机在扩展栈时无法申请到足够的内存空间，将抛出OutOfMemoryError。

以上两种异常实质上存在着重叠的部分：当栈空间无法继续分配时，是内存太小还是已使用的栈空间过大，其本质只是针对同一件事情的两种描述。

【虚拟机栈和本地方法栈OOM测试（仅作第一点测试）】

/** 
 * 如果线程请求的栈深度大于虚拟机所允许的最大深度，将抛出StackOverflowError 
 * 如果虚拟机在扩展栈时无法申请到足够的内存空间，将抛出OutOfMemoryError 
 * VM Args：-Xss128k 
 */  
public class JavaVMStackSOF {  

    private int stackLength = 1;  

    public void stackLeak() {  
        stackLength++;  
        stackLeak();  
    }  

    public static void main(String[] args) throws Throwable {  
        JavaVMStackSOF oom = new JavaVMStackSOF();  
        try {  
            oom.stackLeak();  
        } catch (Throwable e) {  
            System.out.println("stack length:" + oom.stackLength);  
            throw e;  
        }  
    }  
}

运行结果：

     stack length:2403 
     Exception in thread "main" java.lang.StackOverflowError 
         at baby.oom.JavaVMStackSOF.stackLeak(JavaVMStackSOF.java:11) 
         at baby.oom.JavaVMStackSOF.stackLeak(JavaVMStackSOF.java:12) 
         at baby.oom.JavaVMStackSOF.stackLeak(JavaVMStackSOF.java:12) 

         默认情况下，即不加Xss限制，输出的length为8956，加了Xss128k length位2403

结果分析：

以上测试表明，在单线程下，无论是由于栈帧太大还是虚拟机栈容量太小，当内存无法分配的时候，虚拟机抛出的都是StackOverflowError。

如果测试时不仅限于单线程，通过不断地建立线程的方式可以产生内存溢出异常，如下代码测试。但是这样产生的内存溢出异常与栈空间是否足够大并不存在任何联系，准确说在这种情况下，为每个线程的栈分配内存越大，越容易产生内存溢出的异常。

简述操作系统内存分配

其实原因不难理解，由于操作系统分配给每个进程的内存是有限的，例如32位的Windows限制为2GB，虚拟机提供了参数来控制Java堆和方法区域的这两部分内存的最大值。剩余的内存为2GB（操作系统限制） - Xmx（最大堆容量）- MaxPermSize（最大方法区容量），程序计数器消耗内存少到可以忽略。如果虚拟机进程本身耗费的内存不计算在内，剩下的内存就由虚拟机栈和本地方法瓜分。每个线程分配到的栈容量越大，可以建立的线程数量自然越少，建立线程越容易耗尽剩下内存。

【创建线程导致内存溢出异常】

/**
 * VM Args：-Xss2M （这时候不妨设大些）
 */
public class JavaVMStackOOM {

       private void dontStop() {
              while (true) {
              }
       }

       public void stackLeakByThread() {
              while (true) {
                     Thread thread = new Thread(new Runnable() {
                            @Override
                            public void run() {
                                   dontStop();
                            }
                     });
                     thread.start();
              }
       }

       public static void main(String[] args) throws Throwable {
              JavaVMStackOOM oom = new JavaVMStackOOM();
              oom.stackLeakByThread();
       }
}

运行结果：

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread

3 . 方法区和运行常量池溢出

由于运行时常量池是方法区的一部分，因此两者测试放在一起。测试中涉及到String.intern()方法，它是一个Native方法，作用为：如果字符串常量池中已经包含一个等于此String对象的字符串，则返回常量池中此字符串的String对象；否则将此String对象包含的字符串添加到常量池中，并返回String对象的引用。

【运行时常量池导致的内存溢出异常】

/**
 * VM Args：-XX:PermSize=10M -XX:MaxPermSize=10M
 */
public class RuntimeConstantPoolOOM {

    public static void main(String[] args) {
        // 使用List保持着常量池引用，避免Full GC回收常量池行为
        List<String> list = new ArrayList<String>();
        // 10MB的PermSize在integer范围内足够产生OOM了
        int i = 0; 
        while (true) {
            list.add(String.valueOf(i++).intern());
        }
    }
}

运行结果：

Exception in thread "main" java.lang.OutOfMemoryError: PermGen space 
    at java.lang.String.intern(Native Method) 
    at baby.oom.RuntimeConstantPoolOOM.main(RuntimeConstantPoolOOM.java:18)

结果分析：

从运行结果可以看出，运行时常量池溢出，在OutOfMemoryError后面跟随的提示信息时“PermGen space”，说明运行时常量池属于方法区，而问题原因就是重复添加String对象到常量池而导致内存不足出现OOM异常。（注意：当运行时常量池过大或者类过多时就会导致方法区溢出）

4. 本机直接内存溢出

DirectMemory容量可通过 -XX: MaxDirectMemorySize指定，若不指定则默认与Java堆最大值（-Xmx指定）相同。以下代码越过了DerictByteBuffer类，直接通过反射获取Unsafe 实例进行内存分配。虽然使用DerictByteBuffer分配内存也会抛出内存溢出异常，但它抛出异常时并没有真正向操作系统申请分配，而是通过计算得知内存无法分配，于是手动抛出异常，真正申请分配内存的方法是unsafe.allocateMemory()。

【使用unsafe 分配本机内存】

/**
 * VM Args：-Xmx20M -XX:MaxDirectMemorySize=10M
 */
public class DirectMemoryOOM {

    private static final int _1MB = 1024 * 1024;

    public static void main(String[] args) throws Exception {
        Field unsafeField = Unsafe.class.getDeclaredFields()[0];
        unsafeField.setAccessible(true);
        Unsafe unsafe = (Unsafe) unsafeField.get(null);
        while (true) {
            unsafe.allocateMemory(_1MB);
        }
    }
}

运行结果：

Exception in thread "main" java.lang.OutOfMemoryError 
    at sun.misc.Unsafe.allocateMemory(Native Method) 
    at baby.oom.DirectMemoryOOM.main(DirectMemoryOOM.java:20)

结果分析：

由DirectMemory导致的内存溢出，明显的特征就是在 Heap Dump文件中不会看见明显的异常，如果开发人员发现OOM异常后的Dump文件很小，而程序中又直接或间接使用了NIO，可以考虑是否是这方面的原因。

声明此系列博文是基于《深入理解Java虚拟机》书的学习笔记，结合书本内容和自己理解，存在自行删增内容。终于下定决心开始啃这本书了，实在是一本很好的内功心法，坚持将这个系列写完，受益匪浅呀。

若有错误，欢迎指教~

Biegral Blog