每日一读
人生只有在经历过失败之后,才能真正领悟成功的滋味。每一次挫折都是成长的机会,只要不放弃,坚持向前,你就能够越过那些困难,迎接更加美好的未来。
正文
前言
垃圾收集算法

其实真正意义上的算法之后后面这三种,但是这三种算法都是基于一个理论,也就是分代收集理论
分代收集理论
当前虚拟机的垃圾收集都采用分代收集算法,也就是根据不同年代的特点,选择对应的垃圾收集算法,这种算法没有什么新的思想,只是根据对象存活周期的不同将内存分为几块。一般将java堆分为新生代和老年代,这样我们就可以根据各个年代的特点选择合适的垃圾收集算法。
比如在新生代中,每次收集都会有大量对象(近99%)死去,所以可以选择复制算法,只需要付出少量对象的复制成本就可以完成每次垃圾收集。
而老年代的对象存活几率是比较高的,而且没有额外的空间对它进行分配担保,所以我们必须选择“标记-清除”或“标记-整理”算法进行垃圾收集。注意,“标记-清除”或“标记-整理”算法会比复制算法慢10倍以上。
标记-复制算法
为了解决效率问题,“复制”收集算法出现了。它可以将内存分为大小相同的两块,每次使用其中的一块。当这一块的内存使用完后,就将还存活的对象复制到另一块去,然后再把使用的空间一次清理掉。这样就使每次的内存回收都是对内存区间的一半进行回收。
前面的文章中我们也提到过,年轻代在Minor GC的时候用到的其实就是复制算法。

标记-复制算法,首先会把内存对半分成两块,一块为保留内存(绿色),不做任何操作,另一块是已使用空间,已使用空间中分为存活对象(紫色),可回收内存(灰色),可用内存(白色),通过可达性分析算法,可以确定出存活对象(紫色),那么凡是存活的对象,最终通过复制算法,复制到另一块未使用的内存,也就是保留内存(绿色),剩余的垃圾对象直接被清理,也就是内存整理前到内存整理后的一个效果。
jvm的实现有很多种,我们用的HotSpot在标记的时候会标记存活对象(紫色),但是有的垃圾回收器也会找垃圾对象(灰色)
标记-清除算法

算法分为“标记”和“清除”阶段:标记存活的对象, 统一回收所有未被标记的对象(一般选择这种);也可以反过来,标记出所有需要回收的对象,在标记完成后统一回收所有被标记的对象 。它是最基础的收集算法,比较简单,但是会带来两个明显的问题:
效率问题 (如果需要标记的对象太多,效率不高)
空间问题(标记清除后会产生大量不连续的碎片)
标记-整理算法

根据老年代的特点特出的一种标记算法,标记过程仍然与“标记-清除”算法一样,但后续步骤不是直接对可回收对象回收,而是让所有存活的对象向一端移动,然后直接清理掉端边界以外的内存。
也就是把这些非垃圾对象直接移动到垃圾对象的内存中,说白了就是赋一下值就完事了。但是,像后面的那些可回收内存,因为没有可用对象移动到可回收内存,所以这一块垃圾就得把它清除掉。
这个时候对象的内存地址是会发生变化的,可用对象移动到可回收区域之后,会通过类似写屏障的方法同步的改变对象的地址。
标记-整理的这种算法相对来说清理完之后是相对规整的,
垃圾收集器

如上图所示有十种垃圾收集器,但是我们的重点是除ZGC、Epsilon、Shenandoah之外的七种,那么这三种其实了解就行。
如果说收集算法是内存回收的方法论,那么垃圾收集器就是内存回收的具体实现。
虽然我们对各个收集器进行比较,但并非为了挑选出一个最好的收集器。因为直到现在为止还没有最好的垃圾收集器出现,更加没有万能的垃圾收集器,我们能做的就是根据具体应用场景选择适合自己的垃圾收集器。试想一下:如果有一种四海之内、任何场景下都适用的完美收集器存在,那么我们的Java虚拟机就不会实现那么多不同的垃圾收集器了。(使用不同的垃圾收集器意味着选择不同的垃圾回收算法来管理内存,这些算法通常是由C++等低级语言实现的。)
1.1 Serial收集器(-XX:+UseSerialGC -XX:+UseSerialOldGC)
Serial(串行)收集器是最基本、历史最悠久的垃圾收集器了。大家看名字就知道这个收集器是一个单线程收集器了。它的 “单线程” 的意义不仅仅意味着它只会使用一条垃圾收集线程去完成垃圾收集工作,更重要的是它在进行垃圾收集工作的时候必须暂停其他所有的工作线程( "Stop The World" ),直到它收集结束。
新生代采用复制算法,老年代采用标记-整理算法。

虚拟机的设计者们当然知道Stop The World带来的不良用户体验,所以在后续的垃圾收集器设计中停顿时间在不断缩短(仍然还有停顿,寻找最优秀的垃圾收集器的过程仍然在继续)。
但是Serial收集器有没有优于其他垃圾收集器的地方呢?
当然有,它简单而高效(与其他收集器的单线程相比)。Serial收集器由于没有线程交互的开销,自然可以获得很高的单线程收集效率。
Serial Old收集器是Serial收集器的老年代版本,它同样是一个单线程收集器。它主要有两大用途:
一种用途是在JDK1.5以及以前的版本中与Parallel Scavenge收集器搭配使用,
另一种用途是作为CMS收集器的后备方案。
1.2 Parallel Scavenge收集器(-XX:+UseParallelGC(年轻代),-XX:+UseParallelOldGC(老年代))

Parallel收集器其实就是Serial收集器的多线程版本,除了使用多线程进行垃圾收集外,其余行为(控制参数、收集算法、回收策略等等)和Serial收集器类似。默认的收集线程数跟cpu核数相同,当然也可以用参数(-XX:ParallelGCThreads)指定收集线程数,但是一般不推荐修改。
Parallel Scavenge收集器关注点是吞吐量(高效率的利用CPU)。CMS等垃圾收集器的关注点更多的是用户线程的停顿时间(提高用户体验)。所谓吞吐量就是CPU中用于运行用户代码的时间与CPU总消耗时间的比值。 Parallel Scavenge收集器提供了很多参数供用户找到最合适的停顿时间或最大吞吐量,如果对于收集器运作不太了解的话,可以选择把内存管理优化交给虚拟机去完成也是一个不错的选择。
新生代采用复制算法,老年代采用标记-整理算法。
1.3 ParNew收集器(-XX:+UseParNewGC)
ParNew收集器其实跟Parallel收集器很类似,区别主要在于它可以和CMS收集器配合使用。
新生代采用复制算法

它是许多运行在Server模式下的虚拟机的首要选择,除了Serial收集器外,只有它能与CMS收集器(真正意义上的并发收集器,后面会介绍到)配合工作。
可以看到的是ParNew垃圾收集器和Parallel垃圾收集器差不多,由于CMS垃圾收集器只能在老年代使用,而Parallel垃圾收集器不能和CMS配合使用,也就是说不能年轻代用Parallel垃圾收集器,老年代用CMS,所以又推出了ParNew垃圾收集器,也可以理解为ParNew垃圾收集器是在Parallel垃圾收集器上面做了改动。ParNew垃圾收集器和CMS垃圾收集器这一套组合有一段时间是很多公司在用的。
1.4 CMS收集器(-XX:+UseConcMarkSweepGC(old))重点
CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。它非常符合在注重用户体验的应用上使用,它是HotSpot虚拟机第一款真正意义上的并发收集器,它第一次实现了让垃圾收集线程与用户线程(基本上)同时工作。
从名字中的Mark Sweep这两个词可以看出,CMS收集器是一种 “标记-清除”算法实现的,它的运作过程相比于前面几种垃圾收集器来说更加复杂一些。整个过程分为四个步骤:
初始标记: 暂停所有的其他线程(STW),使用可达性分析算法从gc roots出发标记出所有直接能引用的对象,速度很快。
并发标记: 并发标记阶段就是从GC Roots的直接关联对象开始遍历整个对象图的过程, 这个过程耗时较长但是不需要停顿用户线程(为了用户体验好), 可以与垃圾收集线程一起并发运行。因为用户程序继续运行,可能会有导致已经标记过的对象状态发生改变(开始标记的时候,程序在运行,但是等到标记结束之后,这个对象又变为垃圾了或者是刚开始标记为了垃圾,但是标记完之后又不是垃圾了,被别人又引用了)。
重新标记: 重新标记阶段就是为了修正并发标记期间因为用户程序继续运行而导致标记产生变动的那一部分对象的标记记录(主要是处理漏标问题),这个阶段的停顿时间(STW)一般会比初始标记阶段的时间稍长,远远比并发标记阶段时间短。主要用到三色标记里的增量更新算法(见下面详解)做重新标记。
并发清理: 开启用户线程,同时GC线程开始对未标记的区域做清扫。这个阶段如果有新增对象会被标记为黑色不做任何处理(见下面三色标记算法详解)。
并发重置:重置本次GC过程中的标记数据。

从它的名字就可以看出它是一款优秀的垃圾收集器,主要优点:并发收集、低停顿。但是它有下面几个明显的缺点:
对CPU资源敏感(会和服务抢资源);
无法处理浮动垃圾(在并发标记和并发清理阶段又产生垃圾,这种浮动垃圾只能等到下一次gc再清理了);
它使用的回收算法-“标记-清除”算法会导致收集结束时会有大量空间碎片产生,当然通过参数-XX:+UseCMSCompactAtFullCollection可以让jvm在执行完标记清除后再做整理
执行过程中的不确定性,会存在上一次垃圾回收还没执行完,然后垃圾回收又被触发的情况,特别是在并发标记和并发清理阶段会出现,一边回收,系统一边运行,也许没回收完就再次触发full gc,也就是"concurrent mode failure",此时会进入stop the world,用serial old垃圾收集器来回收
但是Parallel和cms的区别就在于Parallel更注重吞吐量,因为它在回收垃圾的时候STW,应用线程停止,然后整个cpu资源都给了GC线程,但是cms只会在初始标记和重新标记的时候STW,这个STW的时间是很短很短的,并发标记的时间占用了整个垃圾回收时间的80%,所以cms更注重的是用户体验。
cms整个垃圾回收消耗的时间肯定比Parallel回收消耗的时间长,因为在并发标记的时候,cms会把cpu资源分配给应用线程一部分,但是对于用户的体验是不一样的,假如Parallel STW的时间是1s,那么GC的时间也是1s,但是cms每次STW的时间是0.1s,但是整个GC的时间是大于1s的。那么对于用户来说CMS只有初始标记和重新标记这两个地方可能会卡顿,但是可以忽略不记,几乎是很流畅,而Parallel会让用户明显感觉到有卡顿。
那么concurrent mode failure这种情况怎么解决呢?可以通过几个参数来解决。
CMS的相关核心参数
-XX:+UseConcMarkSweepGC:启用cms
-XX:ConcGCThreads:并发的GC线程数
-XX:+UseCMSCompactAtFullCollection:FullGC之后做压缩整理(减少碎片)
-XX:CMSFullGCsBeforeCompaction:多少次FullGC之后压缩一次,默认是0,代表每次FullGC后都会压缩一次
-XX:CMSInitiatingOccupancyFraction: 当老年代使用达到该比例时会触发FullGC(默认是92,这是百分比)剩下8%的空间用来存放并发执行过程中如果有新对象过来,还可以放进去,防止concurrent mode failure,如果系统中大对象比较多,那么就要结合实际业务场景把这个值调的小一点。
-XX:+UseCMSInitiatingOccupancyOnly:只使用设定的回收阈值(-XX:CMSInitiatingOccupancyFraction设定的值),如果不指定,JVM仅在第一次使用设定值,后续则会自动调整
-XX:+CMSScavengeBeforeRemark:在CMS GC前启动一次minor gc,降低CMS GC标记阶段(也会对年轻代一起做标记,如果在minor gc就干掉了很多对垃圾对象,标记阶段就会减少一些标记时间)时的开销,一般CMS的GC耗时 80%都在标记阶段
-XX:+CMSParallellnitialMarkEnabled:表示在初始标记的时候多线程执行,缩短STW
-XX:+CMSParallelRemarkEnabled:在重新标记的时候多线程执行,缩短STW;
-XX如果X比较多的话,就证明这些参数越不稳定,可能会在后面的jdk9、10....等等废除掉,这个不稳定指的不是性能不稳定,而是这个参数在将来的版本不一定能用,指的其实是这个不稳定。
垃圾收集底层算法实现
三色标记
在并发标记的过程中,因为标记期间应用线程还在继续跑,对象间的引用可能发生变化,多标和漏标的情况就有可能发生。漏标的问题主要引入了三色标记算法来解决。
三色标记算法是把Gc roots可达性分析遍历对象过程中遇到的对象, 按照“是否访问过”这个条件标记成以下三种颜色:
黑色:表示对象已经被垃圾收集器访问过, 且这个对象的所有引用都已经扫描过。黑色的对象代表已经扫描过, 它是安全存活的, 如果有其他对象引用指向了黑色对象, 无须重新扫描一遍。黑色对象不可能直接(不经过灰色对象) 指向某个白色对象。
灰色:表示对象已经被垃圾收集器访问过, 但这个对象上至少存在一个引用还没有被扫描过。
白色:表示对象尚未被垃圾收集器访问过。显然在可达性分析刚刚开始的阶段, 所有的对象都是白色的, 若在分析结束的阶段, 仍然是白色的对象, 即代表不可达。

public class ThreeColorRemark {public static void main(String[] args) {// 初始标记 a 标记为A这个对象A a = new A();//开始做并发标记D d = a.b.d; // 1.读a.b.d = null; // 2.写a.d = d; // 3.写}}class A {B b = new B();D d = null;}class B {C c = new C();D d = new D();}class C {}class D {}
这里有一段代码示例,从a 扫描到A这个对象,这个过程是初始标记,当我后面接下来做并发标记的时候,如果A扫描到了B引用的成员变量,这个时候A会被标记为黑色,因为A下面的所有的成员变量都已经被扫描完了,D因为是空值,所以不用扫描,扫描不到对象,但是B这个对象引用了c和d,但是这个时候把c扫描完,还没有来得及扫描d,那这个B就会被标记为灰色,C这个对象被扫描到了,因为它没有任何的引用,所以被标记为黑色,D因为还没有被扫描到,所以标记为白色。这个大概就是三色标记的一个过程。(默认都是白色)
说白了就是从GC roots出发,扫描整个堆,然后把这些对象标记为黑、灰、白三种颜色,黑、灰色的对象肯定不可能被回收,但是白色的对象因为扫描不到,所以会被回收三色标记算法是可达性分析算法底层的一个算法。
再来说图中BD和AD相连的部分,初始标记完之后,并发标记开始
D d = a.b.d; 先找了一个d这个临时引用,引用a.b.d这个对象,然后
a.b.d = null; 把a.b.d这个对象的引用置为null;就是把B指向D的指针去掉,然后a.d = d; a.d原来是null,现在又把它指向上面d这个临时引用,说白了就是A指向D,所以BD的连线刚开始有后来就没有了,AD的连线刚开始没有后来有了,这里的连线可以理解为引用
这样的话三色标记算法就有一个问题就是A这个对象不会去扫描了,所以不会扫描到D,但是B这个对象再扫描的话扫描不到D了,但是A还引用着D , 这样的话D是不是就漏标了,然后把D清除了,这不就是严重的bug吗?
多标-浮动垃圾
在并发标记过程中,如果由于方法运行结束导致部分局部变量(gcroot)被销毁,这个gcroot引用的对象之前又被扫描过(被标记为非垃圾对象),那么本轮GC不会回收这部分内存。这部分本应该回收但是没有回收到的内存,被称之为“浮动垃圾”。浮动垃圾并不会影响垃圾回收的正确性,只是需要等到下一轮垃圾回收中才被清除。
另外,针对并发标记(还有并发清理)开始后产生的新对象,通常的做法是直接全部当成黑色,本轮不会进行清除。这部分对象期间可能也会变为垃圾,这也算是浮动垃圾的一部分。
漏标-读写屏障
漏标会导致被引用的对象被当成垃圾误删除,这是严重bug,必须解决,有两种解决方案: 增量更新(Incremental Update) 和原始快照(Snapshot At The Beginning,SATB) 。
增量更新就是当黑色对象插入新的指向白色对象的引用关系时, 就将这个新插入的引用记录下来, 等并发扫描结束之后, 再将这些记录过的引用关系中的黑色对象为根, 重新扫描一次。也就是黑色对象一旦新插入了指向白色对象的引用之后, 它就变回灰色对象了。
说简单一点就是 把新增的源头(白色 ,对应上面的例子是D)和它引用对象都记录到一个集合(C++数据结构)里面, 然后根据这个引用里面的东西把它的源头重新标记(STW)为灰色,那么将来就不会被收集.
原始快照就是当灰色对象要删除指向白色对象的引用关系时(赋值为null之前), 就将这个要删除的引用记录下来,也是记录到一个集合中, 在并发扫描结束之后, 再将这些记录过的引用关系中的灰色对象为根, 重新扫描一次,这样就能扫描到白色的对象,将白色对象直接标记为黑色 , 目的就是让这种对象在本轮gc清理中能存活下来,待下一轮gc的时候重新扫描,这个对象也有可能是浮动垃圾 , 也就是说 a.b.d = null; 之后再没有给d赋值, 这个时候d必然是垃圾对象 , 但是被标记为了黑色,这样不就成了浮动垃圾了,所以再这一轮回收是不会被回收的, 下一轮回收的时候会被回收的, 但是 a.b.d = null;之后又赋值了a.d = d; 那很正常,d本来就不是垃圾对象 , 不应该被回收 , 所以被标记为黑色.
以上无论是对引用关系记录的插入还是删除, 虚拟机的记录操作都是通过写屏障实现的。
写屏障
给某个对象的成员变量赋值时,其底层代码大概长这样:
/*** @param field 某对象的成员变量,如 a.b.d* @param new_value 新值,如 null*/void oop_field_store(oop* field, oop new_value) {*field = new_value; // 赋值操作}
所谓的写屏障,其实就是指在赋值操作前后,加入一些处理(可以参考AOP的概念):
void oop_field_store(oop* field, oop new_value) {pre_write_barrier(field); // 写屏障-写前操作*field = new_value;post_write_barrier(field, value); // 写屏障-写后操作}
写屏障实现SATB
当对象B的成员变量的引用发生变化时,比如引用消失(a.b.d = null),我们可以利用写屏障,将B原来成员变量的引用对象D记录下来:
void pre_write_barrier(oop* field) {oop old_value = *field; // 获取旧值remark_set.add(old_value); // 记录原来的引用对象}
写屏障实现增量更新
当对象A的成员变量的引用发生变化时,比如新增引用(a.d = d),我们可以利用写屏障,将A新的成员变量引用对象D记录下来:
void post_write_barrier(oop* field, oop new_value) {remark_set.add(new_value); // 记录新引用的对象}
读屏障
oop oop_field_load(oop* field) {pre_load_barrier(field); // 读屏障-读取前操作return *field;}
读屏障是直接针对第一步:D d = a.b.d,当读取成员变量时,一律记录下来:
void pre_load_barrier(oop* field) {oop old_value = *field;remark_set.add(old_value); // 记录读取到的对象}
现代追踪式(可达性分析)的垃圾回收器几乎都借鉴了三色标记的算法思想,尽管实现的方式不尽相同:比如白色/黑色集合一般都不会出现(但是有其他体现颜色的地方)、灰色集合可以通过栈/队列/缓存日志等方式进行实现、遍历方式可以是广度/深度遍历等等。
对于读写屏障,以Java HotSpot VM为例,其并发标记时对漏标的处理方案如下:
CMS:写屏障 + 增量更新
G1,Shenandoah:写屏障 + SATB
ZGC:读屏障
工程实现中,读写屏障还有其他功能,比如写屏障可以用于记录跨代/区引用的变化,读屏障可以用于支持移动对象的并发执行等。功能之外,还有性能的考虑,所以对于选择哪种,每款垃圾回收器都有自己的想法。
为什么G1用SATB?CMS用增量更新?
我的理解:SATB相对增量更新效率会高(当然SATB可能造成更多的浮动垃圾),因为不需要在重新标记阶段再次深度扫描被删除引用对象,而CMS对增量引用的根对象会做深度扫描,G1因为很多对象都位于不同的region,CMS就一块老年代区域,重新深度扫描对象的话G1的代价会比CMS高,所以G1选择SATB不深度扫描对象,只是简单标记,等到下一轮GC再深度扫描。
写在最后
如果您觉得这些文章对您有所启发和帮助,何不将它们与您的好友分享呢?这样,他们也能够享受其中的精彩内容,并从中获得启发。谢谢您的支持与分享!~
同时也希望您用发财的手帮忙点个关注,可以通过下方菜单点击福利领取上千套简历模板、几千道的面试题pdf以及几百G涵盖了Java开发,前端开发,小程序开发,数据库,测试等等的相关学习书籍与资料。

另外也可以通过点击交流群按钮添加我好友,然后拉您到自己的创建的Java知识分享群。一起去讨论、学习、成长、进步,谢谢~




