前言
线程死锁是老生常谈的问题,线程池死锁本质上属于线程死锁的一部分,线程池造成的死锁问题往往和业务场景相关,当然更重要的是对线程池的理解不足,本文根据场景来说明一下常见的线程池死锁问题,当然也会包含线程死锁问题。
线程死锁场景
死锁的场景很多,有线程池相关,也有与线程相关,线程相关的线程池上往往也会出现,反之却不一定,本文会总结一些常见的场景,当然有些场景后续可能还需要补充。
经典互斥关系死锁
这种死锁是最常见的经典死锁,假定存在 A、B 2 个任务,A 需要 B 的资源,B 需要 A 的资源,双方都无法得到时便出现了死锁,这种情况是锁直接互相等待引发,一般的情况下通过dumpheap 的lock hashcode就能发现,相对来说容易定位的多。
//首先我们先定义两个final的对象锁.可以看做是共有的资源.
final Object lockA = new Object();
final Object lockB = new Object();
//生产者A
class ProductThreadA implements Runnable{
@Override
public void run() {
//这里一定要让线程睡一会儿来模拟处理数据 ,要不然的话死锁的现象不会那么的明显.这里就是同步语句块里面,首先获得对象锁lockA,然后执行一些代码,随后我们需要对象锁lockB去执行另外一些代码.
synchronized (lockA){
//这里一个log日志
Log.e("CHAO","ThreadA lock lockA");
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (lockB){
//这里一个log日志
Log.e("CHAO","ThreadA lock lockB");
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}
//生产者B
class ProductThreadB implements Runnable{
//我们生产的顺序真好好生产者A相反,我们首先需要对象锁lockB,然后需要对象锁lockA.
@Override
public void run() {
synchronized (lockB){
//这里一个log日志
Log.e("CHAO","ThreadB lock lockB");
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (lockA){
//这里一个log日志
Log.e("CHAO","ThreadB lock lockA");
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
}
//这里运行线程
ProductThreadA productThreadA = new ProductThreadA();
ProductThreadB productThreadB = new ProductThreadB();
Thread threadA = new Thread(productThreadA);
Thread threadB = new Thread(productThreadB);
threadA.start();
threadB.start();
这类问题需要进行排查和不断的优化,重点是优化逻辑尽量减少锁的使用,同时优化调度机制。
Submit递归等待调用死锁
原理是在固定的线程池数量中,不断的 submit 任务,并且从工作线程通过get等待任务完成, 但是线程池数量是固定的,从头到尾所有的线程没执行完成,某次 submit 时就没有足够的线程来处理任务,所有任务都处于等待。
ExecutorService pool = Executors.newSingleThreadExecutor(); //使用一个线程数模拟
pool.submit(() -> {
try {
log.info("First");
//上一个线程没有执行完,线程池没有线程来提交本次任务,会处于等待状态
pool.submit(() -> log.info("Second")).get();
log.info("Third");
} catch (InterruptedException | ExecutionException e) {
log.error("Error", e);
}
});
对于这种特殊逻辑,一定要思考清楚get方法调用的意义,如果仅仅为了串行执行,使用一般队列即可,当然你也可以join其他线程。
公用线程池线程 size 不足造成的死锁
该类死锁一般是把一个Size有限的线程池用于多个任务。
假定 A,B 两个业务各需要2个线程处理生产者和消费者业务,且每个业务都有自己的lock,但是业务之间的lock没有关联关系。提供一个公共线程池,线程大小为2,显然比较合理的执行任务需要4个,或者至少3个,在线程数量不足的情况下这种情况下死锁会高概率发生。
情形一:A,B 有序执行,不会造成死锁
情形二: A、B 并发执行,造成死锁
情形二出现的原因是 A,B 各分配了一个线程,当他们执行的条件都不满足的时处于要wait状态,这时线程池没有更多的线程提供,将导致 A、B 处于死锁。
因此,对于公用线程池的使用,Size不要设置过低,同时要尽可能避免加锁和太耗时的任务,如果有加锁和太耗时的需求,可以尝试使用专用线程池。
RejectedExecutionHandler 使用不当造成的 “死锁”
严格意义上不能称为死锁,但是这也是非常容易忽视的问题。原因在没检测线程池状态的情况下,通过RejectionExectutionHandler回调方法中将任务重新加回去,如此往复循环,锁住Caller线程。
一般处理任务时,触发该 RecjectedExecutionHandler 的情况分为 2 类,主要是 "线程池关闭"、“线程队列和线程数已经达到最大容量”,那么问题一般出现在前者,如果线程池 shutdown 关闭之后,我们尝试在该 Handler 中重新加入任务到线程池,那么会造成死循环问题。
锁住死循环
锁住死循环本身也是一种死锁,导致其他想获取锁资源的线程无法正常获取中断。
synchronized(lock){
while(true){
// do some slow things
}
}
这种循环锁也是相当经典,如果while内部没有wait的调用或者return或者break,那么这个锁会一直存在。
文件锁 & lock互斥
严格来说这种相对复杂,有可能是文件锁与lock互斥,也有可能是多进程文件锁获取时阻塞之后无法释放,导致java lock一直无法释放,因此对于发生死锁时,dumpheap时不要忽略文件操作相关的堆栈。
可见性不足
通常情况下,这不是死锁,而是线程无限循环,以至于该线程无法被其他任务使用,我们对一些线程循环会加一个变量标记其是否结束,但是如果可见性不足,也将无法造成退出的后果。
下面我们用主线程和普通线程模拟,我们在普通线程中修改变量A,但是A变量在主线程中可见性不足,导致主线程阻塞。
public class ThreadWatcher {
public int A = 0;
public static void main(String[] args) {
final ThreadWatcher threadWatcher = new ThreadWatcher();
WorkThread t = new WorkThread(threadWatcher);
t.start();
while (true) {
if (threadWatcher.A == 1) {
System.out.println("Main Thread exit");
break;
}
}
}
}
class WorkThread extends Thread {
private ThreadWatcher threadWatcher;
public WorkThread(ThreadWatcher threadWatcher) {
super();
this.threadWatcher = threadWatcher;
}
@Override
public void run() {
super.run();
System.out.println("sleep 1000");
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
this.threadWatcher.A = 1;
System.out.println("WorkThread exit");
}
}
打印结果:
sleep 1000
WorkThread exit
由于A缺乏可见性,导致主线程一直循环,这里有必要加上volatile或者使用atomic类,或者使用synchronized进行同步。注意,不能用final,final只能保证指令不可乱序,但不能保证可见性。
CountDownLatch 初始值过大
这个原因属于编程问题,比如需要2次countDown完成等待,而初始值为3次以上,必然导致等待的线程卡住。
CountDownLatch latch = new CountDownLatch(6);
ExecutorService service = Executors.newFixedThreadPool(5);
for(int i=0;i< 5;i++){
final int no = i+1;
Runnable runnable=new Runnable(){
@Override
public void run(){
try{
Thread.sleep((long)(Math.random()*10000));
System.out.println("No."+no+"准备好了。");
}catch(InterruptedException e){
e.printStackTrace();
}finally{
latch.countDown();
}
}
};
service.submit(runnable);
}
System.out.println("开始执行.....");
latch.await();
System.out.println("停止执行");
实际上这种问题排查起来比较容易,对于计数式waiter,一定确保waiter能结束,即使发生异常行为。
线程死锁优化建议
死锁一般和阻塞有关,对待死锁问题,不妨换一种方式。
常见的优化方法
- 1、可以有序执行,当然这种也降低了并发优势
- 2、不要共用同一线程池,如果要共用,避免加锁,阻塞和悬挂
- 3、使用公共锁资源的 wait (long timeout) 机制,让线程超时
- 4、如果过于担心线程池不能回收,建议使用 keepaliveTime+allowCoreThreadTimeOut,回收线程但不影响线程状态,可以继续提交任务。
- 5、必要时扩大线程池大小
公用线程任务移除
如果公共线程池正在执行的线程阻塞了,那所有的任务需要等待,对于不重要的任务,可以选择移除。
实际上正在执行的线程任务很难去终止,公用线程池可能造成大量任务pending,但是从公用线程池中移除任务队列显然是比较危险的操作。一种可行的方法是warp task,每次添加runnable时记录这些Task,退出特定业务时清理Warpper中的target目标任务
public class RemovableTask implements Runnable {
private static final String TAG = "RemovableTask";
private Runnable target = null;
private Object lock = new Object();
public RemovableTask(Runnable task) {
this.target = task;
}
public static RemovableTask warp(Runnable r) {
return new RemovableTask(r);
}
@Override
public void run() {
Runnable task;
synchronized (this.lock) {
task = this.target;
}
if (task == null) {
MLog.d(TAG,"-cancel task-");
return;
}
task.run();
}
public void dontRunIfPending() {
synchronized (this.lock) {
this.target = null;
}
}
}
下面进行任务清理
public void purgHotSongRunnable() {
for (RemovableTask r : pendingTaskLists){
r.dontRunIfPending();
}
}
注意,这里仍然还可以利用享元模式优化,减少RemovableTask的创建。
使用多路复用或协程
对于锁比较厌恶的开发者可以使用多路复用或协程,这种情况下存避免不必要的等待,将wait转化为notify,减少上下文切换,可以提高线程的执行效率。
说到对协程观点,一直存在争议: (1)协程是轻量级线程?但从cpu和系统角度,协程和多路复用都不是轻量级线程,CPU压根不认识这货,因此不可能比线程快,他只能加速线程的执行,Okhttp也不是轻量级Socket,再快也快不过Socket,他们都是并发编程框架或者风格。
(2)kotlin也不是假协程,有观点说kotlin会创建线程所以是假协程?epoll多路复用机制,难道所有任务都是epoll执行的么?简单的例子,从磁盘拷贝文件到内存,虽然CPU不参与,但DMA也是芯片,毫无疑问,也算线程。协程在用户态执行耗时任务,如果不启用线程,难不成要插入无数entry point 让单个线程执行一个任务?显然,对于协程的认知,有人夸有人贬,主要原因还是是对于“框架”和执行单元存在认知问题。
降低锁粒度
JIT对锁的优化分为锁消除和锁重入,但是很难对锁粒度进行优化,因此,不要添加过大的代码段显然是必要的,因此有些耗时逻辑本身不涉及变量的修改,大可不必加锁,只对修改变量的部分加锁即可。
总结
本文主要是对死锁的问题的优化建议,至于性能问题,其实我们遵循一个原则:在保证流畅度的情况下线程越少越好。对于必要存在的线程,可以使用队列缓冲、逃逸分析、对象标量化、锁消除、锁粗化、降低锁范围、多路复用、消除同步屏障、协程的角度去优化。
标签:Thread,lock,死锁,线程,new,Android,public From: https://blog.51cto.com/u_16175630/9042158