事故记录:
10点游戏开服，迅速冲破2300+单区同时在线
18点15分，运营反应玩家进不了，准备吃饭的人被抓回来排查故障
发现，由于直接内存被占满，一直在Full GC ,并且回收不掉，所以完全不处理玩家请求，通知运维重启服务器，临时解决。
2.考虑了下是不是把RPC连接数量改成了8条，超时改长了了导致，试着把数量减少，超时改成2个小时，发现直接内存随着时间推移还在增加。
3.把内存数据dump了一份下来，发现是netty底层占用比例大大超出了正常水平。
- 输出缓冲区ChannelOutboundBuffer
，Recycler 占了很大比例，问了度娘，没什么有用的信息，找Google,用关键词" ChannelOutboundBuffer out of Direct memory full gc"
搜到一篇文章，发现和我遇到的情况基本一致 ，
Direct memory exhausted after sending many notifications
Recycler could cache infinite resources
Fix a bug where Recycler's capacity can increase beyond its maximum #3203
Netty.4.0.24.final版本有个bug,原因是因为缓冲区的数据如果超过了max_capacity的话，if(size==maxCapacity){....}永远不会成立，所以内存占用会无限扩增导致。
更新netty 4.0.25 final版本，继续观察。
可以参考 这篇文章 Netty使用案例 -发送队列积压导致内存泄漏（一）
标签：netty,capacity,ChannelOutboundBuffer,内存,memory,bug,Netty4 From： https://blog.51cto.com/u_4176761/5973441