- 2023-09-229.22日
今天简单学习了英语语法,主要在傍晚进行了乒乓球击打的简单练习,通过和朋友的击打,逐渐对乒乓球的旋转和击打有了更深的理解。
- 2023-07-05WideNet:让网络更宽而不是更深
前言 本文介绍了新加坡国立大学在2022aaai发布的一篇论文。WideNet是一种参数有效的框架,它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN),使模型沿宽度缩放。使用单独LN用于转换各种语义表示,而不是共享权重。本文转载自DeepHubIMBA仅用于学术分享,若侵权请联系
- 2023-07-05WideNet:让网络更宽而不是更深
这是新加坡国立大学在2022aaai发布的一篇论文。WideNet是一种参数有效的框架,它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN),使模型沿宽度缩放。使用单独LN用于转换各种语义表示,而不是共享权重。 https://avoid.overfit.cn/post/fd66d50b81fc4e4e83bb3bba42f4
- 2023-04-09论文推荐:DCSAU-Net,更深更紧凑注意力U-Net
这是一篇23年发布的新论文,论文提出了一种更深、更紧凑的分裂注意力的U-Net,该网络基于主特征守恒和紧凑分裂注意力模块,有效地利用了底层和高层语义信息。DCSAU-Net1、架构完整文章: https://avoid.overfit.cn/post/80c002a556cf4397aff76edfa62f16d0