论文：ICWS 2021 移动边缘计算中的用户分配：一种深度强化学习方法
目录
II. MOTIVATION-A Motivating Example
Nearest Neighbourhood Greedy Algorithm代码
Ⅰ.Introduction
随着对低延迟需求的增加，边缘计算或雾计算逐渐成为主流。当前最先进的技术假设边缘服务器上的总资源利用率等于从边缘服务器提供的所有服务的资源利用率的总和。然而，边缘服务器的资源利用率与服务请求数量之间通常存在高度非线性的关系，尤其CPU-GPU协同执行，使资源利用率的数学建模异常复杂。
Motivation：目前用于解决边缘用户分配（EUA）问题的算法普遍假设服务的资源利用率与边缘服务器上提供的服务数呈线性关系，假设服务器的总资源利用率是每个服务请求的资源占用量的累积总和。然而，实际服务过程中资源使用量是高度动态的，难以通过数学建模精确描述。
Method：提出一种设备端深度强化学习（DRL）框架来解决边缘用户分配（EUA）问题，基于与 MEC 系统的经验和交互逐步学习适当的资源分配。DRL Agent在服务延迟阈值约束下学习在某边缘服务器上服务的用户数量。DRL Agent通过同时观察系统参数，直接从边缘服务器中学习非线性依赖关系。
Conclusion：实验评估表明，DRL框架在用户分配数量方面优于传统的确定性方法。
II. MOTIVATION-A.验证假设的观察结果
分别使用 GPU 和不使用 GPU 观察目标检测应用程序 YOLO处理图像的服务执行时间:
非线性关系：YOLO的执行时间与CPU和GPU参数之间的关系是非线性的。表明执行时间不仅仅取决于单一的参数变化，还受到许多隐含因素的影响，例如CPU/GPU的可用性。
复杂性：由于存在多个隐藏参数，精确建模YOLO执行时间与系统资源之间的关系是相对困难的。
建模服务执行时间困难:
•可用处理器资源和执行时间之间的非线性关系:可用处理器资源和执行时间之间存在非线性关系，内核数量少时减少内核数量对执行时间的影响更显著，在高工作负载情况下增加后台工作负载会显著减慢执行速度。
• 跨时间的变化：相同配置的同一台机器上执行时间也存在显着差异，受服务调用模式和温度等多个隐藏参数影响。
• 跨服务的变化：不同服务的执行时间模式各异，如 Yolo 执行时间随用户增加近似线性增长，而 MobileNet 表现为非线性，使建模任务复杂化。
II. MOTIVATION-A Motivating Example
七个移动用户 U1、U2 .. U7和两个边缘服务器 e1 和 e2，每个用户请求边缘服务器上可用的两个服务 s1 和 s2 之一，用户U1、U2、U4和U6请求服务s1，其余用户请求服务s2，每个边缘服务器由一个资源向量4 元组（Available RAM、Core 的数量、CPU 后台工作负载%、GPU Utilized%）。
解释传统的确定性方法如何导致用户到服务器的分配效率低下：
如对于边缘服务器 e1，服务s1的单个用户请求的执行时间为 3.12s，四个用户的预期执行时间用线性插值得到12.48 s。然而实际 3.468 s。
假设延迟阈值6.58 秒，用仅考虑服务单个请求的执行时间的确定性方法将U1、U2和U3分配给e1，只会给s1分配2个用户（每个用户3.12s），给s2分配1个用户（6.32s）
使用确定性方法分配的用户总数为 3
数据驱动方法的基本思想
数据驱动方法基于实际的执行时间数据和更精确的资源利用模型进行用户到服务器的分配，克服确定性方法的缺点，提供更有效的资源分配。
运行 YOLO 的四个用户的执行时间低于 6.55 的延迟阈值。实际上可以在 e1 上分配用户 U1、U2、U4(只需 3.35)。e2 可以容纳 U5 和 U7（只需 6.12）。
使用数据驱动的方法分配总共 5 个用户（比确定性方法多 2 个用户），更准确地建模资源利用率。
III.强化学习分配
MEC环境中每个边缘服务器
的覆盖率半径为
。边缘服务器覆盖半径内的移动users
可以请求托管在该服务器上的服务
。每个边缘服务器上可用资源（RAM、Cores、CPU 背景工作负载%、GPU Utilized%）
分配策略根据动态因素确定用户与特定边缘服务器的绑定：
a)新用户加入边缘服务器的覆盖区域 (b)用户远离边缘服务器的覆盖区域 (c)用户服务请求更改 (d)边缘服务器或移动用户离线
分配策略目标是在遵守服务执行的延迟阈值
标签：ngb,MEC,list,用户,server,Allocation,User,服务器,分配 From： https://blog.csdn.net/qq_61897765/article/details/140584867