流 （Streams）
当我们启动内核（函数）时，它会在 GPU 中排队等待执行，GPU 会顺序按照启动时间执行我们的内核。设备中启动的许多任务可能依赖于之前的任务，所以“将它们放在同一个队列中”是有道理的。例如，如果将数据异步复制到 GPU 以使用某个内核处理它，则复制的步骤本必须在内核运行之前完成。
但是如果有两个相互独立的内核，将它们放在同一个队列中有意义吗？不一定！因为对于这种情况，CUDA通过流的机制来进行处理。我们可以将流视为独立的队列，它们彼此独立运行，也可以同时运行。这样在运行许多独立任务时，这可以大大加快总运行时间。
完整文章：
https://avoid.overfit.cn/post/fd3454303b9b4a7e8a2898b7d24b41ec
标签：从头开始,队列,编程,独立,CUDA,GPU,运行,内核 From： https://www.cnblogs.com/deephub/p/16917533.html