activemq 内存_ActiveMQ：了解内存使用情况

activemq 内存

正如最近的一些邮件列表电子邮件和Google返回的许多信息所表明的那样，ActiveMQ的SystemUsage尤其是MemoryUsage功能使一些人感到困惑。 我将尝试解释有关MemoryUsage的一些细节，这些细节可能有助于理解它的工作方式。 我将不介绍StoreUsage和TempUsage，因为我的同事已经深入 介绍了这些内容 。

您可以使用activemq.xml配置的一部分来指定SystemUsage限制，特别是围绕代理可以使用的内存，持久性存储和临时存储。 这是ActiveMQ 5.7随附的默认值的示例：

1.   <systemUsage>
2.   <systemUsage>
3.   <memoryUsage>
4.   <memoryUsage limit="64 mb"/>
5.   </memoryUsage>
6.   <storeUsage>
7.   <storeUsage limit="100 gb"/>
8.   </storeUsage>
9.   <tempUsage>
10.   <tempUsage limit="50 gb"/>
11.   </tempUsage>
12.   </systemUsage>
13.   </systemUsage>

内存使用情况

MemoryUsage似乎引起了最大的混乱，因此我在这里尝试阐明其内部工作原理。

当消息传入经纪人时，它必须走到某个地方。 它首先被解组断丝进入类型的ActiveMQ的命令对象ActiveMQMessage 。 目前，该对象显然已在内存中，但代理程序并未对其进行跟踪。

这将我们带到了第一点。

MemoryUsage实际上只是代理所需的字节数计数器，用于跟踪消息正在使用的JVM内存量。 这为经纪人提供了某种监视和确保我们不会超出极限的方法（稍后会详细介绍）。 否则，直到JVM用完堆空间之前，我们都可以在不知道限制的情况下接受消息。

因此，我们从线下传来了消息。 有了这些信息后，代理将查看消息需要路由到哪个目的地（或多个目的地）。 一旦找到目的地，它将“发送”到那里。 目的地将增加消息的引用计数（以稍后知道消息是否被视为“活动”）并继续对其进行处理。 对于第一个参考计数，内存使用量会增加。 对于最后的引用计数，内存使用量会减少。 如果目标是队列，它将把消息存储到一个持久位置，并尝试将其分发给使用者订阅。 如果是主题，它将尝试将其分发给所有订阅。 一路走来（从最初进入目的地到将消息发送给消费者的订阅），消息引用计数可以增加或减少。 只要它的引用计数大于或等于1，就会在内存中进行说明。

同样，MemoryUsage 只是一个对象，它对消息的字节进行计数，以了解已使用了多少JVM内存来保存消息。

所以，现在我们对这些的MemoryUsage是什么样一个基本的了解，让我们在一对夫妇的事情仔细看看：

1. MemoryUsage层次结构（我可以在策略条目上配置的此目标内存限制是多少？）？
2. 生产者流控制
3. 在目标和订阅（生产者和消费者）之间分配内存使用情况？

主代理内存，目标内存，订阅内存

代理加载后，它将创建自己的SystemUsage对象（或使用配置中指定的对象）。 众所周知，SystemUsage对象具有与之关联的MemoryUsage，StoreUsage和TempUsage。 内存组件将称为代理的主内存。 它是一个使用对象，用于跟踪总体（目标，预订等）内存。

创建目的地后，目的地将创建自己的SystemUsage对象（它将创建自己的单独的Memory，Store和Temp Usage对象），但会将其父对象设置为代理的主SystemUsage对象。 目的地可以单独调整其内存限制（但不能调整存储和临时，它们仍将委派给父对象）。 设置目标的内存限制：

1.   <destinationPolicy>
2.   <policyMap>
3.   <policyEntries>
4.   <policyEntry queue=">" memoryLimit="5MB"/>
5.   </policyEntries>
6.   </policyMap>
7.   </destinationPolicy>

因此，可以将目标使用情况对象用于更好地控制MemoryUsage，但对于所有使用情况计数，它始终与主内存协调。 此功能可用于限制目标保留的消息数量，以使单个目标不会饿死其他目标。 对于队列，它还会影响商店光标的高水位线。 队列对于持久性消息和非持久性消息具有不同的游标。 如果我们达到高水位线（目标内存限制的阈值），则不会再缓存任何邮件以准备发送，并且可以根据需要将非持久性消息清除到临时磁盘（如果
StoreCursor将使用FilePendingMessageCursor…否则，它将仅使用VMPendingMessageCursor而不会清除到临时存储）。

如果您没有为单个目标指定内存限制，则目标的SystemUsage将委派给所有使用计数的父级（Main SystemUsage）。 这意味着它将对所有与内存相关的计数有效地使用代理的Main SystemUsage。

另一方面，消费者订阅对自己的SystemUsage或MemoryUsage计数器没有任何概念。 他们将始终使用代理的Main SystemUsage对象。 关于此问题，要注意的主要事情是使用FilePendingMessageCursor进行订阅（例如，对于主题订阅）时，直到达到光标高水位标记（默认为70％）时，消息才会交换到磁盘上。这意味着将需要达到70％的主内存。 可能要花一会儿时间，并且很多消息都可以保留在内存中。 而且，如果您的订阅是保存大多数此类消息的订阅，则交换到磁盘可能需要一段时间。 当主题一次将消息分发给一个订阅时，如果一个订阅由于将消息交换到磁盘而停止，则准备接收消息的其余订阅也会感到速度变慢。

您可以将主题订阅的游标高水位线设置为低于默认值：

1.   <destinationPolicy>
2.   <policyMap>
3.   <policyEntries>
4.   <policyEntry topic="FOO.BAR.>" cursorMemoryHighWaterMark="30" />
5.   </policyEntries>
6.   </policyMap>
7.   </destinationPolicy>

对于感兴趣的人...当消息到达目标时，将在消息上设置MemoryUsage对象，以便当Message.incrementReferenceCount（）可以增加内存使用量（第一次引用时）。 因此，这意味着它是由目标的内存使用情况（以及主内存）所引起的，因为目标的内存在使用情况发生变化时也会通知其父级，并且会继续这样做。 唯一会改变的是消息是否交换到磁盘上。 交换时，其引用计数将减少，其内存使用量将减少，并且一旦进入磁盘，它将丢失其MemoryUsage对象。 因此，当它恢复活力时，哪个MemoryUsage对象将与该对象相关联，并将在何处计数？ 如果将其交换到队列的存储中，则在重组时，它将再次与目标内存使用量相关联。 如果已将其交换到预订中的临时存储中（例如在FilePendingMessageCursor中），则在重新构成时，它将不再与目标的内存使用量相关联。 它将与订阅的内存使用量（即主内存）相关联。

生产者流控制

跟踪消息使用的内存的最大胜利是生产者流控制（PFC） 。 PFC默认情况下处于启用状态，当达到使用限制时，基本上会减慢生产者的速度。 这可以防止代理超出其限制并耗尽资源。 对于同步发送的生产者或指定了生产者窗口的异步发送，如果达到系统使用率，则代理将阻止该单个生产者，但不会阻止连接。 取而代之的是它将消息暂时搁置以等待空间可用。 一旦消息被存储，它将仅发回ProducerAck。 在此之前，客户端应该阻止其发送操作（不会阻止连接本身）。 ActiveMQ 5.x客户端库可以为您处理此问题。 但是，如果在没有生产者窗口的情况下发送了异步发送，或者如果生产者行为不正常并且忽略了ProducerAcks，则PFC实际上会在到达内存时阻塞整个连接。 如果您的使用者共享同一连接，则可能导致死锁。

如果生产者流控制已关闭，则必须更加注意如何设置系统使用率。 当生产者流控制关闭时，它的基本含义是“经纪人，您必须接受传入的每条消息，无论消费者是否能跟上。” 这可用于处理到达目的地的传入消息的峰值。 如果您曾经看到日志中的内存使用严重超出了您设置的限制，则可能是PFC已关闭，这是预期的行为。

分割经纪人的主存

所以……我之前说过，目的地的内存使用代理的主内存作为父代，而订阅没有自己的内存计数器，它们仅使用代理的主内存。 嗯，这在默认情况下是正确的，但是如果找到原因，则可以进一步调整内存的划分和限制方式。 这里的想法是您可以将代理的主内存划分为“生产者”和“消费者”部分。

生产者部分将用于与进入代理的消息相关的所有事物，因此将在目的地中使用。 因此，这意味着，当一个目标上创建了自己的MemoryUsage，它将使用生产者内存作为其母公司，以及生产者的内存将使用代理的主存储器的一部分 。

另一方面，消费者部分将用于与向消费者分发消息有关的所有事情。 这意味着订阅。 与其直接使用代理的主内存进行预订，不如使用使用方内存（它将是主内存的一部分）进行订阅。 理想情况下，消费者部分和生产者部分将等于整个经纪人的主内存。

要在生产者和使用者之间分配内存，请在主<broker/>元素上设置splitSystemUsageForProducersConsumers属性：

<broker splitSystemUsageForProducersConsumers='true'>

默认情况下，这会将代理的主内存使用量分为生产者60％和消费者40％。 要进一步调整，请在主代理元素上设置producerSystemUsagePortion和consumerSystemUsagePortion ：

<broker splitSystemUsageForProducersConsumers='true' producerSystemUsagePortion='70' consumerSystemUsagePortion='30'>

你有它。 希望这可以为代理的MemoryUsage带来一些启发。