25/1/14 算法笔记＜强化学习＞ CBR加强化学习

CBR,基于案例的推理，它是一种基于过去的实际经验或经历的推理，他可以根据过往的案例找到与当前案例最相关的案例，然后对该案例做改动来解决当前的问题。

CBR的过程

CBR可以看作一个循环过程：相似按键检索-->案例重用-->案例修改-->案例学习

遇到新问题时，将新问题通过案例描述输入CBR系统，系统会检索出与目标案例最匹配的案例，若有与目标案例情况一致的源案例则直接交给用户，若没有则根据目标案例的情况对相似案例的解决方案调整修改。

案例检索

那么案例检索会用到哪些方法呢？有以下几种：

1.基于内容的检索：提取案例关机按，使用距离度量计算新问题与案例之间的相似度。

2.基于索引的检索：先对案例进行所以，以快速检索，使用梳妆结构来组织案例，以提高检索效率

3.基于规则的检索：依赖预定义的规则来检索案例，规则可以基于专家知识或经验

4.基于类的检索：将案例根据某些特征分为不同的类，检索时首先确定新问题的类，然后在该类中查找相似案例。

5.混合检索：结合多种检索方法

6机器学习增强检索：利用机器学习技术来改进案例检索过程。使用神经网络提取特征，加入强化学习，反馈优化检索策略。

看到这我就发觉这算法和强化学习有多大区别吗，甚至都没归纳到机器学习中。

之后网上查找

首先推理机制不同

CBR是依赖过去的案例来解决问题，而不是通过学习模型来进行预测

机器学习是侧重学习模式，通过训练模型进行预测或者分类

简单的说是这样的，CBR作为一个研究领域，起源较早，主要是受到心理学和认知科学的影响，强调如何利用经验进行推理。

CBR和强化学习

嘿看我们的标题，你说这CBR不是经验吗，那这和强化学习不也就差不多吗，而且这不就是专家系统吗，为什么有不分入强化学习呢？

网上说并不是同一个概念，我看了之后发现其实还是有很多的相似点，不同肯能就是，专家系统是存储的是领域专家的知识，经验和规则，CBR存储的是案例，也可以是失败的案例，它是通过检索与新问题相似的历史案例来找到解决方案，应该就是一个找方案的方式不一样，一个是让训练好的专家分析，一个是去案例库里面直接找。

但是，CBR是不是专家系统那不重要啊(滑稽)，我能让强化学习加入它吗？

包行的啊，老弟！

我们用CBR存储案例，然后强化学习过程中调用案例库，解决相似的问题

看下代码：
导入库

import numpy as np
import gym
from collections import deque 创建双端队列，适合存储案例。

CBR类

class CBR:
    def __init__(self, max_size=100):
        self.case_base = deque(maxlen=max_size)

添加案例

将一个新的案例（状态、动作、奖励、下一个状态）添加到案例库中。

    def add_case(self, state, action, reward, next_state):
        self.case_base.append((state, action, reward, next_state))

检索案例

根据当前状态检索最相似的案例

    def retrieve_case(self, current_state):
        if not self.case_base:
            return None
        return min(self.case_base, key=lambda case: np.linalg.norm(np.array(case[0]) - np.array(current_state)))

RL agent类

class RLAgent:
    def __init__(self, action_space):
        self.q_table = {}
        self.action_space = action_space
        self.epsilon = 1.0  # 探索率
        self.gamma = 0.99    # 折扣因子
        self.alpha = 0.1     # 学习率
        self.cbr = CBR()

动作选择

    def get_action(self, state):
        if np.random.rand() < self.epsilon:
            return self.action_space.sample()  # 随机选择动作
        return self.q_table.get(state, {}).get(max(self.q_table.get(state, {}), key=lambda x: self.q_table.get(state, {}).get(x, 0)), 0)

更新Q值

    def update_q_value(self, state, action, reward, next_state):
        if state not in self.q_table:
            self.q_table[state] = {}
        if action not in self.q_table[state]:
            self.q_table[state][action] = 0

        # Q-learning 更新
        best_next_action = max(self.q_table.get(next_state, {}), key=lambda x: self.q_table.get(next_state, {}).get(x, 0), default=0)
        td_target = reward + self.gamma * self.q_table.get(next_state, {}).get(best_next_action, 0)
        self.q_table[state][action] += self.alpha * (td_target - self.q_table[state][action])

从案例中学习

    def learn_from_case(self, case):
        state, action, reward, next_state = case
        self.update_q_value(state, action, reward, next_state)

主函数

def main():
    env = gym.make('CartPole-v1')
    agent = RLAgent(env.action_space)

    num_episodes = 1000
    for episode in range(num_episodes):
        state = env.reset()
        done = False
        while not done:
            action = agent.get_action(tuple(state))
            next_state, reward, done, _ = env.step(action)

            # 存储案例
            agent.cbr.add_case(tuple(state), action, reward, tuple(next_state))

            # 更新 Q 值
            agent.update_q_value(tuple(state), action, reward, tuple(next_state))

            # 从案例中学习
            case = agent.cbr.retrieve_case(tuple(state))
            if case:
                agent.learn_from_case(case)

            state = next_state

        # 逐渐减少探索率
        agent.epsilon = max(0.01, agent.epsilon * 0.995)

    env.close()

实际当中，我们还需要根据案例然后对对当前状态进行调整，这里就做了个大概。

ok，over,明天见啦！