大量的应用程序、日益增长的用户规模、不断扩展的技术需求，以及对即时响应的持续追求。想想这些是否正是你在经历的。也许你尝试过自己构建工具来应对这些需求，但是大量的编码和集成工作使你焦头烂额。那你是否知道，有这样一个工具可以帮助你实现从缓存中执行所有查询？
一、推出Redis数据集成（RDI）的背景
企业面临着大量的应用程序、日益增长的用户规模、不断扩展的技术需求，以及对即时响应的持续追求。Redis Enterprise提供对数据的实时访问，并且可以水平扩展，但是如何使
有些组织决定自己承担，只是发现构建缓存预取（或有时称为提前刷新）非常困难。他们需要自己构建一个可靠的流传输管道。首先捕获源数据库中发生的所有数据更改，然后将数据转换为去规范化。他们需要集成多个组件（变更数据捕获, CDC)、流式传输和 Redis 连接器）、编码转换、错误处理和许多其他企业基本要求，而这些用于工具构建的时间可以去做更有成效的工作。
在用户面临着种种问题的情况下， Redis 数据集成 (RDI) 的公开预览版在万众期待下诞生了。RDI 允许开发人员将数据库转移到，而且不需要投入编码或集成工作。
二、进入Redis数据集成
Redis 数据集成(RDI)是在用户近乎实时地将数据从现有关系数据库同步到转移到
数据转换过程
l RDI 管道有两个阶段：
· 捕获数据库更改并将其流式传输到任务中
· 使用声明性指令对数据进行转换和去规范化，然后将其写入目标Redis 缓存
l 数据转换过程：
· Debezium是一个开源 CDC 平台，捕获源数据库中数据的更改并将其流式传输到 RDI。在 Redis 内，数据可以被进一步过滤、转换并映射到一个或多个
· RDI可以与其他CDC工具和数据流连接，借助这样的集成解决方案，开发人员可以使用核心，以简单的方式将各种数据库的更改流式传输到
使用Debezium提取
三、无代码数据过滤和转换
从源数据库捕获更改并将数据从一个地方传输到另一个地方已经很困难了。然而，流动数据还存在另一个挑战：转换部分，这意味着过滤数据并将数据映射到
1）RDI 提供了一个选项来指定每个源表所需的所有过滤和转换步骤。用 RDI 术语来说，这称为作业；每个作业都是一个
数据转换管道
l 过滤：
RDI 无需编码即可完成过滤，而不需要开发人员编写自定义代码。开发人员可以使用SQL 表达式或Jmespath 函数的声明式过滤器。RDI 附带了额外的自定义 Jmespath 函数，以方便作业创建者使用。
l RDI 有几个级别的数据转换：
· 基本转换：这是由。
· 结构化：RDI 引擎有一种默认的结构方式，可以通过无代码转换的功能将其构造为哈希或JSON 。您可以选择转换键和字段，甚至重新计算这些字段中的值。
· 去规范化：RDI 将源数据转换为。
l 故障排除：
RDI 包含一个跟踪工具，可帮助开发人员无需编写自定义代码，就可以创建复杂的数据管道并对其进行故障排除。这加快了流程并减少了所需的工作量和技能。
四、公开预览版中的附加功能：
· 至少保证一次交付
· Debezium 服务器和 RDI 的高可用性
· 死信队列, DLQ) 中的硬拒绝条目处理
· 支持的源数据库：Oracle、Postgres、MySQL、MariaDB、Percona XtraDB、Microsoft SQL Server 和 Cassandra（包括 DataStax DSE）
· 数据提取模式：初始快照和CDC（流更改）
· 声明式转换：过滤条件、Redis 键模式、更改字段名称、添加字段、删除字段、嵌套
· 支持的
· 开发人员工具：RDI 命令行界面脚手架和跟踪命令
· 操作员工具：RDI 命令行界面、Grafana 仪表板（通过 Prometheus 导出器进行指标）
五、什么情况下可以使用RDI ？
· 应用数据来自关系型数据库，不可替换。
· 关系数据库可以适应数据写入的速度，但无法扩展和执行以满足读取查询的负载。从关系数据库中转移读取查询是必要的。
· 缓存中的数据必须近乎实时地反映关系数据库中的数据，这一点至关重要。
· 关系数据库的更改率为中高水平，批量插入更改不能满足要求。
· 源数据库和Redis之间的数据映射需要一些数据操作。
六、Redis数据集成（RDI）的发展
RDI的目前版本是公开预览，以相反方向集成正在研究中：将对
· Write-behind：CDC 源是用户的用户的目标是下游关系数据库或用户享受
· Write-through：对关系数据库。
· 通读：如果发生缓存未命中，RDI 会自动从下游数据库获取丢失的数据，并将其作为键写回 Redis，以便将其返回给请求的应用程序。
七、如何开始使用？
RDI 目前仅适用于自我管理的 Redis Enterprise 集群。
l 如果您是RDI CLI软件包并按照快速入门指南中的步骤操作。安装指南将引导您完成会将数据从源数据库转移到
l 如果您不是Redis Enterprise 的现有客户，则需要首先安装适用于 Kubernetes的