不知不觉间，2022年的脚步已经走到了倒数第二个月。临近年末，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如基线告警、数据服务平台新增TDengine 数据源支持、行级权限根据用户属性实现动态赋权。
以下为袋鼠云产品功能更新报告第二期内容，更多探索，请继续阅读。
数栈DTinsight
离线开发平台
1.支持对接Trino引擎
创建项目时支持对接Trino引擎，支持创建和运行Trino任务。
2.个人账号支持绑定Kerberos认证
数栈支持对用户或用户组绑定Kerberos证书，并支持以用户级/用户组级Kerberos账号进行任务提交。
3.基线告警
基线是一组任务的管理单位，被纳入同一组基线的任务一般需要相同的产出时间。一条基线被纳入监控后，该基线中的任务及其所有上游的任务都会被自动监控。
基线在基线管理中开启时，每天晚上24点会生成第二天的基线实例，以对第二天的基线上任务所产生的实例进行监控。
例子：如下图，设一条基线包含任务D、E，则D、E及其上游的A、B都会被纳入监控。
如果某任务的下游没有被纳入基线的任务（例如C），则即使该任务异常，智能监控也不会报警。
4.安全审计增加类目
5.NULL可以选择识别为NULL
数据同步任务中，FTP作为源数据源时，NULL可以选择识别为NULL或者空字符串
6.整库同步可以选择同步任务存放目录
7.其他优化项
· 在IDE中进行任务切换时，会记住上次代码浏览位置
· postgresql、db2、greenplum、kingbase、mysql、oceanbase、oracle、sqlserber、tidb等任务，存储函数使用select * from procedure（） /select procedure（）调用时，在调度不会执行的问题修复
· 表查询结果限制，所有SQL任务数据查询结果默认仅显示1000条
· 数据同步任务当HDFS分区不存在时，高级配置中可配置是否报错
具体说明：通过指定高级配置中failedIfPathNotExist的状态，来配置是否进行报错提示：
若failedIfPathNotExist=true，则报错；若failedIfPathNotExist=false，则不报错
8.技术改造
· 统计数据流量统计优化
· SQL加密解密防止某些关键字被拦
· 支持spark UDF
· inceptor同步支持直接读写文件的方式去进行数据同步
实时开发平台
1.产品首页改造
在原来只有项目入口和帮助手册入口的基础上，新增了更多运维信息。帮助用户进入产品后，不需要一个个进入项目，可以直观的看到目前项目运行情况、当前需要处理什么问题，提高产品可用性。
2.任务运行日志推送
在【任务开发-任务设置】页面，支持将任务运行日志推送至外部Kafka，运维人员可基于日志信息做更丰富的日志分析、任务监控等工作。
3.优化项目
· PyFlink任务在创建时可以引用第三方python包
· Flink1.12兼容TiDB Connector
· Flink1.10/1.12兼容开启SASL认证的Kafka Connector
· 优化日志打印格式，避免出现/n/t等字符
· Source Connector新增支持了RocketMQ
数据服务平台
1.【生成API】新增TDengine 数据源支持
TDengine 是一款高性能、分布式、支持 SQL 的时序数据库，广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。除核心的时序数据库功能外，TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。
目前EasyAPI支持TDengine基本SQL语句的查询功能，可以在「生成API」-「自定义SQL模式」DQL模式下创建TDengine API服务。
2.【API市场】增加批量导出功能
支持API市场API的批量导出，用户可先在测试环境中进行API调试，无误后在API市场批量导出API，再在正式环境中导入API，提高效率。
3.【API调用情况】新增下载日志功能
「API管理」API调用情况 调用明细/错误明细模块增加「下载日志」功能，可以通过设置调用条件下载7天内的日志数据，方便用户进行明细查看，调用统计。
4.【生成API】in、not in 操作符增加分隔符配置
之前的版本当进行in、not in 操作符查询数据时，默认入参参数为逗号分隔。存在特殊业务场景入参参数中包含逗号的情况，导致入参分隔错误。
当前版本中，针对in、not in操作符，可以自定义选择英文“，”、“｜”、“/”、“：”、“；”五种分隔符，以满足不同客户业务场景需求。
数雁EasyDigit
客户数据洞察平台（原智能标签平台）
1.【授权】-标签/实体/群组/目录细粒度权限控制
用户痛点：标签、实体、群组等属于企业数据资源的一部分，随着资源持续维护、资产沉淀，对资源的权限控制提出了更高的要求，本次新增的授权功能能够实现灵活的权限控制。
新增功能说明：给用户/用户组/部门/角色授予当前资源的权限，可授权的资源包括标签、实体、群组、目录，可授予的权限包括可查看、可编辑权限，也可以将资源设置为全员公开可查看/可编辑，实现细粒度的权限控制。
2.【行级权限】-根据用户属性实现动态赋权
用户痛点：行级权限 用来控制用户对标签数据的访问权限，当某个用户被设置了行级权限后，只能查看在权限规则内设置的标签数据。
新增功能说明：
· 支持针对用户属性动态设置权限规则，如1000条结果数据，用户A查看200条，用户B查看500条
· 单个权限标识可设多条权限规则，且最大支持5个层级，条件之间支持配置“且”、“或”关系
· 权限的适用成员可指定用户、用户组、部门、角色，且支持针对用户属性动态设置适用成员
3.【多值标签】-标签值分隔去重
多值标签 的值由一个或多个值组合构成，多个值之间由分隔符进行分隔（系统固定为英文逗号），可在实体/关系创建时指定标签是否多值。
多值型标签的操作符包括【包含部分、包含所有、不包含、精确匹配、模糊匹配、不匹配、有值、无值】，可选的是分隔并去重后的标签值。其中：
· 包含所有：若选择多个标签值，筛选结果将同时符合所有标签值，即多个标签值的筛选结果之间使用交集运算；
· 包含部分：若选择多个标签值，筛选结果将至少符合其中一个标签值，即多个标签值的筛选结果之间使用并集运算。
4.【组织架构】-引入多层级部门
组织架构 是一个组织整体的结构，是企业内部开展业务、落实管理的基本要素。标签系统支持根据多层级的组织架构添加用户，并根据部门进行标签授权、行级权限的控制。
5.【批量操作】-发布/更新交互升级
· 批量发布：分类展示可发布、无法发布的标签，并说明标签无法发布的原因，降低操作门槛
· 批量更新：分类展示可更新、无法更新的标签，并说明标签无法更新的原因，降低操作门槛
6.【通用模板】-查询模板设置
设置查询维度通用模板，并直接应用于标签圈群、上传本地群组、群组交并差选查询维度的地方，用户可以在模板的基础上增删查询维度，减少操作成本。
7.【导出描述】-导出数据时可填描述
用户在导出数据时可填写描述信息，系统将描述信息记录在审计日志中。
8.其他优化项
· 标签圈群支持重置条件
· 字典数据最大支持2000条
袋鼠云开源框架钉钉技术交流qun（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack/Taier
标签：02,袋鼠,标签,用户,走心,任务,API,权限,基线 From： https://www.cnblogs.com/DTinsight/p/16874678.html