- 2024-09-18MOE vs MOT 让LLM更加有效
知乎:北方的郎链接:https://zhuanlan.zhihu.com/p/691070810翻译自:https://www.superannotate.com/blog/mixture-of-experts-vs-mixture-of-tokens事实证明,LLM的表现与模型大小和可扩展性呈正相关。这种扩展伴随着计算资源的扩展,也就是说,模型越大,成本就越高。基于参数计
- 2024-09-12ByteTrak训练自定义训练集
ByteTrack目标追踪训练主要参考的博文是https://blog.csdn.net/Ddddd4431/article/details/126910083但是这位博主的数据集准备跟我的还有点不一样,他用的是labelimg标注,我用的是Darklabel对视频直接进行标注。而ByteTrak的训练格式是COCO数据集格式。而Darklabel对视频标注生
- 2024-04-30openGauss 对比-磁盘与MOT
对比:磁盘与MOT下表简要对比了基于openGauss磁盘的存储引擎和MOT存储引擎的各种特性。对比:基于磁盘与MOT特性openGauss磁盘存储openGaussMOT引擎英特尔x86+鲲鹏ARM是是SQL和功能集覆盖率100%98%纵向扩容(多核,NUMA)低效高效吞吐量高极高时
- 2024-04-30openGauss 创建-删除MOT
创建/删除MOT创建MOT非常简单。只有MOT中的创建和删除表语句与openGauss中基于磁盘的表的语句不同。SELECT、DML和DDL的所有其他命令的语法对于MOT表和openGauss基于磁盘的表是一样的。创建MOT:createFOREIGNtabletest(xint)[servermot_server];以上语句中:始终使
- 2024-04-30openGauss 前提条件
前提条件以下是使用openGaussMOT的软硬件前提条件。硬件支持MOT支持最新硬件和现有硬件平台,支持x86架构和华为鲲鹏Arm架构。MOT与openGauss数据库支持的硬件完全对齐。更多信息请参见《openGauss安装指南》。CPUMOT在多核服务器(扩容)上提供卓越的性能。在这些环境中,MOT的性
- 2024-04-30openGauss 内存表特性
内存表特性MOT介绍使用MOTMOT的概念附录详情查看:https://opengauss.org详情查看:https://docs-opengauss.osinfra.cn
- 2024-04-30openGauss 内存优化表MOT管理
内存表特性MOT介绍使用MOTMOT的概念附录详情查看:https://opengauss.org详情查看:https://docs-opengauss.osinfra.cn
- 2024-04-30openGauss 扩展FDW与其他openGauss特性
扩展FDW与其他openGauss特性openGauss基于PostgreSQL,而PostgreSQL没有内置存储引擎适配器,如MySQL的handlerton。为了使MOT存储引擎能够集成到openGauss中,我们利用并扩展了现有的FDW机制。随着FDW引入PostgreSQL9.1,现在可以将这些外表和数据源呈现为统一、本地可访问的关系来访问
- 2024-04-30openGauss 将磁盘表转换为MOT
将磁盘表转换为MOT磁盘表直接转换为MOT尚不能实现,这意味着尚不存在将基于磁盘的表转换为MOT的ALTERTABLE语句。下面介绍如何手动将基于磁盘的表转换为MOT,如何使用gs_dump工具导出数据,以及如何使用gs_restore工具导入数据。前置条件检查检查待转换为MOT的磁盘表的模式是否包含
- 2024-04-30openGauss 为MOT创建索引
为MOT创建索引支持标准的openGauss创建和删除索引语句。例如:createindextext_index1ontest(x);创建一个用于TPC-C的ORDER表,并创建索引:createFOREIGNtablebmsql_oorder(o_w_idintegernotnull,o_d_idintegernotnull,o_id
- 2024-04-30openGauss 授予用户权限
授予用户权限以授予数据库用户对MOT存储引擎的访问权限为例。每个数据库用户仅执行一次,通常在初始配置阶段完成。说明:MOT通过外部数据封装器(ForeignDataWrapper,FDW)机制与openGauss数据库集成,所以需要授权用户权限。要使特定用户能够创建和访问MOT(DDL、DML、SELECT),以下语
- 2024-04-30openGauss 使用MOT
使用MOT本章介绍如何部署、使用和管理openGaussMOT。使用MOT的方法非常简单。MOT命令的语法与openGauss基于磁盘的表相同。只有MOT中的创建和删除表语句与openGauss中基于磁盘的表的语句不同。您可以参考本章了解如何入门、如何将基于磁盘的表转换为MOT、如何使用MOT的查询原生
- 2024-04-29openGauss MOT测试总结
MOT测试总结MOT比磁盘表性能提升2.5至4.1倍,在Arm/鲲鹏256核服务器上达到480万tpmC。测试结果清楚表明MOT在扩展和利用所有硬件资源方面的卓越能力。随着CPU槽位和服务器核数增加,性能会随之跃升。MOT在Arm/鲲鹏架构下最高可达3万tpmC/核,在x86架构下最高可达4万tpmC/核。由于持久
- 2024-04-29openGauss MOT查询原生编译_JIT
MOT查询原生编译(JIT)MOT使您可以在执行之前以原生格式(使用PREPARE语句)准备并分析预编译的完整查询。这种本机格式以后可以更有效地执行(使用EXECUTE命令)。这种类型的执行效率要高得多,因为在执行期间,本机格式绕过了多个数据库处理层。这种分工避免了重复的解析分析操作。LiteExecu
- 2024-04-29openGauss MOT部署
MOT部署以下各小节介绍了各种必需和可选的设置,以达到最佳部署效果。MOT服务器优化:x86MOT服务器优化:基于Arm的华为TaiShan2P/4P服务器MOT配置详情查看:https://opengauss.org详情查看:https://docs-opengauss.osinfra.cn
- 2024-04-29openGauss MOT本地内存和全局内存
MOT本地内存和全局内存SILO管理本地内存和全局内存,如所示。全局内存是所有核共享的长期内存,主要用于存储所有的表数据和索引。本地内存是短期内存,主要由会话使用,用于处理事务及将数据更改存储到事务内存中,直到提交阶段。当事务需要更改时,SILO将该事务的所有数据从全局内存复
- 2024-04-29openGauss MOT并发控制机制
MOT并发控制机制通过大量研究,我们找到了最佳的并发控制机制,结论为:基于SILO[的OCC算法是MOT中最符合ACID特性的OCC算法。SILO为满足MOT的挑战性需求提供了最好的基础。说明:MOT完全符合原子性、一致性、隔离性、持久性(ACID)特性,如MOT简介所述。下面介绍MOT的并发控制机制。
- 2024-04-29openGauss MOT-SQL覆盖和限制
MOTSQL覆盖和限制MOT设计几乎能够覆盖SQL和未来特性集。例如,大多数支持标准的PostgresSQL,也支持常见的数据库特性,如存储过程、自定义函数等。下面介绍各种SQL覆盖和限制。不支持的特性MOT不支持以下特性:跨引擎操作:不支持跨引擎(磁盘+MOT)的查询、视图或事务。计划于2021年实
- 2024-04-29openGauss MOT-VACUUM清理
MOTVACUUM清理使用VACUUM进行垃圾收集,并有选择地分析数据库,如下所示。【openGauss】在openGauss中,VACUUM用于回收死元组占用的存储空间。在正常的openGauss操作中,删除的元组或因更新而作废的元组不会从表中物理删除。只能由VACUUM清理。因此,需要定期执行VACUUM,特别是在频繁
- 2024-04-29openGauss MOT-SILO增强特性
MOTSILO增强特性SILO[对比:磁盘与MOT]凭借其基本算法流程,优于我们在研究实验中测试的许多其他符合ACID的OCC算法。然而,为了使SILO成为产品级机制,我们必须用许多在最初设计中缺失的基本功能来增强它,例如:新增对交互式事务的支持,其中事务的SQL运行在客户端实现,而不是作为服务器端
- 2024-04-29openGauss MOT监控
MOT监控监控的所有语法支持基于openGauss的FDW表,包括下面的表或索引大小。此外,还存在用于监控MOT内存消耗的特殊函数,包括MOT全局内存、MOT本地内存和单个客户端会话。表和索引大小可以通过查询pg_relation_size来监控表和索引的大小。例如:数据大小selectpg_relation_size('
- 2024-04-29openGauss MOT检查点概念
MOT检查点概念在openGauss中,检查点是事务序列中一个点的快照,在该点上,可以保证堆和索引数据文件已经同步了检查点之前写入的所有信息。在执行检查点时,所有脏数据页都会刷新到磁盘,并将一个特殊的检查点记录写入日志文件。数据直接存储在内存中。MOT没有像openGauss那样存储数据,因
- 2024-04-29openGauss MOT管理
MOT管理下面介绍MOT管理。MOT持久性MOT恢复MOT复制和高可用MOT内存管理MOTVACUUM清理MOT统计MOT监控MOT错误消息详情查看:https://opengauss.org详情查看:https://docs-opengauss.osinfra.cn
- 2024-04-29openGauss MOT恢复
MOT恢复MOT恢复的主要目标是在有计划停机(例如维护)或计划外崩溃(例如电源故障后)后,将数据和MOT引擎恢复到一致状态。MOT恢复是随着openGauss数据库其余部分的恢复而自动执行的,并且完全集成到openGauss恢复过程(也称为冷启动)。MOT恢复包括两个阶段:检查点恢复:必须通过将数据加载到内
- 2024-04-29openGauss MOT恢复概念
MOT恢复概念MOT恢复模块提供了恢复MOT表数据所需的所有功能。恢复模块的主要目标是在计划(例如维护)关闭或计划外(例如电源故障)崩溃后,将数据和MOT引擎恢复到一致的状态。openGauss数据库恢复(有时也称为冷启动)包括MOT表,并且随着数据库其余部分的恢复而自动执行。MOT恢复模块无缝、全