首页 > 其他分享 >StarRocks数据导入慢问题解决

StarRocks数据导入慢问题解决

时间:2024-07-05 18:57:47浏览次数:17  
标签:insert starrocks into 导入 StarRocks sql 解决 执行

一、问题描述

  依据StarRocks官网快速开始安装教程,用docker compose安装了starrocks,log模块从rabbitMq的队列批量获取log消息,发现队列消息有堆积,一晚上下来大概能对接4000条消息。经单元测试发现insert into到starrocks中时间竟然相差几百倍。

mysql每条insert sql执行3.5ms

starrocks每条insert sql执行672ms

二、问题分析

  因是初次安装使用starrocks,对starrocks并不熟悉,但网络等各方面都正常情况下持续存在一条sql执行时间达到672ms肯定是有问题。因无报错,一时无法下手,刚开始怀疑是docker部署单机版的starrocks安装或配置有问题。docker重新部署以及按这个方向查有关资料都无果。后有幸得到此篇文章的参考学习:https://blog.csdn.net/ult_me/article/details/122823687。高频的insert into语句极大会给starrocks造成极大的压力。且单元测试的打印日志来看mybaitsPlus的批量插入saveBatch也是单条插入。那我们就按参考的文章所推荐的,用一个inser into插入多笔数据的语句。

starrocks insert into总结

三、解决办法

1)数据库连接增加参数:rewriteBatchedStatements=true

  增加次参数mabaitsPlus可saveBatch可一个insert into执行多条

2)xml映射文件拼接

 总结:两种方式时间在starrocks执行insert时间基本和在mysql上批量执行执行差不多,第二种效率更高

 

标签:insert,starrocks,into,导入,StarRocks,sql,解决,执行
From: https://www.cnblogs.com/max1995/p/18286442

相关文章

  • 关于BGE-M3接入LangChain时遇到的问题与解决方法
    本文基于https://github.com/datawhalechina/self-llm/blob/master/GLM-4/02-GLM-4-9B-chat%20langchain%20%E6%8E%A5%E5%85%A5.md提供的教程。由于使用本地部署的大模型,在继承LangChain中的LLM类时需要重写几个函数。但是在具体测试的时候出现了以下的错误/root/miniconda3/lib......
  • 7 种方案解决移动端1px边框的问题
    ......
  • pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案
    问题说明:使用onnxruntime-gpu完成了深度学习模型部署,但在打包时发生了报错:找不到CUDA具体问题描述:RuntimeError:D:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:857onnxruntime::python::CreateExecutionProviderInstanceCUDA_PATHissetbutCUDAwas......
  • 从“钓”到“管”:EasyCVR一体化视频解决方案助力水域安全管理
    一、背景随着城市化进程的加快,越来越多的市民热衷于钓鱼活动。钓鱼活动在带来乐趣的同时,也伴随着一定的安全隐患。尤其是在一些危险水域,也经常出现垂钓者的身影,非法垂钓,这给城市管理带来了不小的阻力。传统的人员巡逻监管效率低并且存在时间差,很难及时发现这些违规行为。为了提高......
  • 解决nacos报错 Caused by: io.grpc.netty.shaded.io.netty.channel.unix.Errors$Nati
    报错信息:org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:918)atorg.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:583)atorg......
  • 微服务架构是什么?他有什么优缺点。其实的安全问题如何解决?
    微服务是指把一个应用程序划分多个独立的服务单元。服务单元之间使用轻量级的通信机制进行通信。优点:1,技术栈比较灵活,2.易于维护和升级3,易于扩展;针对需要的服务单元进行扩展而不必对整个程序进行重构缺点:1,部署难度大,运维复杂2.安全性问题,服务单元通信可能导致数据的泄露......
  • nvm的安装流程以及解决其中遇到的问题
    前序—github.com打不开怎么办打开网站http://tool.chinaz.com/dns/,在A类型中填写github.com,再点击监测按钮复制下面任意一个IP3.打开电脑文件C:\Windows\System32\drivers\etc下的host文件,用记事本打开4.在host文件的最后一行加入刚才复制的IP20.205.243.16......
  • 解决BitBucket仓库较大拉取失败,使用SSH拉取
    HTTPS拉取如果使用的是https拉取,可使用以下命令尝试,如果还是失败,可使用ssh拉取gitclone--depth=1xxxx.git--depth=1:拉取最近1次提交记录,这样拉取的文件较小;1是可以更改的如果想拉取指定分支的可以使用,master换成你的分支名即可gitclone-bmaster--depth=1xxx.g......
  • Maven依赖排除和冲突解决
    maven中有很多包会重复引入依赖,首先jar包冲突后会有就近原则和先声明者优先(前面的优先)作为一个专业的开发,我们掌握的工具必须齐全,尽量少重复造轮子,但要知道轮子原理:mavenhelp其次是依赖排除,这两张图显示.Conflicts显示重复依赖AllDependenciesasList集合形式显示......
  • 光伏储能电厂设备连接iec61850平台解决方案
    在当今日益发展的电力系统中,光伏储能技术以其独特的优势逐渐崭露头角,成为可再生能源领域的重要组成部分。而在光伏储能系统的运行与监控中,通信协议的选择与实现则显得至关重要。本文将重点介绍光伏储能系统中的Modbus协议、电力IEC61850平台,以及如何通过协议转换网关实现Modbus转......