- 数据库优化及慢查询日志分析
在数据库调优中，我们的目标就是响应时间更快，吞吐量更大。利用宏观的监控工具和微观的日志分析可以快速帮我们找到调优的思路和方式。一、数据库服务器的优化步骤1、观察服务器状态是否存在周期性波动(双11，618等)，如果是执行2，否跳到3；2、加缓存，更改缓存失效策略。如果解决则......
- VIM关键字查询、统计、替换与删除
基本结构:%s/keyword/&/gn结构示意1、%s代表整个文档中进行操作2、keyword代表要查询的关键字3、&代表不进行替换操作4、g代表全局替换，默认是替换某一行匹配到的第一个5、n代表显示匹配的次数应用显示行数为了查找方便，可以在打开文档时显示行数:setnumber......
- 使用mongodb、Kafka保存mqtt消息
一、引言随着物联网技术的迅猛发展，大量的设备和传感器产生了海量的数据。本文利用了MQTT、Kafka和MongoDB各自的优点，满足实时数据处理和大规模数据存储的需求。如图：二、总结优点：1.可靠和解耦：Kafka的复制机制和持久化存储确保了数据在传输过程中的可靠性，即使某个节点......
- 消息队列kafka中间件详解：案例解析(第10天)
系列文章目录1-消息队列（熟悉）2-Kafka的基本介绍（掌握架构，其他了解）3-Kafka的相关使用（掌握kafka常用shell命令）4-Kafka的PythonAPI的操作（熟悉）文章目录系列文章目录前言一、消息队列（熟悉）1、产生背景2、消息队列介绍2.1常见的消息队列产品2.2应用场景2.3消息队列中两......
- MySQL bit类型增加索引后查询结果不正确案例浅析
昨天同事遇到的一个案例，这里简单描述一下：一个表里面有一个bit类型的字段，同事在优化相关SQL的过程中，给这个表的bit类型的字段新增了一个索引，然后测试验证时，居然发现SQL语句执行结果跟不加索引不一样。加了索引后，SQL语句没有查询出一条记录，删除索引后，SQL语句就能查询出几十条记录。......
- PostgreSQL中 FETCH FIRST ... WITH TIES 是查询结果中限制返回的行数
在PostgreSQL中，FETCHFIRST…WITHTIES是一个在查询结果中限制返回的行数，但同时确保与最后一行具有相同排序值的所有行都被包括进来的子句。这通常与ORDERBY子句一起使用。当您使用FETCHFIRSTnROWSONLY时，您只会得到前n个排序后的行。但是，如果您希望包括与......
- 经验分享|如何查询自己的大数据信用评分？
在大数据技术的加持之下，金融风控也逐渐运用大数据技术了，也就是我们说的大数据或者大数据信用，在大数据信用报告中对个人的综合信用风险有着等级划分，那大数据信用报告信用等级怎么看呢?本文为你详细介绍一下，感兴趣的不妨去看看。大数据信用等级常见的划分形式：一......
- rabbitMQ实战生产者-交换机-队列-消费者细谈
生产者rabbitmq的配置创建交换机，创建queue，绑定交换机的routingkey到queue一，默认的exchange列表 二，将exchange的routingkey绑定到queue 三，生产端关心消息将发放哪个交换机，哪个routingkey，也可以用通配符（如calc.*，calc.#）匹配相应的routingkey mq服务匹配exchange，rout......
- Mysql慢查询及优化(全网最详细！！！)
一、定位慢SQL1.首先确认是否开启了慢查询2.设置慢查询的时间限制3.查询慢查询日志可定位具体的慢sql4.相关sql查询5.用Explain分析具体的sql语句6.用Explain字段介绍二、慢SQL优化1.不使用子查询2.读取适当的记录LIMITM,N3.分组统计可以禁止排序4.禁止不必要......
- Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
目录在Tez上优化Hive查询的指南调优指南理解Tez中的并行化理解mapper数量理解reducer数量并发案例1：未指定队列名称案例2：指定队列名称并发的指南/建议容器复用和预热容器容器复用预热容器一般Tez调优参数在Tez上优化Hive查询的指南在Tez上优化Hive查询无法采用一刀切的方法。查询......
