• 2024-06-20淘宝二面:千万级数据中如何用Redis维护热点数据"?
    MySQL里有千万条数据,但是Redis中只存10万的数据,如何保证redis中的数据都是热点数据?
  • 2024-06-18批量生产千万级数据 推送到kafka代码
    1、批量规则生成代码1、随机IP生成代码2、指定时间范围内随机日期生成代码3、随机中文名生成代码。packagecom.wfg.flink.connector.utils;importjava.time.LocalDate;importjava.time.LocalDateTime;importjava.time.LocalTime;importjava.util.ArrayList;i
  • 2024-06-12AI智能文案助手ChatMoney:一键打造抖音爆款视频,助你轻松吸引千万级流量!
    本文由ChatMoney团队出品引言看着抖音上别人的视频轻松破百万点赞,是不是心里痒痒的?想知道他们是怎么做到的?其实,他们可能只是比您先一步掌握了这个秘密武器——ChatMoney。这不仅仅是一个工具,它是您抖音视频流量变现的加速器。您是否已经厌倦了平淡无奇的文案,看着自己的视频
  • 2024-05-16B站千万级长连接实时消息系统的架构设计与实践
    本文由哔哩哔哩资深开发工程师黄山成分享,原题“千万长连消息系统”,本文进行了排版和内容优化等。1、引言在当今数字娱乐时代,弹幕已经成为直播平台上不可或缺的互动元素之一。用户通过发送弹幕、送礼等,可以实时在直播画面上展现自己的想法、评论和互动内容,从而丰富了用户观看
  • 2024-05-12Oracle 删除千万级数据量时,可以考虑以下方法来提高删除效率
    Oracle删除千万级数据量时,可以考虑以下方法来提高删除效率:分批删除:如果需要删除的数据量非常大,可以考虑分批进行删除。sqlDELETEFROMyour_tableWHEREyour_conditionANDrownum<=10000;COMMIT;使用直接路径删除:直接路径删除会绕过常规的SQL解析和绑定,可以减少删除操
  • 2024-04-02大数据环境下 实现每天千万级地址关联 10万/秒
    地名作为最常用的社会公共信息,不仅与人们的日常生活息息相关,而且是政府行政行为、经济建设不可缺少的基础信息资源。在政务系统中有许多需要将业务地址关联到标准地址的场景,addresstool致力于解决地址关联匹配算法中的速度和准确性问题。经实测,单核addresstool的地址关联速
  • 2024-03-26【IT老齐056】日千万级订单系统的高可用、高性能架构
    【IT老齐056】日千万级订单系统的高可用、高性能架构原始场景避免丢单关键逻辑不要使用读写分离的查询方式,避免从库同步延迟造成订单查询异常关键逻辑也不要使用缓存来进行订单的查询订单补偿不要粗暴地使用消息队列的方式,避免中间件引发的订单丢失接收消息处理
  • 2024-03-18Oracle千万级数据处理
    --插入时不产生日志,--altertablecux_mtl_material_vmi2024038nologging;--记录时间--settimingon;declarecursorcurisselectmmt.organization_id,mmt.subinventory_code,mmt.transaction_quantity,mmt.transfer_organization_id,mmt.transfer_subinventory,mmt
  • 2024-03-07长连接网关技术专题(十):百度基于Go的千万级统一长连接服务架构实践
    本文由百度技术团队分享,引用自百度Geek说,原题“千万级高性能长连接Go服务架构实践”,为了阅读便利,本文进行了排版优化等。1、引言移动互联网时代,长连接服务成为了提升应用实时性和互动性的基础服务。本文将介绍百度基于golang实现的统一长连接服务,从统一长连接功能实现和性能
  • 2024-02-17千万级流量下架构设计
    架构设计:千万级流量下的数据强依赖降级 1背景互联网场景下,我们经常会面临一个产品流量从初创时期的小流量到全盛大流量的过程。这时候,原本的架构设计就显得很不合理,变成你追求服务稳定性阻碍。然而这一切并不一定是你的架构能力的问题,而是在小流量场景下,不能过高的去评估容
  • 2024-02-13架构设计:千万级流量下的数据强依赖降级
    1背景互联网场景下,我们经常会面临一个产品流量从初创时期的小流量到全盛大流量的过程。这时候,原本的架构设计就显得很不合理,变成你追求服务稳定性阻碍。然而这一切并不一定是你的架构能力的问题,而是在小流量场景下,不能过高的去评估容量和架构冗余性,避免造成不必要的资源和维护
  • 2024-02-02千万级高性能长连接Go服务架构实践
    作者|glstr导读移动互联网时代,长连接服务成为了提升应用实时性和互动性的基础服务。本文主要介绍了百度系内基于golang实现的统一长连接服务。主要从统一长连接功能实现和性能优化等角度,描述了统一长连接服务在设计、开发和维护过程中面临的问题和挑战,重点介绍了解决相关问题和挑
  • 2024-02-01面试官:Mysql千万级大表如何进行深度分页优化?
    背景假如有一张千万级的订单表,这张表没有采用分区分表,也没有使用ES等技术,分页查询进行到一定深度分页之后(比如1000万行后)查询比较缓慢,我们该如何进行优化?数据准备订单表结构如下:CREATETABLE`t_order`(`id`BIGINT(20)UNSIGNEDNOTNULLAUTO_INCREMENTCOMMENT
  • 2024-01-17千万级数据深分页查询SQL性能优化实践
    一、系统介绍和问题描述如何在Mysql中实现上亿数据的遍历查询?先来介绍一下系统主角:关注系统,主要是维护京东用户和业务对象之前的关注关系;并对外提供各种关系查询,比如查询用户的关注商品或店铺列表,查询用户是否关注了某个商品或店铺等。但是最近接到了一个新需求,要求提供查询关注对
  • 2024-01-17千万级数据深分页查询SQL性能优化实践
    一、系统介绍和问题描述如何在Mysql中实现上亿数据的遍历查询?先来介绍一下系统主角:关注系统,主要是维护京东用户和业务对象之前的关注关系;并对外提供各种关系查询,比如查询用户的关注商品或店铺列表,查询用户是否关注了某个商品或店铺等。但是最近接到了一个新需求,要求提供查询关注
  • 2024-01-15[转帖]oracle导出千万级数据为csv格式
    当数据量小时(20万行内),plsqldev、sqlplus的spool都能比较方便进行csv导出,但是当数据量到百万千万级,这两个方法非常慢而且可能中途客户端就崩溃,需要使用其他方法。一、sqluldr2工具1.优缺点优点:高效;支持功能较多;用户只需有对应表查询权限;可以在从库执行缺点:目前已没有再维
  • 2023-12-24WorkPlus十年铸剑,成就千万级用户信赖与认可
    过去的十年中,WorkPlus在即时通讯和协作领域经历了一次又一次的挑战和探索。数百个功能点的丰富性、系统的稳定性以及千万级用户的信赖和认可,为WorkPlus赢得了声誉。让我们一起来了解WorkPlus的成功之路。WorkPlus的研发历程已经超过十年,经过上百次迭代,持续不断地完善和提升产品功能
  • 2023-12-14如何迁移千万级表数据
    迁移千万级数据的表可以采取以下步骤:创建目标表:在目标数据库中创建一个新的表,具有与源表相同的结构。数据导入:使用合适的数据导入工具,例如MySQL的LOADDATAINFILE或PostgreSQL的COPY命令,将源表中的数据批量导入到目标表中。这些工具通常能够高效地处理大量数据。
  • 2023-11-09MySQL千万级数据库查询怎么提高查询效率
     查询效率慢的原因: 1:没有加索引或者索引失效  where条件使用如下语句会索引失效:null、!=、<>、or连接、in(非要使用,可用关键字exist替代)和notin、'%abc%';  使用参数:num=@num、表达式操作:wherenum/2=100、函数操作:wheresubstring(name,1,3)=‘abc’-name;   --e
  • 2023-10-31大连旅游注意事项 —— 大连千万级博主总结的大连旅游注意事项,看这一个就足够足够了
    在大连生活多年,发现这个视频说的还挺好,很有用:https://haokan.baidu.com/v?vid=12187364321776210763&collection_id=    -------------------------------------------------------------         
  • 2023-10-27千万级CPS的开源网络压测软件dperf【杭州多测师_王sir】
     一、性能压测指标CPS二、dperf由百度的智能负载均衡团队研发,使用ApacheLicenseVersion2.0许可证开源发布,项目地址 https://github.com/baidu/dperf  三、详细介绍:https://developer.baidu.com/article/detail.html?id=294625四、Gitee项目源代码:https://gitee.com/baidu/dp
  • 2023-09-28一个混乱千万级软件项目
    一个混乱千万级软件项目背景:公司接到一个亿级的项目,软件大概占到1/4的比例,整个项目包含了硬件和软件团队。软件团队是要实是一个软件产品,让其控制各种硬件设备做自动化运作,并打通上下游系统的数据。软件同时统计分析(包括机器学习和AI)整个项目设备的运作和任务执行情况,服务于
  • 2023-09-26一个混乱千万级软件项目
    背景:公司接到一个亿级的项目,软件大概占到1/4的比例,整个项目包含了硬件和软件团队。软件团队是要实是一个软件产品,让其控制各种硬件设备做自动化运作,并打通上下游系统的数据。软件同时统计分析(包括机器学习和AI)整个项目设备的运作和任务执行情况,服务于后续运营优化。项目成员结
  • 2023-09-14千万级CPS的开源网络压测软件dperf【杭州多测师_王sir】
     一、性能压测指标CPS二、dperf由百度的智能负载均衡团队研发,使用ApacheLicenseVersion2.0许可证开源发布,项目地址 https://github.com/baidu/dperf  三、详细介绍:https://developer.baidu.com/article/detail.html?id=294625四、Gitee项目源代码:https://gitee.com/bai
  • 2023-08-23千万级数据深分页查询SQL性能优化实践 | 京东云技术团队
    一、系统介绍和问题描述如何在Mysql中实现上亿数据的遍历查询?先来介绍一下系统主角:关注系统,主要是维护京东用户和业务对象之前的关注关系;并对外提供各种关系查询,比如查询用户的关注商品或店铺列表,查询用户是否关注了某个商品或店铺等。但是最近接到了一个新需求,要求提供查询关注对