首页 > 其他分享 >搜索功能的技术方案

搜索功能的技术方案

时间:2023-04-15 21:58:34浏览次数:37  
标签:方案 功能 同步 搜索 MySQL 报错 com ES

MySQL数据同步到ElasticSearch

最近的创业项目涉及到搜索功能,显然,尽管MySQL有模糊查询的功能,但是它并不适合用来实现搜索功能,所以一般需要使用到ES,它常常被用来进行大数据搜索,也支持分词。

同步双写方案

以前我在大学时候也写过,但是使用的是同步双写的方案:即在写入MySQL的同时又写入ElasticSearch
image
但是这样有个问题,耦合度太高,而且当ES服务出现问题时,会导致整个接口不可用,另外,由于是同步双写,会增大接口响应时长。不过由于当时是在大学期间写的项目,因此这种缺点我当时并不在意。但是现在是商业的创业项目,因此这种方式显然不可采用。

定时任务

使用定时任务的方式,可以定期从MySQL同步数据到ES中,但是缺点就是实时性差,不可采用
image

数据订阅

比较流行的技术方案是通过MySQL的binlog功能,订阅数据变动,包括增加、删除、修改操作,都可以实时同步到ES中
image

配置canal的过程也有些坎坷,这里吐槽一下,官方文档有点拉跨。下载1.1.6后,运行报错,说我没有adapter_config表。于是我下载1.1.5版本运行,结果又报错说
com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
查阅了issue发现是包冲突:https://github.com/alibaba/canal/issues/3486
但是adapter又能正常运行,于是我暂时没有管这个报错。结果我一天的噩梦就来了,当MySQL数据变动时,日志能够正常产生,但是ES无法同步
image
在反复排查配置无误后,已经是一天的时间过去。。。。
于是我最终还是开始了解决issue-3486这个问题,我本机没有安装maven,所以我找到了别的办法:https://www.cnblogs.com/sportsky/p/16536264.html
通过替换jar包的方式,我解决了issue-3486,于是一切恢复了正常。。。。

特此记录一天的经历

标签:方案,功能,同步,搜索,MySQL,报错,com,ES
From: https://www.cnblogs.com/ABKing/p/17321962.html

相关文章

  • 2.借书方案知多少
    问题描述:小明有5本新书,要借给A,B,C这三位小朋友,若每次每人只能借一本,则可以有多少种不同的借法? 问题分析:我们可以将5本书进行1~5的编号,A,B,C。3个人每次都可以从5本书中任选一本书,即每人都有5种选择,由于一本书不可能同时借给一个以上的人,因此三个人的书籍编号不一样。abc三位同学......
  • ant design table实现上下行拖拽功能(类组件)
    前言最好的种树是十年前,其次是现在。歌谣每天一个前端小知识提醒你改好好学习了知乎博主csdn博主b站博主放弃很容易但是坚持一定很酷我是歌谣喜欢就一键三连咯你得点赞是对歌谣最大的鼓励微信公众号关注前端小歌谣起始首先刚开始知道要书写一个这样的功能我的内心......
  • kuangbin专题一 简单搜索 迷宫问题(POJ-3984)
    迷宫问题TimeLimit:1000MS MemoryLimit:65536KDescription定义一个二维数组:intmaze[5][5]={0,1,0,0,0,0,1,0,1,0,0,0,0,0,0,0,1,1,1,0,0,0,0,1,0,};它表示一个迷宫,其中的1表示墙壁,0表示可以走的路,只能横着走或竖着走,不能斜着走,要求编......
  • kuangbin专题一 简单搜索 石油储备(HDU-1241)
    OilDepositsTimeLimit:2000/1000MS(Java/Others)MemoryLimit:65536/32768K(Java/Others)ProblemDescriptionTheGeoSurvCompgeologicsurveycompanyisresponsiblefordetectingundergroundoildeposits.GeoSurvCompworkswithonelargerectangula......
  • kuangbin专题一 简单搜索 起火迷宫(UVA-11624)
    Fire!DescriptionJoeworksinamaze.Unfortunately,portionsofthemazehavecaughtonfire,andtheownerofthemazeneglectedtocreateafireescapeplan.HelpJoeescapethemaze.GivenJoe’slocationinthemazeandwhichsquaresofthemazeareo......
  • kuangbin专题一 简单搜索 点火游戏(FZU-2150)
    FireGameDescriptionFatbrotherandMazeareplayingakindofspecial(hentai)gameonanN*Mboard(Nrows,Mcolumns).Atthebeginning,eachgridofthisboardisconsistingofgrassorjustemptyandthentheystarttofireallthegrass.Firstlyt......
  • kuangbin专题一 简单搜索 罐子(POJ-3414)
    PotsTimeLimit:1000MS MemoryLimit:65536KDescriptionYouaregiventwopots,havingthevolumeofAandBlitersrespectively.Thefollowingoperationscanbeperformed:FILL(i)fillthepoti(1≤i≤2)fromthetap;DROP(i)emptythep......
  • 助力企业网络安全建设,华为云等保合规解决方案值得拥有
    近些年来,随着数字化转型升级的加速,以及数字化业务的不断拓展,企业对互联网信息安全的要求也越来越高了。而在网络信息安全领域,我们国家也很早就出台了《网络安全法》,对企业的等保合规要求也越来越高;然而企业在申请等保的过程中,经常会遇到等保流程长、技术整改难度大以及咨询和测评机......
  • 华为云等保方案,为企业上云保驾护航
    随着互联网技术的不断发展,互联网安全和用户隐私信息保护变得越来越重要,小到用户个人,大到企业和各种机关单位,网络安全都是重中之重,为此我们国家制定了相应的网络安全等级保护制度,并且已经上升到了法律层面。对于众多网络运营者和企业来说,等保(网络安全等级保护)既可以更好的保护网络信......
  • 华为云等保合规方案,助力企业最快30天过等保
    随着云计算、大数据技术的发展,我们国家对于网络信息安全越来越重视,而《网络安全法》的出台,也使得许多企业开始注重等级保护法,一方面防止内部的数据泄露,另一方面还要担心自己的数据是否“踩界”,有着严格的履行义务和责任。而在云计算、大数据领域,华为云一直以“技术强、更可靠、资源......