首页 > 其他分享 >SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

时间:2024-08-21 10:05:16浏览次数:6  
标签:无忧 -- 隐私 搜索 https SearXNG searxng docker

SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

SearXNG 是一个免费的互联网元搜索引擎,整合了各种搜索服务的结果。用户不会被跟踪,也不会被分析。

  • 功能特性

    • 自托管,可以私有化部署
    • 没有用户跟踪/没有分析
    • 可以自定义设置脚本和 cookies
    • 安全加密的连接
    • 轻松整合了近200个搜索引擎,用户可自定义选择不同的引擎
    • 多语言支持,约 60 个,包含中文、英文等
    • 提供近 100 个维护良好的公共查询实例
  • 安全保护
    无论实例类型如何(私有、公共),SearXNG 都以多种方式保护用户的隐私。从搜索请求中删除私人数据有以下三种形式:

    • 从发送至搜索服务的请求中删除私人数据

    • 不通过搜索服务转发来自第三方服务的任何内容(例如广告)

    • 从进入结果页面的请求中删除私有数据

    删除私人数据意味着不向外部搜索引擎发送 cookie 并为每个请求生成随机浏览器配置文件。因此,公共实例还是私有实例处理请求并不重要,因为在这两种情况下它都是匿名的。IP 地址将是实例的 IP。但 SearXNG 可以配置为使用代理或 Tor, 也支持结果代理。

    与大多数搜索服务不同,SearXNG 不提供广告或跟踪内容。因此,私人数据不会被转发给可能利用其获利的第三方。除了保护用户免受搜索服务的影响之外,引用页面和搜索查询都对访问的结果页面隐藏。

1. docker镜像安装

2. 安装SearXNG

2.1 快速安装

#克隆项目
git clone https://github.com/searxng/searxng.git
cd searxng

#安装依赖
make install

#启动.
make run

可以通过浏览器访问 http://127.0.0.1:8888 来使用 SearXNG

2.2 docker cli

#新建文件夹 searxng 和 子目录
mkdir -p /www/algorithm/searxng

#进入 searxng 目录
cd /www/algorithm/searxng

#运行容器
docker run -d \
  --name searxng \
  --cap-drop ALL \
  --cap-add CHOWN \
  --cap-add SETGID \
  --cap-add SETUID \
  --log-driver json-file \
  --log-opt max-size=1m \
  --log-opt max-file=1 \
  -p 9380:8080 \
  -v $(pwd)/data:/etc/searxng:rw \
  searxng/searxng:latest

更多设置参考官网:

  • 修改 settings.yml
    当安装 SearXNG 时,默认的输出格式是 HTML 格式。您需要激活 JSON 格式。请将以下行添加到 settings.yml 文件中。如前面的示例所示,settings.yml 文件位于 ${PWD}/searxng/settings.yml
  #remove format to deny access, use lower case.
  #formats: [html, csv, json, rss]
  formats:
    - html
    - json    # <-- 添加这一行

2.3 docker compose 安装

可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件,用转化工具可以很方便生成配置文件

version: '3.7'

services:
  searxng:
    image: searxng/searxng:latest
    container_name: searxng
    ports:
      - 9380:8080
    volumes:
      - ./data:/etc/searxng:rw
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - SETGID
      - SETUID
    logging:
      driver: 'json-file'
      options:
        max-size: '1m'
        max-file: '1'

然后执行下面的命令

#新建文件夹 searxng 和 子目录
mkdir  searxng

#进入 searxng 目录
cd searxng

#将docker-compose.yml 放入当前目录

#一键启动
docker compose up -d

  • 运行
    在浏览器中输入 http://IP:9380 就能看到搜索界面

先进 首选项 进行设置,任何更改都需要 保存 才能生效

  • 关闭docker
docker ps
#在宿主机的终端中,运行以下命令来停止容器:
docker stop [容器名/容器id]
#如果 docker stop 命令不起作用,可以使用 docker kill 命令来强制退出容器
docker kill [容器名/容器id]
  • 修改一下端口号
version: '3.7'

services:
    searxng:
        ports:
            - 9380:9380
        volumes:
            - ${PWD}/searxng:/etc/searxng
        environment:
            - BASE_URL=http://0.0.0.0:9380/
            - INSTANCE_NAME=searxng
        image: searxng/searxng

3.结合LLM使用

  • 正常使用

效果一般,还需要再加点其他搜索引擎源,好处是没有广告了

3.1 FreeAskInternet

第一步、用户提出问题
第二步、用 SearXNG(本地运行)在多个搜索引擎上进行搜索
第三步、将搜索结果传入 LLM 生成答案

相关项目参考:

3.2 结合dify

目前用的是tavily 同理searxng也是同理

标签:无忧,--,隐私,搜索,https,SearXNG,searxng,docker
From: https://www.cnblogs.com/ting1/p/18371047

相关文章

  • BST 二叉搜索树 BinarySearchTree C++实现(递归/非递归)
    目录二叉搜索树基本概念常用结论用途二叉搜索树的性能分析二叉搜索树的操作查找插入删除代码实现BSTree.hpptest.cc二叉搜索树基本概念二叉搜索树(BST,BinarySearchTree)二叉搜索树又称二叉排序树,它或者是一棵空树,或者是具有以下性质的二叉树:若它的左子树不为空,则左子树......
  • 力扣热题100_二分查找_74_搜索二维矩阵
    文章目录题目链接解题思路解题代码题目链接74.搜索二维矩阵给你一个满足下述两条属性的mxn整数矩阵:每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。给你一个整数target,如果target在矩阵中,返回true;否则,返回fa......
  • 通义灵码代码搜索功能的前沿性研究论文被软件工程国际顶会 FSE 录用
    在今年FSE2024软件工程大会上,阿里云通义灵码团队和重庆大学合作的论文《AnEmpiricalStudyofCodeSearchinIntelligentCodingAssistant:Perceptions,Expectations,andDirections》被FSEIndustry2024(CCFA)录用。本篇论文主要探讨了在智能编码助手中的代码......
  • 通义灵码代码搜索功能的前沿性研究论文被软件工程国际顶会 FSE 录用
    在今年FSE2024软件工程大会上,阿里云通义灵码团队和重庆大学合作的论文《AnEmpiricalStudyofCodeSearchinIntelligentCodingAssistant:Perceptions,Expectations,andDirections》被FSEIndustry2024(CCFA)录用。本篇论文主要探讨了在智能编码助手中的代码......
  • Leetcode面试经典面试题-81.搜索旋转排序数组II
    解法都在代码里,不懂就留言或者私信,这个题目一定要注意重复元素的情况shpublicstaticbooleansearch(int[]nums,inttarget){/**空数组不可能找到任何数*/if(nums==null||nums.length==0){returnfalse;}/**如果......
  • DMS:直接可微的网络搜索方法,最快仅需单卡10分钟 | ICML 2024
    DifferentiableModelScaling(DMS)以直接、完全可微的方式对宽度和深度进行建模,是一种高效且多功能的模型缩放方法。与先前的NAS方法相比具有三个优点:1)DMS在搜索方面效率高,易于使用。2)DMS实现了高性能,可与SOTANAS方法相媲美。3)DMS是通用的,与各种任务和架构兼容。来源:晓飞的算法......
  • Antd-React-TreeSelect前端搜索过滤
    在开发过程中,但是antd中的搜索会把多余的也会带出来就例如下图,我们本想去搜索1但是他会把其子节点都带出来,其实我们的本意是像搜2一样或者当中间隔层处理但是我们该如何解决这样的问题呢如何做到下面两种情况(1)搜索过滤掉不匹配的内容只留下匹配的内容这是没有搜索之前这是......
  • C++--二叉搜索树
     目录 1.1二叉搜索树概念1.2二叉搜索树操作 1.2.1查找1.2.2插入1.2.3删除2.3二叉搜索树实现 2.4二叉搜索树的应用 2.5二叉搜索树的性能分析 1.1二叉搜索树概念二叉搜索树又称二叉排序树,它或者是一棵空树,或者是具有以下性质的二叉树:--若它的左子......
  • 电商搜索革命:大模型如何重塑购物体验?
      随着电商行业的蓬勃发展,搜索技术作为连接用户与商品的桥梁,其重要性日益凸显。在技术不断革新的今天,电商搜索技术经历了哪些阶段?面对大模型的飞速发展,企业又将如何把握趋势,应对挑战?为了深入探讨这些问题,我和InfoQ栏目探讨了电商搜索技术的发展历程、当前的应用状况以及面临......
  • 粒子群算法和引力搜索算法的混合算法(PSOGSA)优化BP神经网络原理及matlab代码
    目录0引言1数学模型2模型对比3matlab代码3.1伪代码示意图3.2PSOGSA-BP4视频讲解0引言基于已发表智能算法文献研究,SeyedaliMirjalili等人在发现PSO的开发能力与GSA的探索能力有者较好结合性能,因此基于二者算法优势点提出混合算法PSOGSA。该算法主要利用PSO鸟......