LM
  • 2024-07-02LM-Cocktail:一种创新的模型合并方法打破预训练语言模型微调后的性能局限,实现语言模型在一般任务与特定领域的均衡高性能
    LM-Cocktail:一种创新的模型合并方法打破预训练语言模型微调后的性能局限,实现语言模型在一般任务与特定领域的均衡高性能使语言模型的微调类似于调制一杯精致的鸡尾酒。模型合并可用于提高单个模型的性能。我们发现此方法对于大型语言模型和密集嵌入模型也很有用,并设计了LM
  • 2024-06-21【论文笔记】Prefix-Tuning: Optimizing Continuous Prompts for Generation
    题目:Prefix-Tuning:OptimizingContinuousPromptsforGeneration来源:ACL2021模型名称:Prefix-Tuning论文链接:https://aclanthology.org/2021.acl-long.353/项目链接:https://github.com/XiangLi1999/PrefixTuning感觉与prompt的想法很相近,那么问题来了,为什
  • 2024-06-19串扰(二)
    三、感性串扰首先看下串扰模型及电流方向:由于电感是阻碍电流变化,受害线的电流方向和攻击线的电流方向相反。同时由于受害线阻抗均匀,故有Vb=-Vf(感应电流属于电池内部电流)。分析感性串扰大小仍然是按微分的方法,如下图:感应电压大小为:其中di/dt=dv/dt/Z0,故感应电压VLm为:
  • 2024-06-16域渗透之初识LM&NTLM认证过程
    目录前言LMHashNTLMHashWindows本地认证LSASS进程Mimikatz抓取明文密码Windows网络认证NetNTLMNTLMv1&NTLMv2Hash传递攻击前言LANManager和NTLANManager认证是Windows系统中的一种挑战-响应身份验证机制。LM认证是早期Windows版本中使用的一种认证协议,而NTLM是LM的改
  • 2024-06-02Unlearn What You Want to Forget Efficient Unlearning for LLMs
    目录概符号说明UnlearningLayersFusingUnlearningLayers代码ChenJ.andYangD.Unlearnwhatyouwanttoforget:efficientunlearningforllms.2024.概本文提出一种Unlearninglayer去帮助LLMs'遗忘'一些数据.符号说明\(F(\cdot)\),largelanguagemodel
  • 2024-05-31使用LM Studio来运行本地版本大语言模型
     自2022年11月30日发布ChatGPT对话性大预言模型,AI再一次被推向了高潮,再到后来,国内外也衍生了大量的语言模型开放给公众使用。为了可以让更多人接触到AI,让本地化部署更加轻便快捷,于是就有了Ollama、LMStudio等可以在本地部署模型的工具。这两款工具相比较来说,个人觉的LMStudio
  • 2024-05-12LM Studio 本地离线部署大模型
    安装LMStudio官网:https://lmstudio.ai/下载模型:Meta-Llaa-3-8B-Instruet.Q4_KM.gguf下载地址:https://cdn-lfs-us-1.huggingface.co/repos/79/f2/79f21025e377180e4ec0e3968bca4612bb9c99fa84e70cb7815186c42a858124/647a2b64cbcdbe670432d0502ebb2592b36dd364d51a9e
  • 2024-05-06Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings
    transformers库里实现的很多模型会有这么两个函数get_output_embeddings和get_output_embeddings。以SwitchTransformer为例classSwitchTransformersForConditionalGeneration(SwitchTransformersPreTrainedModel):defset_output_embeddings(self,new_embeddings):
  • 2024-05-0312_面板数据
    第12章面板数据12.1面板数据的特点定义面板数据一段时间内跟踪同一组个体的数据。分类:分类分类准则特点短面板n、T的大小n小、T大长面板n大、T小动态面板是否有被解释变量滞后项有静态面板*否平衡面板*每个时期样本中的个体是否完全相
  • 2024-05-03Text Representation
    1StatisticalModel1.1One-Hot1.2Bagofwords(BOW)https://web.stanford.edu/class/datasci112/lectures/lecture8.pdf1.3N-grams1.4TF-IDF2WordEmbedding(NeuralNetworkModel)2.1Word2Vechttps://projector.tensorflow.org/ContinuousBagofWords(CBOW
  • 2024-05-02windows密码存储以及hashdump所得信息解析
    1.windows登录的明文密码,存储过程是怎么样的,密文存在哪个文件下,该文件是否可以打开,并且查看到密文在Windows中密码通常不会以明文形式存储。系统会通过保存密码的哈希值来确保安全性。这个过程涉及到NTLM或Kerberos身份认证协议,它们负责加密存储密码。以下是存储过程的简要说
  • 2024-04-16Pass The hash攻击
    WindowsHash分类LMHashNTLMHashNet-NTLMHashWindowsHash简介window系统内部不保存用户的明文密码,只保存密码的Hash值本机用户的密码Hash是存放SAM文件中,文件路径为:C:\Windows\System32\config\sam域内用户的密码Hash是存在域控的NTDS.DIT文件中数据库文件夹:C:\w
  • 2024-04-10肖sir__接口测试之python+rquest+unittest分层自动化框架
    接口测试之接口po框架一、新建一个项目  接口自动化框架设计实战:第一包:config  案例:#登录接口dl_url='http://cms.duoceshi.cn/cms/manage/loginJump.do'dl_d={'userAccount':'admin','loginPwd':'123456'}dl_h="Content-Type:applic
  • 2024-04-10肖sir__接口测试之unittest框架(14.1)
    接口测试之unittest框架importunittestimportrequestsfromtimeimport*fromjk.HTMLTestRunner3_NewimportHTMLTestRunnerclassCms(unittest.TestCase):@classmethoddefsetUpClass(cls)->None:#类的开始cls.s=requests.Session()@classmethod
  • 2024-03-04p4555-solution
    P4555Solutionlink双回文串的左右两半部分显然是互相独立的。于是考虑求出\(lm_i\)表示以\(i\)结尾的最长回文子串长度,\(rm_i\)表示以\(i\)开头的最长回文子串长度,最后扫一遍所有的分隔符求\(lm+rm\)的最大值即可。考虑如何求\(lm,rm\)。先用manacher拉出\(p\),
  • 2024-02-24R语言宏观经济学:IS-LM曲线可视化货币市场均衡
    全文链接:http://tecdat.cn/?p=32249原文出处:拓端数据部落公众号凯恩斯相关理论主要是美国20世纪30年代的经济危机而提出的,主张政府干预经济,实行宏观调控。按照希克斯的观点,灵活偏好(L)和货币数量(M)决定着货币市场的均衡,而人们持有的货币数量既决定于利率(i),又决定于收入(y)的
  • 2024-02-22LM Studio装载模型时提示:You have 1 uncategorized model files
    使用LMStudio载入已经下载的模型的时候报错: 当前本地模型路径是默认的models路径,模型文件在models下面。 解决办法:在models目录下新建目录:Publisher\Repository即: 将模型文件移动到Repository中,重启LMStudio即可。
  • 2024-02-02ChatGPT 背后的“功臣”——RLHF 技术详解
    OpenAI推出的ChatGPT对话模型掀起了新的AI热潮,它面对多种多样的问题对答如流,似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型(LargeLanguageModel,LLM)生成领域的新训练范式:RLHF(ReinforcementLearningfromHumanFeedback),即以强化学习方式依据人类反馈
  • 2024-01-31R语言平稳性ADF检验、ARCH-LM效应检验分析收盘价收益率数据可视化
    全文链接:https://tecdat.cn/?p=35081数据读取和处理是金融分析中非常重要的一步。为了减少误差,在估计时我们可以对每个交易日的收盘价进行自然对数处理,即对日收益率进行计算。本文通过R软件对金融数据帮助客户进行读取和处理,并进行了收益率波动图、收益率序列的平稳性检验、自相
  • 2024-01-23lm_sensors安装与使用
    lm_sensors:lm_sensors是一款linux的硬件监控的软件,可以帮助我们来监控主板,CPU的工作电压,风扇转速、温度等数据。这些数据我们通常在主板的BIOS也可以看到。当我们可以在机器运行的时候通过lm_sensors随时来监测着CPU的温度变化,可以预防和保护因为CPU过热而会烧掉。 安装方式:
  • 2023-12-26大语言模型生成模型的源码结构复习
    modeling_gpt2.py:1099iflabelsisnotNone:#movelabelstocorrectdevicetoenablemodelparallelismlabels=labels.to(lm_logits.device)#Shiftsothattokens<npredictnshift_logits=lm
  • 2023-12-17Stable LM Zephyr 3B:手机上的强大LLM助手
    概览最近,Stability.ai宣布开源了StableLMZephyr3B,这是一个30亿参数的大语言模型(LLM),专为手机、笔记本等移动设备设计。其突出的特点是参数较小、性能强大且算力消耗低,能够自动生成文本、总结摘要等,与70亿、130亿参数的模型相媲美。Huggingface模型下载:https://huggingface.co/s
  • 2023-12-17训练属于自己的大模型LM Studio使用记录
    LMStudio支持本地运营大模型下载地址: https://lmstudio.ai/一搜索下载管理安装之后打开,搜索对应大模型,下载,举例:baichuan点击左侧菜单栏文件夹图标进行管理二聊天点击左侧菜单栏聊天图标,新建聊天,输入框输入内容可能对回答的结果并不满意,我们可以点击结果后面的
  • 2023-12-17使用LM Studio在本地运行LLM完整教程
    GPT-4被普遍认为是最好的生成式AI聊天机器人,但开源模型一直在变得越来越好,并且通过微调在某些特定领域是可以超过GPT4的。在开源类别中出于以下的原因,你可能会考虑过在本地计算机上本地运行LLM:脱机:不需要互联网连接。模型访问:在本地运行模型,可以尝试开源模型(Llama2、Vicun
  • 2023-12-15windows安全基本概念
    基本概念账户安全账号信息存储(SAM)SAM:securityaccountmanagerSAM对账户的管理是通过安全标识进行的,每个账户的安全标识是唯一的,账户被创建时,安全标识就会产生。SAM文件是windows的一个账户数据库,存储了登录名、密码等信息。该文件是加密存储的,只有system权限可以访问路径:1