网站首页
编程语言
数据库
系统相关
其他分享
编程问答
dynatemp
2024-07-30
[个人理解] llama.cpp之sample策略
最近有点时间看了几天llama.cpp的code,有几个点,想记录一下,不对的地方,欢迎大家指正。话说本该去年就看,奈何这个领域变的太快,索性积累到今年,当openAI也开始挤牙膏的时候一并看了。Summary-llama是跟chatpgt一样,基于transformer架构的decodeonly的一挂,这一系列的模型擅长文字接