面试题大全超详细解析大模型(LLMS)
(背完这些题，offer直接拿到手软)
大模型(LLMS)进阶面
一、什么是生成式大模型?
二、大模型是怎么让生成的文本丰富而不单调的呢?
三、LLMS 复读机问题
3.1 什么是 LLMs 复读机问题?
·3.2 为什么会出现 LLMs 复读机问题?
3.3 如何缓解 LLMS 复读机问题?
3.3.1 Unlikelihood Training
3.3.椾呇般 引入噪声
3.3.3 Repetition Penalty
·3.3.4 Contrastive Search
3.3.5 Beam Search
·3.3.6 TopK sampling
3.3.7 Nucleus sampler
3.3.8 Temperature+
3.3.9 No repeat ngram size
3.3.10 重复率指标检测
3.3.11 后处理和过滤
3.3.12 人工干预和控制
·四、llama 系列问题
4.1 llama 输入句子长度理论上可以无限长吗?
五、什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选?
六、各个专业领域是否需要各自的大模型来服务?
七、如何让大模型处理更长的文本?
大模型（LLMS):微调面
1.如果想要在某个模型基础上做全参数微调，究竟需要多少显存?
2.为什么SFT之后感觉LLM傻了?
- SFT 指令微调数据 如何构建?
4.领域模型Continue PreTrain 数据选取?
5.领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?
6.领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识?
7.进行SFT操作的时候，基座模型选用Chat还是Base?
8.领域模型微调 指令&数据输入格式 要求?
9.领域模型微调 领域评集 构建?
10.领域模型词表扩增是不是有必要的?
11.如何训练自己的大模型?
12.训练中文大模型有啥经验?
13.指令微调的好处?
14.预训练和微调哪个阶段注入知识的?
15.想让模型学习某个领域或行业的知识，是应该预训练还是应该微调?
16.多轮对话任务如何微调模型?
17.微调后的模型出现能力劣化，灾难性遗忘是怎么回事?
18.微调模型需要多大显存?
19.大模型LLM进行SFT操作的时候在学习什么?
20.预训练和SFT操作有什么不同
21.样本量规模增大，训练出现00M错
22.大模型LLM进行SFT 如何对样本进行优化?
23.模型参数迭代实验
24.微调大模型的一些建议
25.微调大模型时，如果 batch size 设置太小 会出现什么问题?
26.微调大模型时，如果 batch size 设置太大 会出现什么问题?
27.微调大模型时,batch size 如何设置问题?
28.微调大模型时,优化器如何?
29.哪些因素会影响内存使用?
30.进行领域大模型预训练应用哪些数据集比较好?
标签：微调,AI,模型,年底,学习,面试,3.3,LLM From： https://blog.csdn.net/2401_85328934/article/details/144785695