| 参数名 | 含义 | 取值范围 |
|---|---|---|
| engine | 大模型后台推理引擎，目前可选的推理引擎有基础模型，古文模型，对话模型和翻译模型 | ‘base_10B’：基础模型 translate’：翻译模型 ‘dialog’：对话模型 '‘rhythm_poems’:古文模型 |
| temprature | 模拟退火温度参数。
值越大，使得概率分布越尖锐，模型的创造性越强，但生成效果不稳定。 值越小，模型的稳定性越强，生成效果稳定 |
float:[0,1] |
| max_tokens | 最大生成 token 长度，数值越大，生成时间越长。不建议超过 200。 | int:[0~200] |
| input_prefix | 输入序列前缀，如设置，将自动为 query 和每个样例的输入加上前缀 | 任意字符串 |
| input_suffix | 输入序列后缀，如设置，将自动为 query 和每个样例的输入加上后缀 | 任意字符串 |
| output_prefix | 输出序列前缀，如设置，将自动为每个样例的输出加上前缀 | 任意字符串 |
| output_suffix | 输出序列后缀，如设置，将自动为每个样例的输出加上后缀 | 任意字符串 |
| append_output_prefix_to_query | 如设置，将自动将设定的输出前缀添加到 query 序列的末尾 | bool 型 |
| topK | 挑选概率最高的 k 个 token 作为候选集。 若 k 值为 1，则答案唯一。 当 topK 为 0 时，该参数不起作用。 |
int：[0,-] |
| topP | token 的概率累加，从最大概率的 token 往下开始取，当取到累加值大于等于 topP 时停止。 当 topP 为 0 时，该参数不起作用。 |
float：[0,1] |
| frequencyPenalty | 重复惩罚参数，基于词出现的次数进行惩罚，出现的次数越多，该词在后文出现的概率越低，同时增强后文的创造性。 当 frequencyPenalty 小于等于 1 时，该参数不起作用。 值越大，惩罚度越高，后文重复度越低。一般设置为 1.2。 |
float:[1,-] |
| responsePenalty | 重复惩罚参数，对出现过的词进行惩罚，降低其在后文出现的概率，同时增强后文的创造性。 当 frequencyPenalty 大于 1 或 responsePenalty 小于等于 1 时，则该参数不起作用。 值越大，惩罚度越高，后文重复度越低。 |
float:[1,-] |
| noRepeatNgramSize | 重复词去除，表示输出中不包含长度为 noRepeatNgramSize 的重复词。 当 noRepeatNgramSize 小于 1 时，则该参数不起作用。 值越大，不能出现的重复词越长。 |
int:[0,-] |