知识蒸馏
以大模型(教师模型)的输出训练小模型(学生模型)的技术,用于在保持大部分能力的同时降低模型体积与推理成本。
相关词条
人工智能(AI) · 通用人工智能(AGI) · 思维链(Chain-of-Thought) · 推理模型 · 函数调用(Function Calling) · 温度参数(Temperature) · 多智能体系统 · 工具使用(Tool Use)
格物致知 · 行业知识的记录者
以大模型(教师模型)的输出训练小模型(学生模型)的技术,用于在保持大部分能力的同时降低模型体积与推理成本。
人工智能(AI) · 通用人工智能(AGI) · 思维链(Chain-of-Thought) · 推理模型 · 函数调用(Function Calling) · 温度参数(Temperature) · 多智能体系统 · 工具使用(Tool Use)