模型量化
降低模型参数数值精度（如 FP16 转 INT8/INT4）以压缩体积、提升推理速度的工程技术。
相关词条
模型上下文协议（MCP） · GraphRAG · Agentic RAG · 上下文工程 · 混合检索 · 重排序（Rerank） · 模型评估（LLM-as-Judge） · 提示注入防护
格物致知 · 行业知识的记录者
降低模型参数数值精度（如 FP16 转 INT8/INT4）以压缩体积、提升推理速度的工程技术。
模型上下文协议（MCP） · GraphRAG · Agentic RAG · 上下文工程 · 混合检索 · 重排序（Rerank） · 模型评估（LLM-as-Judge） · 提示注入防护