怎样后训练一个低延迟的小模型,为领域对话系统准确路由到不同子 Agent?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

蚂蚁集团

AI Agent 算法实习生
实习二面
查看原面经 →
探讨一个现实的业务问题:我们核心业务是对话类 Agent 产品。经典架构是前端设有一个意图识别与路由环节,将客户请求分发到不同的子 Agent,由于子 Agent 功能实现完全不同,不能混在一起,所以路由非常关键,一旦路由错误就无法满意回答。另外,作为全链路的必经点,路由必须足够快。我们考虑在最前端用一个相对较小(如 7B 或 13B)的模型,通过后训练使其掌握特定领域知识,实现低延迟的路由。如果让你做这个模型,你会怎么去做?

相关题目

4 题