SGLang 多模态开启张量并行后,如何高效复用 ViT 的图像 Embedding?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

公司未注明

AI Infra
实习
查看原面经 →
sglang里多模态如果开了tp,vit的image embedding在多个进程里是怎么高效复用的

相关题目

4 题