原创 分享一些个人尝试大语言模型部署的经验

[萨卡]

又是ollama。。。可以是可以但速度不咋样

[萨卡]

1 小时前，Vinda说道:

确实慢...一条回答至少几分钟，我听说lmstudio会好不少，还有kobold也有推荐的，或许会快一些？

那不清楚。。首先要足够显存把模型全装进去才行。。3090用sglang的话12B模型一条简单的回答估计15秒内吧。