讨论 吧里有自己用本地LLM搭建酒馆（SillyTavern）的吗？我不知道用什么LLM比较好了

[克洛伊木马]

我显卡是RTX 2070 8G，内存16G，死活找不到一个合适的LLM，去reddit看了一圈，看别人推荐的不是实际用起来太慢，就是质量太差……

有人有这个经验吗？

[Zero Clover]

8GB 显存太小了，没有什么能用的

能用一点儿的起步 16GB+

然而不如直接 DeepSeek，买硬件的钱够买几百亿 Token 了

[momokojan]

非要本地的话 低配可选saiga_nemo_12b 目前小体量模型里算是很优秀的了

API的话 公认瑟瑟最优秀的还是克劳德....如果你有国外手机号的话 可以去搞API 开1个月会员以后高强度瑟瑟等BAN BAN了以后会把钱退回你的信用卡 然后再起号循环 实现白嫖永动机....

[soyuznerushimiy]

玩这个他们自带的几个 用过 不怎样……但是能用 而且不需要联网

[克洛伊木马]

14 小时前，momokojan说道:

非要本地的话 低配可选saiga_nemo_12b 目前小体量模型里算是很优秀的了

API的话 公认瑟瑟最优秀的还是克劳德....如果你有国外手机号的话 可以去搞API 开1个月会员以后高强度瑟瑟等BAN BAN了以后会把钱退回你的信用卡 然后再起号循环 实现白嫖永动机....

我的克劳德号现在还在被封的状态，原因你大概也能猜到……

这个模型我去试试，多谢了

 

14 小时前，soyuznerushimiy说道:

玩这个他们自带的几个 用过 不怎样……但是能用 而且不需要联网

你说自带的是哪几个？我下载的就30m，不带任何模型

 

18 小时前，Zero Clover说道:

8GB 显存太小了，没有什么能用的

能用一点儿的起步 16GB+

然而不如直接 DeepSeek，买硬件的钱够买几百亿 Token 了

deepseek真不会因为这个被封号吗？你也知道，玩酒馆的说的都是什么话题……

[左林]

claude不是可以虚拟号注册么...为什么不多开几个就好了吧。

[克洛伊木马]

2 分钟前，左林说道:

claude不是可以虚拟号注册么...为什么不多开几个就好了吧。

原因有俩，第一个是我一般一次用不了太长时间，因为扮演主题原因，不超过一个小时，懒得为这个花钱。

第二个原因是破限的时候需要经常去换，去discord里慢慢找，慢慢折腾，每次找的时间比玩的时间还长，而且中间时不时会间歇性的开始道歉。

我折腾本地LLM的直接原因就是我买了一个API，结果可能是破限的有问题，不到半小时就被封号了。

[soyuznerushimiy]

8 小时前，克洛伊木马说道:

你说自带的是哪几个？我下载的就30m，不带任何模型

有些地方是推荐kobold当后端的

而且tavern应该兼容吧

就是需要几十个g的硬盘空间

github

下个本体 再随便下个模型 （例如erebus）

[Zero Clover]

于 2025/1/16 于 PM3点29分，克洛伊木马说道:

deepseek真不会因为这个被封号吗？你也知道，玩酒馆的说的都是什么话题……

目前来说就我使用体验来说 DeepSeek 道德水平非常低下，什么都能输出

另外我自己的 OpenAI API 和 AWS Bedrock Claude API 跑这类内容也没遇到过什么问题。Azure 有无法关闭的审查，GCP 虽然假装你可以关，但是实际上还有一层关不掉的审查。其他的基本都没什么问题

 

当然，我说的都是 API，网页版都是有审查的，所以所有用网页版转 API 的假 API 也都是有审查的

周五 09:28，由Zero Clover修改

[左林]

22 小时前，克洛伊木马说道:

原因有俩，第一个是我一般一次用不了太长时间，因为扮演主题原因，不超过一个小时，懒得为这个花钱。

第二个原因是破限的时候需要经常去换，去discord里慢慢找，慢慢折腾，每次找的时间比玩的时间还长，而且中间时不时会间歇性的开始道歉。

我折腾本地LLM的直接原因就是我买了一个API，结果可能是破限的有问题，不到半小时就被封号了。

正经api一般不会封的...

[萨卡]

4 小时前，左林说道:

正经api一般不会封的...

也会的 审查机制不一样而已

[左林]

18 小时前，萨卡说道:

也会的 审查机制不一样而已

封的少很多趴()