Vinda

是的，硬件上的限制太大了。我跑14b差不多内存和显存对半，32b的Q4就只能八二开的样子，暂时只能找找小模型有没有好用的了。

嗯。。。现在配置的显存太小了，好一点的模型装不下，速度上不来，毕竟走内存的速度比显存慢太多，得以后配新机的时候才能考虑大一些的模型了

确实慢...一条回答至少几分钟，我听说lmstudio会好不少，还有kobold也有推荐的，或许会快一些？

32b起步吧，而且对话的上下文太长就容易重复，或许你可以去看看deepsex，这个模型专门拿小说训练的，特化了小说和对话，14bQ8就有不错的文笔，重复问题少了一些，但还是存在，可以期待作者后续的版本。

前言 自从ChatGPT火起来后，我就有在尝试用各家的大语言模型辅助工作学习，但是基本以网页为主，本地化部署一直是没想过的事情。直到最近Deepseek-R1大火，恰逢过年，能有比较完整的时间段去不务正业，于是我也去试了试，期间记了不少的经验记录。刚好借这个机会，把分散的记录整理成贴，分享一下我作为一个小白，摸索AI模型本地化部署的一些经验，欢迎来交流心得体会呀。 虽说是经验分享，但其实我也是从其它大佬发布的教程学习怎么部署和应用，写这篇帖子的过程，也是重整我脑子里散乱知识的过程，参考过的教程链接我会放到最后。因为我本人不是计算机专业出身，所以会有很多的疏漏和不专业，还请多担待啦。 内容目录 正文 目前来说个人电脑部署的小模型，如果要用来工作，性能上还是不太行。就像Deepseek-R1的蒸馏小模型，至少14b起步才能不那么智障，最大的优点就是隐私性。还是需要明确自己的需求，如果没有什么必须的理由，接入API可能性价比和体验才是最好的。当然，都在这里了，大伙多少会有一些大胆的想法需要AI帮忙实现俺也一样，这个时候隐私性确实是最重要的。所以我会从部署模型、配置交互用的前端软件、挑选合适的模型，这几个方面分享我的经验。 我的设备是台笔记本：i7-11800H（8核16线程）+RTX3070（8G显存）+32G运行内存（3200MHz，16G×2双通道，ddr4）+Windows10系统。 应该属于比较主流的个人电脑配置，供大伙参考。 一、使用Ollama作为框架，在个人电脑部署AI大语言模型的基本流程 Ollama的使用还是比较方便的，尤其是有用过Docker和Conda的筒子，用这个起来应该是没有什么障碍。我做了几张一图流说明。 二、使用CherryStudio作为交互前端，将本地模型接入前端聊天的基本流程 三、从Huggingface的镜像站获取感兴趣的自定义模型 先施工到这，明天继续

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

此内容有访问限制，请到内容页面查看。

3-4这个星期捞了1000出击了.....好累...上一次这么肝还是在舰N时期捞瑞鹤

当时一块玩炉石的五个同学现在三四个弃坑，还有一个沉迷影之诗... 其实只是玩家更迭给人的错觉吧.

连出两个反击的时候就该收手了...也许是我信了玄学，但确实连续建造时，出了反击之我之后的建造就没出过货

年初的时候就发现了，这游戏的天空战不怎么友好。 这可是真-能玩一整天的游戏，为了学习我把它卸载了，现在感觉时间充裕多了

最近两天体感刷新率有点低，一天一个，但是也可能是我样本太少

纯音的话，如果好听，会留下来，不过我通常是上网找，网易云音乐上挺全的

我已经不相信伏见老贼的作品会有he了

其实 命运之手 挺好的，虽然我觉得更偏向roguelike，但也是很有意思的

红警或者百战天虫，还是纯英文的，当时作为小学生完全是瞎点， 要说真正认真玩的游戏，应该是风色幻想吧 天国的风色7...........