前言
自从ChatGPT火起来后，我就有在尝试用各家的大语言模型辅助工作学习，但是基本以网页为主，本地化部署一直是没想过的事情。直到最近Deepseek-R1大火，恰逢过年，能有比较完整的时间段去不务正业，于是我也去试了试，期间记了不少的经验记录。刚好借这个机会，把分散的记录整理成贴，分享一下我作为一个小白，摸索AI模型本地化部署的一些经验，欢迎来交流心得体会呀。
虽说是经验分享，但其实我也是从其它大佬发布的教程学习怎么部署和应用，写这篇帖子的过程，也是重整我脑子里散乱知识的过程，参考过的教程链接我会放到最后。因为我本人不是计算机专业出身，所以会有很多的疏漏和不专业，还请多担待啦。
内容目录
正文
目前来说个人电脑部署的小模型，如果要用来工作，性能上还是不太行。就像Deepseek-R1的蒸馏小模型，至少14b起步才能不那么智障，最大的优点就是隐私性。还是需要明确自己的需求，如果没有什么必须的理由，接入API可能性价比和体验才是最好的。当然，都在这里了，大伙多少会有一些大胆的想法需要AI帮忙实现俺也一样，这个时候隐私性确实是最重要的。所以我会从部署模型、配置交互用的前端软件、挑选合适的模型，这几个方面分享我的经验。
我的设备是台笔记本：i7-11800H（8核16线程）+RTX3070（8G显存）+32G运行内存（3200MHz，16G×2双通道，ddr4）+Windows10系统。
应该属于比较主流的个人电脑配置，供大伙参考。
一、使用Ollama作为框架，在个人电脑部署AI大语言模型的基本流程
Ollama的使用还是比较方便的，尤其是有用过Docker和Conda的筒子，用这个起来应该是没有什么障碍。我做了几张一图流说明。
二、使用CherryStudio作为交互前端，将本地模型接入前端聊天的基本流程
三、从Huggingface的镜像站获取感兴趣的自定义模型
先施工到这，明天继续
