排行榜

前言 自从ChatGPT火起来后，我就有在尝试用各家的大语言模型辅助工作学习，但是基本以网页为主，本地化部署一直是没想过的事情。直到最近Deepseek-R1大火，恰逢过年，能有比较完整的时间段去不务正业，于是我也去试了试，期间记了不少的经验记录。刚好借这个机会，把分散的记录整理成贴，分享一下我作为一个小白，摸索AI模型本地化部署的一些经验，欢迎来交流心得体会呀。 虽说是经验分享，但其实我也是从其它大佬发布的教程学习怎么部署和应用，写这篇帖子的过程，也是重整我脑子里散乱知识的过程，参考过的教程链接我会放到最后。因为我本人不是计算机专业出身，所以会有很多的疏漏和不专业，还请多担待啦。 内容目录 正文 目前来说个人电脑部署的小模型，如果要用来工作，性能上还是不太行。就像Deepseek-R1的蒸馏小模型，至少14b起步才能不那么智障，最大的优点就是隐私性。还是需要明确自己的需求，如果没有什么必须的理由，接入API可能性价比和体验才是最好的。当然，都在这里了，大伙多少会有一些大胆的想法需要AI帮忙实现俺也一样，这个时候隐私性确实是最重要的。所以我会从部署模型、配置交互用的前端软件、挑选合适的模型，这几个方面分享我的经验。 我的设备是台笔记本：i7-11800H（8核16线程）+RTX3070（8G显存）+32G运行内存（3200MHz，16G×2双通道，ddr4）+Windows10系统。 应该属于比较主流的个人电脑配置，供大伙参考。 一、使用Ollama作为框架，在个人电脑部署AI大语言模型的基本流程 Ollama的使用还是比较方便的，尤其是有用过Docker和Conda的筒子，用这个起来应该是没有什么障碍。我做了几张一图流说明。 二、使用CherryStudio作为交互前端，将本地模型接入前端聊天的基本流程 三、从Huggingface的镜像站获取感兴趣的自定义模型 先施工到这，明天继续

*写在前面：本文是基于FGO的同人创作。如果在对FGO，尤其是妖精圆桌领域一章没有了解的情况下进行阅读，可能会感到疑惑，感到没有交待清楚人物和背景。先在此抱歉了。 这是发生在古代的，空想的，异闻的不列颠尼亚的故事的碎片。只是不列颠的救世主和她的同伴们，在旅途中的短短一段路上，暂时驻足歇息的片刻。 故事里的不列颠岛，不是大陆的延申，而是由妖精变成的草、木、泥、石，一点一点，堆砌而成的。这个时候的不列颠，还没有后来环绕着全岛的光之壁。所以，岛上依旧能看到一望无际的海洋，和从海洋的一端延续到另一端的天空，以及占据了天空一角的巨树。我们的主角们，就在这其间的一片无名森林里。 “梣，你怎么突然呆住了？发生了什么吗？”顺着半米高的矮小粉发妖精的话语，一位金发，蓝眼的美丽妖精转过身来。说是妖精，但她既没有翅膀，也没有尖耳。手持法杖，穿着华丽裙装的样子，更像是在梦中才会降临的美丽少女吧。她就是梣，妖精国的救世主。 “啊，我竟然呆住了一小会儿吗？真是抱歉，特特洛特。让你担心了呢。”梣认真的脸露出春日细雨般的温和笑容。毕竟，梣就出身自雨之氏族嘛，特特洛特想到。 顺着二者的声音，其他的同伴也纷纷靠近。身披重甲的黑骑士埃克特，狼一样的赖内克，还有唯一的人类尤瑟，几句话的时间都凑了过来。 “喂，特特洛特，梣在思考下一步需要去做的事情吧。怎么了，你不会觉得这点旅途的辛苦就能打倒她吧。”赖内克大笑着，张开的嘴里能看见他的每一颗长牙。 “你在说什么呢？咱只不过是关心一下梣嘛，是关心！像你这种神经大条的妖精又怎么会明白这种心情呢？”特特洛特毫不留情地回嘴，迷你的粉色妖精在气势上一点都不落下风。 “咳，嗯。不要吵了。下次再吵架的话，我就拿法杖在你们两个的头上各敲一下哦。”梣如是说，虽然现在她并没有什么动手的想法。 “那么，梣，先休息一下吧。反正这一路上也没有什么急事。”尤瑟说到。他注意到，梣眼睛的蓝色又淡了一点，“这次就不用你再忙了。放心交给我们大家吧。” 梣点了点头。于是朋友们都忙碌起来。在尤瑟的提议下，埃克特抡起斧头，很快收集到了足够的柴火；赖内克用爪子整理出一片平坦的空地；尤瑟处理着林中收集到的食物；特特洛特在空中巡查着，确定附近没有其他妖精后就飞了回来，环绕着落在坐在一节枯木上的梣身旁。 太阳落了下去，篝火点了起来，火光映着环坐的大家，还有梣的侧脸。“谢谢大家。你们知道吗？我很喜欢埃克特的锤子敲敲打打的声音。喜欢特特洛特和赖内克永远也停不下来的吵嘴。还有尤瑟的笑声。真的，真的谢谢你们陪着我，一起冒险……一起巡礼了这么长的时间。”梣的目光在每一个朋友身边停留，最后又汇到燃烧着的火里。 “我一直相信你，梣。你诚恳，努力，和绝大部分妖精完全不一样。”黑骑士埃克特说，摘下盔甲后也看不见他藏在胡子后面的嘴。 “别这么说嘛，咱可不怎么会回应这些话哦。既然咱喜欢梣，那么梣到哪里，咱也会跟到哪里。看来今天梣是真的累了嘛，累了就该休息咯。”特特洛特说。 “我早就把自己的忠诚给你了，梣。只要我还能站在这不列颠岛上，不论你到哪，我都会追随你到最后一刻。”勒内克说。 尤瑟爽朗地笑着，篝火随着他的笑声跃动，不知道是不是梣又用魔术搞了点小把戏。大家按照尤瑟教授的人类的方法举杯欢庆着，享受着片刻的安宁。勒内克贪婪地享受着人类方法烹饪的食物，感受着吞咽的狂喜；特特洛特把玩着梣编出的魔法丝线，对比着它们的手感；埃克特和尤瑟讨论着近来的和明天的要务；梣关注着每一个人。他们就这么坐在一起，直到晚餐食尽，睡魔袭来；直到夜色渐深，篝火将熄。 “每个人拿好一片哦。能保证晚上做个好梦。那我就先去睡啦。”梣拿出了魔术加工过的叶子，每一片都闪着些许和天上的星星一样的光。把叶子给每个人分好后，梣就走进了自己的帐篷，率先睡了过去。朋友们也收好叶子，回到了自己的位置上。他们一个个进入梦乡，叶子闪烁的星光也慢慢暗淡下去。只除了尤瑟的那片。 蹑手蹑脚地，尤瑟从帐篷里溜了出来。正对面，梣就靠在月光下的树上。她把手指放在嘴唇上，接着招了招手，然后指了指身边的位置。晚上的月光很亮，所以尤瑟看的很清楚。 “我已经用魔术把我们的声音隔开了。”尤瑟刚在梣指的地方靠下，就听到了她的声音，“啊，真是的。果然瞒不过你呢。” “人类没有妖精的力量。但也正是因为没有妖精的力量，人类才更能听到同伴的心声。”尤瑟说，看着面前的溪水和天上的月亮，等着梣接着开口。 “嗯。你也知道，每解决一次灾厄，我的妖精眼就会暗一点。如果不是用魔术帮助维持着，恐怕现在我已经什么谎言也看不穿了。”梣的语调慢了下来，“所以，我才担心你的那个提议。圆桌骑士团，由人类和想和人类共存的妖精组成，终结不列颠上一切妖精氏族的争端和战乱。” “我不怕灾厄，也不怕巡礼中所有那些糟糕的事情。但我害怕，现在的我，没法保护我的朋友们，没法保护你和你的人类同胞。就像我没能保护芭万·希，一次都没能做到。” 梣盯着眼前溪水里月亮地反光，有些自暴自弃地说着，“又或者，我只是个自私鬼。只是说着漂亮话，假装自己是救世主，却在心里只是想着要把不列颠据为己有。这样的我，真是无药可救了，对不对？”最后那句话说出口时，在她眼睛里的月光又黯淡了些许。 “不去试一试，怎么知道呢？梣，我提出这个提议，可不仅仅只是因为我是你的伙伴。你和我，和埃克特，和特特洛特，还有赖内克，都说过你想拯救这个不列颠，把它变成美丽的，梦幻一样的国度吧。我，还有其他的人类，都衷心认可你的梦想，更重要的是，认可你付出努力，所做到的一切。更重要的是，我们都能明白，这里是你的家，你的归宿。”尤瑟回应到。他忍不住微笑起来。这微笑又迅速往大笑转化，打断了他的话语。 “所以，不要担心了。你是不是真的救世主，命运强令你去做什么，这些都无关紧要。我们都和你一样活在这里，活在这片土地上，不列颠也是我们的家。这一次，你还有我，和我的同胞们。所以，请你让我，还有大家都看见，当你把不列颠握在手中的样子吧。它也只该握在你的手里。”尤瑟停下大笑，悄声说到。他刚才的笑声在梣的魔法隔绝出的，一小块空间回荡着，如华盖般悄然覆盖着两人。 沉默片刻，梣也笑了。“嗯。那么，我保证，尤瑟。我会让大家的愿望都实现的。我保证，不会让你们失望。我保证，以后创造出的美好记忆，被拯救的不列颠的风景，都会存留在大家的心中。一年，一年，然后再一年。直到时间的尽头。”只是一瞬间，她的笑容仿佛她从未离开过远离尘世的理想乡，阿瓦隆一样。 两人都没再说话，只是静静地享受着月光，沉默了一小会儿。直到梣打破了这短短的时刻，“尤瑟，我们回去吧。该回到大家的身边了。明天还要接着赶路呢，睡太晚就真的起不来了。” 尤瑟跟着梣，重返到熟睡的大家身旁，很快也加入了他们。明月依旧沉默地照着，在旅途中休憩的梣，还有她的同伴们。等到明天早上，这段休憩就将成为过去，慢慢地，逐渐地被一行人所遗忘。 救世主的巡礼仍在继续着。如果这一次能做到的话，大抵不列颠能真的得到救赎，而梣也能实现她的梦想吧。不论那是和大家分享的理想，还是她藏在自己心底的，小小又扭曲的梦想。毕竟，从开始到结束，她的巡礼都，无愧于救世主之名呢。

放一首サカナクション（鱼韵乐队）刚新鲜出炉的「怪獣」—— 希望大家在低谷也能站起来！追寻自己的理想！ 嗯姆~记得当时推特上有一个#100日チャレンジ的Tag 大概的意思就是每天都画一张画，保持100张，虽然其实当时没办法画够100啦ww 在第23张就没再画了，嘛~毕竟当时开始得做毕设嘛，忙得很。 不过这种形式挺好的，其实绘画其中一个很难的点是起步，对于一些人来说拿起画笔本身就是困难的。 找到一些借口来进行创作也很不错呢~w Day1 肯定突然开始画是想不到应该画什么的，于是乎嘛，脑子里面转悠转悠就画个自己吧，于是乎就有很多个日常自己的形象w，右下角是在群聊里面看见了好玩的表情包，所以真的画了个面包。 Day2 嗯姆~当时应该中午玩了喷喷喷，玩到了手疼了，于是晚上开始想着画一下自己的鱿鱼，非常鱿型ww，基本上是看着自己的Switch画面画的，捕捉特征来创作，应该能够在这里感受到些这样的感受w Day3 应该说是身体不好呢，还是从忙毕设开始就是了，基本上一直都有种精力不够用的感觉。硬要说的就是最近的睡眠还紊乱，有些时候根本画不动东西，生理上抑制了想法的推动。所以身体健康很重要呢，大家也不能光是专注在绘画上，机体的保养才是最重要的啊。 Day4 当时应该脑子里面想到了一个画面，嘛，毕竟我在房间里面差不多就是这样坐着玩喷喷喷，干脆把这个画面画出来了就。把Switch的屏幕放在大腿上……恰好有个摩檫力不会掉下去，然后头就不需要太过低头，然后左右手放身体左右玩，就很舒服。不过上色了就会占用更多的时间，这个阶段的色彩比较波动，光影也缺乏一些灵性ww，现在看来，实际上大腿底下可不会那么暗，应该有些光穿过腿缝的，嘛~经验的差距啦~ Day5 随后马上就回到了黑白灰www，打喷喷喷打得手疼，后面都操作变型了。大家打喷喷喷的实力真的好厉害。嘛，回到作画，这个大概就是单纯感觉应该画点鱿型的感觉，所以就有了这么一张类似我在打排位的感受（那个丢球真的难爆了！） Day6 应该不止一次我说了很喜欢天子，当时想到了个很生草的画面，就是在要石上烤肉吃好像很不错（地震鳗：？）。这幅摸鱼算是我当时的一种特别感受，在于似乎亮面更容易被眼睛捕获到，那么反过来只画亮面会怎样呢~于是就这幅画基本上没有二分，但是有亮面就这么诞生了。我其实的确觉得这个画再细化细化就可以丢Pixiv了，唉~可惜了学业繁重啊。 Day7 不开玩笑，头疼是简直绘画公敌。脑子里面什么都想不到，状态很差，单纯随便摸摸，能出东西，但肯定吃力不讨好，事倍功半。真的是需要休息啊…… Day8 头疼是不会只有一天的……会有余波的。不过幽幽子是七星很喜欢的一个角色，因为和服真的太棒了，不过当时不具备处理这种需要画花纹的能力。现在倒是画得起来了，时间过得真快啊~ Day9 突然想试着说画个小漫画这种感觉，于是乎随随便便搓了些东西，不过作为漫画应该有点不太符合标准ww，都像《关于地球的运动》漫画的作者一样爱写字了ww Day10 也许是忙起来了吧，开始画得东西比较少了。总之画了些生草的小内容就不管了，有点脱离了原来的目的呢~ Day11 当时原来是正值芙莉莲新番时代，总之算得上是我最喜欢的角色之一了。以前很多时候的摸鱼其实都爱画精灵，因为精灵耳朵就有那种很灵性的感觉w，可惜旧硬盘炸了一遍，不然还可以给大家看些更老的怀旧东西（黑历史） Day12 某种情绪化的大脑开始突然想到了主角组的两位，于是有了这么一张带着某种悲伤气息的百合图呢，如果大家喜欢的话，哪天我试着重绘看看~？不过不加衣服是因为素体画着比衣服简单多了（当然也有坦诚相待的感觉在x） Day13 然后我就稍微摸了张芙莉莲，嗯姆~~线条在当时不算特别好就是了，作为插画有点扣分了。我当时总感觉有点不太妥，但不是很想再处理了，毕竟默认都是一天内抽点时间画嘛。缺乏挺多打磨的。 Day14 想画某种末世生存感觉的东西，脑子里面能想到的肯定就是大背包少女之类乱七八糟的ww，这同时也在试着画水面感的尝试，很多东西在现在都很粗略，见笑啦w 嗯姆……所以这里就先塞14张，后续的9张不知道大家还有没有兴趣看。 所以如同大家所见，平时画师的脑子里都挺散发电波系的，可能莫名其妙就混了很多奇奇怪怪的生草元素w 2023年我的成长不算特别多，重在实验感的尝试，不过接近学业尾声也真的不太能创作太多，我本科和绘画没半点关系ww 所以2024年的产能算得上是相当低了，直到2025年才抵达了一个极度高峰，一个月能出几张成品可能是我以前想都不敢想的…… 但是我其实2023年就总感觉完成一幅成品应该是可以一天内完成的w，不过碍于精力不足，画到一半很多时候就得睡了（摊手）