吐槽 我的另外一个一时兴起的兴趣：AI绘图

[eastmoe]

21 小时前，youde79说道:

没听说过个人AI，按我个人理解就是每个人给AI喂的东西不一样。4G 6G显存一直可以用，只是说跑不了大图

我猜测他们说的个人AI应该是经过个人定制的语言模型，比如说Chatglm、羊驼+特定提示词什么的。语言模型更加吃显存。光是以fp16完整加载Chatglm-6b模型就需要16G显存。8G显存应该是经过INT8\INT4量化加载的。如果要训练lora，那么24G都勉强。

[eastmoe]

7 分钟前，youde79说道:

这种得要矿机那种级别了吧，还要长时间开着。

矿机PCIE带宽不够而且不支持nvlink多卡互联，所以拿来跑AI不太行，得上支持nvlink的多卡平台。比如说AMD的epyc4代，一颗CPU就有128条PCIE5.0通道，还支持拆分和多路CPU互联。