说明
大语言模型用Anything LLM,可以一键搭建,包含Ollama本地知识库
AI绘图用秋葉aaaki的绘世启动器,也是一键包,包含Stable diffusion和webui
问题在于我准备跑AI的这个核显:680m,官方的HIP(Rocm)并不支持,所以需要一些特殊的操作
安装HIP
首先需要安装HIP,版本建议选择5.7.0,因为AI绘图不支持6.2.4。需要说明的是,按道理来说只需要安装5.7.0就行的,但是我这里两个版本都安装了(因为之前我并不知道AI画图不支持5.2.4),Ollama的dll库是用6.2.4的ROCmLibs替换的(下面会说),但是在Path(环境变量)里面5.7.0的优先于6.2.4,但是Ollama还是可以正常运行。暂时不清楚到底是这个6.2.4的dll兼容5.7.0还是说用的是其他环境变量所以用的是6.2.4,我不打算继续研究因为它正常工作。
总之我在安装完HIP之后还将HIP的bin路径添加到了系统变量Path里面,并且5.7.0的优先于6.2.4。
后续步骤
安装完HIP之后,进行如下步骤:
对于大语言模型:
1. 需要将Anything LLM自带的Ollama用Ollama for amd替换。该项目的Release页面可以看到“ollama-windows-amd64.7z”文件,将他下载下来,里面的文件替换到Anything LLM的安装文件夹“AnythingLLM\resources\ollama”中,ollama.exe替换llm.exe。
2. 需要将HIP的部分dll文件用第三方的dll文件ROCmLibs替换。从该项目的Release页面找到你的显卡的架构的相应文件,显卡架构可以从TechPowerUp找到如我的这块680m核显,可以看到其架构为gfx1035,所以我下载“rocm.gfx1034-gfx1035-gfx1036.for.hip.sdk.6.2.4.7z”
。用这个压缩文件内的文件替换“AnythingLLM\resources\ollama\lib\ollama\rocm”和“C:\Program Files\AMD\ROCm\6.2\bin”中的文件,这里注意“library”文件的位置在“rocblas\library”。(这里我用6.2.4举例,5.7.0同理)
对于AI绘图:
由于绘世启动器目前只支持5.7.0,所以需要安装5.7.0的HIP,并且按照上面大语言模型的第二步替换“C:\Program Files\AMD\ROCm\6.2\bin”中的文件(如果已经做过了就忽略这一步)。第一次启动会卡在转译这一步很久,大约10多分钟吧,耐心等待即可。