[个人使用] 清华ChatGLM本地丐机部署,附带资源(至少需要N卡6G显存) 微头条
我寻思这文章好像没什么问题,符合各项要求,可就是要把我打回。GLM和GPT相比,还是差了亿点的,我想让两个
我寻思这文章好像没什么问题,符合各项要求,可就是要把我打回。
(相关资料图)
GLM和GPT相比,还是差了亿点的,我想让两个GLM开一个辩论会,结果
但是基本上也能完成许多基础的对话任务,个人感觉还是不错的。
声明:
为了方便给别人安利这个东西,于是我就写了这篇文章。我的python代码能力不强,所以很多东西都是东拼西凑的,那有什么是我自己原创的呢,有,我看别人用gradio做了web的界面,但是我嫌麻烦,于是用Qt换了个皮,实现了一些基础的交互,但实在缺少优化。这部分应该也算原创,毕竟我自己对于这个项目的实现还是很满意的。最后我会分享一下代码。
但是我不会直接把所有东西一起打个包来分享,我会分开来发,因为我会介绍每一个部分是干什么的,之后如果出问题了自己也好解决。
目前界面长这样,丑是真的丑,但看懂应该也没什么问题:
本人声明:GLM开源,商业用途的解释权在他官方手里,我仅仅作为学习用途使用。
第一步:模型
要求英伟达卡,显存6G以上。首先下载安装英伟达cuda的11.7.0_516.01版本,安装完成后默认情况下环境变量会自动配置好。我提供:盘.百度.亢母/s/1jOvy0英伟达T2ADIm英伟达tHCpjdM英伟达Wegw 取mq6l
然后获得模型,可以在Hugging Face上直接下:hugg模型ingface.co/THU模型DM/chat模型glm-6b,网实在不好的话,我提供:盘.百度.亢母\s\1C模型5r7xGd模型l5_Vj模型dhFEPp模型G18Q 取ghwt
(压缩包设置了分卷,需要全部下到同一路径,打开其中的zip文件解压)
第二步:环境
获得python以及环境,我的环境资源主要来源于BV1E24y1u7Go,但是我又自行添加了一些其他的库,所以这里我也提供:盘.百度.亢母\s\17zXy环境U98G环境LAUtu环境KYLY环境SIT-Q 取4xz0
我这里同时把需要用的ui文件也分享一下:盘.百度.亢母\s\1ugLqa界面qXmZ界面jzfzW界面m6P1c界面ZDQ 取k226
第三步:解压
如果下好了前面两步的东西了,我就介绍一下怎么解压。首先自己选一个存放路径,足够大即可,新建一个文件夹作为项目文件夹,绝不允许有中文路径。把模型压缩包里的“model”路径解压到项目文件夹中;把环境压缩包里的“py310”路径解压到项目文件夹中;把UI压缩包里的“qtgui”路径解压到项目文件夹中。
这时你的项目应该是这样的:
━ChatGLMProject
┗━model
┗━py310
┗━qtgui
第四步:脚本
在工程目录的根目录里创建一个python脚本,文件拓展名为“.py”,作为使用脚本。我的示例文件名为“QtTalkToChatGLM.py”。源码如下:
在工程目录的根目录里创建一个shell脚本,文件拓展名为“.bat”,作为启动脚本。我的示例文件名为“OpenQtGUI.bat”。其实就是设置用什么环境来运行什么脚本。源码如下:
这时你的项目文件夹应该是这样的:
━ChatGLMProject
┗━model
┗━py310
┗━qtgui
┗━OpenQtGUI.bat
┗━QtTalkToChatGLM.py
第五步:运行
接下来要配置一下代码的显存模式:用任何文字编辑器打开python脚本,在第19和20行那里有一个整数,有四种模式,根据显存设置即可。
接下来双击OpenQtGUI.bat启动测试,如果控制台显示“Traceback”报错就把控制台关掉重新启动一遍bat文件,这个不影响。
初始化过程可能会等一段时间,6G2060大概要等3分钟。
当UI上的骚粉色提示变灰了之后就可以点右边的“提交文段”按钮来上传文本,AI回复需要一定的时间,推荐先用“你好”先测试一下。
右下角允许保存加载历史,保存的历史文件默认在工程目录的“outputs”文件夹里,加载的时候将历史文件拖到“加载历史”左边的文本框里,点击“加载历史”即可。“删除历史”会删除所有递给AI的上下文语境,此时需要使用“加载历史”来恢复。按钮默认是灰的,需要勾选按钮左边的锁才能点击。
目前这个东西很多地方不太完善,比如说我想弄一个实时打字机效果,但感觉自己没能力做出来;以及QTextBrowser如何加载他生成的markdown,这也没有做出来;更别说界面美化、改一下字体啊什么的,我之后试试解决这些问题。
6G卡体验上确实是丐卡,双开两个模型,控制台直接overflow了,之后想办法整一个24G的。
关键词:
我寻思这文章好像没什么问题,符合各项要求,可就是要把我打回。GLM和GPT相比,还是差了亿点的,我想让两个
当地时间4月21日,欧盟统计局最新公布的数据显示,2022年第四季度,欧元区经季节性调整的一般政府财政赤字
1、孔令影,女,汉族,1977年8月出生,云南弥勒人,无党派人士,硕士(在职)研究生学历,1998年8月参加工作。2
1、高斯印象中曾听过一个故事:高斯是位小学二年级的学生,有一天他的数学老师因为事情已处理了一大半,虽
商务部服贸司负责人谈2023年一季度我国服务外包产业发展情况;2023年一季度,我国企业承接服务外包合同额57
同花顺金融研究中心4月21日讯,有投资者向鑫磊股份提问,公司如何应对同行业的竞争? 公司回答表示,尊
欢迎观看本篇文章,小勉来为大家解答以上问题。荡漾是什么意思思,词语荡漾什么意思很多人还不知道,现在让
不到2折入手真·蚕丝被!冬暖夏凉,一条被子盖四季
QuantumSource是一家量子计算技术开发商,正在开发突破性技术,以实现商业化可行的具有数百万量子比特的光
今天,边肖在这里分享一些关于科目四能过吗下个星期三考试的知识,丰富大家的知识,所以如果你有兴趣了解科
中国文旅目的地产业联盟正式成立---集结行业智慧汇聚发展合力。中国文旅目的地产业联盟正式成立。4月19日,
北京欢乐谷金面王朝单独收费吗?答:是的,观看大型演出《金面王朝》须另行购票。北京欢乐谷金面王朝价格:A
格隆汇4月21日丨太古股份公司B(00087 HK)公告,4月21日耗资244 24万港元回购25 5万股,每股价格为9
北京时间4月21日,在2023赛季中超联赛第2轮的一场比赛中,上海申花队客场1:0击败梅州客家队,取得两连胜。
1、不知道你说的是不是thebighit,我查找到这个,此界面在图示位置登录。2、如果没有注册,请先注册,很多浏
油然而生的油然是什么意思,油然而生的油然含义很多人还不知道,现在让我们一起来看看吧!解答:1、但是,
4月21日北向资金增持7 24万股数字认证。近5个交易日中,获北向资金减持的有2天,累计净减持26 65万股。近20
4月21日,今年第一场女子高尔夫大满贯LPGA锦标赛在美国休斯顿开打,手握入场券的“瑞典一姐”林恩·格兰特
东方八所镇第二期城市党建沙龙暨“红色巷长团”第二次联席会议现场。记者了解到,“红色巷长”试点工作是八
1、王菲读诵的《金刚经》,声音很美,读得不错,比她唱的歌还俊,在网上很受欢迎。2、在土豆网、优酷网,搜
“淄博已经进入全民客服时代”“淄博欢迎您,470万服务员已经准备就绪”。近日,不少淄博网友开玩笑表示,
大连国际金融与发展论坛于2023年4月21日举行。中国银行前首席经济学家曹远征出席并演讲。曹远征表示,大连
孔雀河,藏语称马甲藏布,发源于西藏阿里地区普兰县境内喜马拉雅山脉的古真拉北方的冰川,斜贯普兰县的南部
【特斯拉暴跌近10%】周四,美国最新公布的多项经济数据表现不佳,导致投资者对于美国经济陷入衰退的担忧情
16时46分许,G22青兰高速山西临汾段云台山隧道发生一起交通事故,交通双向中断,截至目前,当地路政、消防
Copyright 2015-2022 华南酒业网 版权所有 备案号:粤ICP备18025786号-52 联系邮箱: 954 29 18 82 @qq.com