大语言模型软硬件部署路径

本地

硬件

• 大显存显卡设备（2080ti 22g）
• 过得去的cpu和内存，推荐32g以上
• 网络条件、硬盘

软件

• text-generation-webui（相关环境驱动一键安装）
  • https://weilining.github.io/294.html （终端代理网络加速）
  • https://github.com/oobabooga/text-generation-webui
• 模型文件 (llama2-Chinese-13b)
  • https://github.com/FlagAlpha/Llama2-Chinese
  • https://huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat
  • https://dyss.top/1135
• frp内网穿透端口映射（与远程web服务器配套使用）
  • frpc.exe
  • frpc.ini

上云

硬件

• 带公网IP的云服务器

软件

• 宝塔面板
  • 反向代理
  • SSL证书（非必要）
  • 防火墙
• 域名解析
• frps端口映射
  • frps
  • frps.ini

最终效果

浏览器访问webui，走到哪都能用的自建GPT