前言
本篇收集整理一些本地部署 “AI” 环境准备环境安装的简单说明,后续有新增会持续更新(请注意时效性)
python
请前往 Python Releases for Windows | Python.org 下载
建议版本在 3.8 – 3.10 之间,因为集成其他组件可能有限制,比如要集成语音转换组件 paddlepaddle
,根据安装指南-使用文档-PaddlePaddle深度学习平台 文档说明,当前(本篇发布时间) Python 的版本要求 3.6/3.7/3.8/3.9/3.10,最好是选择64位
pip 下载路径设置
pip
默认下载位置为 C
盘用户目录下,可以在安装位置找到 site.py
文件进行修改
将以下配置
USER_SITE = None
USER_BASE = None
更改为自定义位置,比如
USER_SITE = "E:cachePythonLibsite-packages"
USER_BASE = "E:cachePythonScripts"
pip 换源
国内可能需要换源,命令如下
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
国内可用源
- 清华镜像源,更新频繁,也比较全,推荐使用
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
- 阿里云
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
- 中国科技大学
pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/
- 华中理工大学
pip config set global.index-url http://pypi.hustunique.com/
- 山东理工大学
pip config set global.index-url http://pypi.sdutlinux.org/
- 豆瓣
pip config set global.index-url http://pypi.douban.com/simple/
pip 清除缓存
一些包报错反复安装都无效时,可清除缓存再安装
pip cache purge
C++
前往 Microsoft C++ 生成工具 – Visual Studio 下载,过程中选择 使用 C++ 的桌面开发
选项,在安装详细列表的可选里只需要前3个即可
Cuda
可参考Cuda和cuDNN安装教程(超级详细)_cuda安装
pytorch安装GPU版本
默认安装的 torch
是直接运行在CPU上的,如果已安装,执行以下命令先卸载
pip uninstall torch torchvision torchaudio
然后执行以下命令安装 cuda
版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
语音助手
这个可选方案有几个,这里先简单说说 PaddlePaddle
PaddlePaddle
语音文字转换需要对应工具,这里选择 PaddlePaddle
参照 安装指南-使用文档-PaddlePaddle深度学习平台 进行对应软件版本安装即可
想要自己的语音模型可参照 【有手就行】使用你自己的声音做语音合成 – 飞桨AI Studio (baidu.com) 进行操作
ffmpge
前往Releases · BtbN/FFmpeg-Builds (github.com)下载对应构建好的文件,解压后配置系统变量即可
问题汇总
记录可能的问题
numpy
集成 PaddlePaddle
的时候 numpy
高于 1.23 版本可能报错,可指定安装 1.23.5 版本,详细看issues
nltk_data数据包下载问题
- 方案一
终端输入 python
进入 python
环境,执行 import nltk
,然后执行 nltk.download()
弹起交互页面,把Server Index
改为 www.nltk.org/nltk_data/ 然后双击对应包就可以下载了,Ctrl + Z
退出 python
环境
- 方案二
方案一还是可能会下载失败,可以使用另外下面这种方式
克隆 nltk_data 项目,把项目下 packages
文件夹下内容移动到 nltk
的下载目录(方案一交互窗口的Download Directory)下即可
语音解析模块报错
paddlespeech
、paddlenlp
等 paddle
相关模块报错,可以尝试删除 C:Users[user_name]
目录下相关编译文件夹,然后重新安装对应包或者执行对应项目的 pip install -r requirements.txt
重新生成编译文件
下载速度问题
一些比较慢的项目可以选择GitCode的镜像
比如 AI
绘画 stable-diffusion-webui 依赖(在 launch.py
文件内有动态clone)的项目都可以选择在GitCode上下载
clone
至 repositories
文件夹下,注意一些项目需要根据 launch.py
内设置的名称修改文件夹名,这里列出一些,其他有需要自行搜索
- Taming Transformers
- k-diffusion
- open_clip
- stablediffusion ,这个包需要改变文件夹名称为
stable-diffusion-stability-ai
- GFPGAN
- 中文包stable-diffusion-webui-localization-zh_cn,当然也可以基于插件方式安装
项目环境隔离
因为不同项目使用的Python可能不一样,依赖包版本也不一致,可能导致一些冲突,可以使用 Anaconda | The World’s Most Popular Data Science Platform 做隔离
Anaconda
Anaconda 可以便捷获取包且对包能够进行管理,同时对环境可以统一管理的发行版本,包含了conda、Python 等190多个科学包及其依赖项。
Anaconda 下载 & 安装
前往 Free Download | Anaconda 下载并非安装
安装完成可以在开始菜单看到对应应用
设置国内镜像
打开Anaconda Powersshell Prompt
,执行以下命令,将清华镜像配置添加到 Anaconda 中
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
创建虚拟环境
- 命令创建
conda create -n 环境名 -y
# 有多个python版本的可以指定版本
conda create -n 环境名 python=x.x.x -y
- 页面创建
打开 Anaconda Navigator
,按如下操作
更改工作路径
默认 conda create
的目录默认在 C 盘,打开Anaconda Powersshell Prompt
,执行以下命令
jupyter notebook --generate-config
得到配置文件jupyter_notebook_config.py
路径,修改文件,把 # c.NotebookApp.notebook_dir = ''
修改为指定目录,比如
c.NotebookApp.notebook_dir = 'E:Anaconda3'
在 C 盘用户目录下找到 .condarc
,增加如下配置
envs_dirs:
- E:Anaconda3envs
这样我们就可以创建不同的虚拟环境,然后根据虚拟环境进行 python 包版本管理,比如,这里就可以区分语言模型ChatGLM-6B
和 AI 绘画stable-diffusion
环境了
容器隔离
除了 Anaconda 方案,还可以选择容器隔离,比如 docker,对于不想折腾环境的人可以考虑不同容器直接按照一键包,但是对磁盘空间要求比较大,就不详细说了(一般一键包都有说明)