AI环境准备环境安装指南

释放双眼,带上耳机,听听看~!
本篇文章提供了AI环境准备环境安装的简单说明,包括Python、C++、Cuda、Pytorch等内容,适合对AI环境搭建感兴趣的读者。

前言

本篇收集整理一些本地部署 “AI” 环境准备环境安装的简单说明,后续有新增会持续更新(请注意时效性)

python

请前往 Python Releases for Windows | Python.org 下载

建议版本在 3.8 – 3.10 之间,因为集成其他组件可能有限制,比如要集成语音转换组件 paddlepaddle ,根据安装指南-使用文档-PaddlePaddle深度学习平台 文档说明,当前(本篇发布时间) Python 的版本要求 3.6/3.7/3.8/3.9/3.10,最好是选择64位

pip 下载路径设置

pip 默认下载位置为 C 盘用户目录下,可以在安装位置找到 site.py 文件进行修改

将以下配置

USER_SITE = None
USER_BASE = None

更改为自定义位置,比如

USER_SITE = "E:cachePythonLibsite-packages"
USER_BASE = "E:cachePythonScripts"

pip 换源

国内可能需要换源,命令如下

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

国内可用源

  • 清华镜像源,更新频繁,也比较全,推荐使用
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  • 阿里云
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
  • 中国科技大学
pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/
  • 华中理工大学
pip config set global.index-url http://pypi.hustunique.com/
  • 山东理工大学
pip config set global.index-url http://pypi.sdutlinux.org/
  • 豆瓣
pip config set global.index-url http://pypi.douban.com/simple/

pip 清除缓存

一些包报错反复安装都无效时,可清除缓存再安装

pip cache purge

C++

前往 Microsoft C++ 生成工具 – Visual Studio 下载,过程中选择 使用 C++ 的桌面开发 选项,在安装详细列表的可选里只需要前3个即可

Cuda

可参考Cuda和cuDNN安装教程(超级详细)_cuda安装

pytorch安装GPU版本

默认安装的 torch 是直接运行在CPU上的,如果已安装,执行以下命令先卸载

pip uninstall torch torchvision torchaudio

然后执行以下命令安装 cuda 版本

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

语音助手

这个可选方案有几个,这里先简单说说 PaddlePaddle

PaddlePaddle

语音文字转换需要对应工具,这里选择 PaddlePaddle

参照 安装指南-使用文档-PaddlePaddle深度学习平台 进行对应软件版本安装即可

想要自己的语音模型可参照 【有手就行】使用你自己的声音做语音合成 – 飞桨AI Studio (baidu.com) 进行操作

ffmpge

前往Releases · BtbN/FFmpeg-Builds (github.com)下载对应构建好的文件,解压后配置系统变量即可

问题汇总

记录可能的问题

numpy

集成 PaddlePaddle 的时候 numpy 高于 1.23 版本可能报错,可指定安装 1.23.5 版本,详细看issues

nltk_data数据包下载问题

  • 方案一

终端输入 python 进入 python 环境,执行 import nltk ,然后执行 nltk.download() 弹起交互页面,把Server Index 改为 www.nltk.org/nltk_data/ 然后双击对应包就可以下载了,Ctrl + Z 退出 python 环境

  • 方案二

方案一还是可能会下载失败,可以使用另外下面这种方式

克隆 nltk_data 项目,把项目下 packages 文件夹下内容移动到 nltk 的下载目录(方案一交互窗口的Download Directory)下即可

语音解析模块报错

paddlespeechpaddlenlppaddle 相关模块报错,可以尝试删除 C:Users[user_name] 目录下相关编译文件夹,然后重新安装对应包或者执行对应项目的 pip install -r requirements.txt 重新生成编译文件

下载速度问题

一些比较慢的项目可以选择GitCode的镜像

比如 AI 绘画 stable-diffusion-webui 依赖(在 launch.py 文件内有动态clone)的项目都可以选择在GitCode上下载

clonerepositories 文件夹下,注意一些项目需要根据 launch.py 内设置的名称修改文件夹名,这里列出一些,其他有需要自行搜索

项目环境隔离

因为不同项目使用的Python可能不一样,依赖包版本也不一致,可能导致一些冲突,可以使用 Anaconda | The World’s Most Popular Data Science Platform 做隔离

Anaconda

Anaconda 可以便捷获取包且对包能够进行管理,同时对环境可以统一管理的发行版本,包含了conda、Python 等190多个科学包及其依赖项。

Anaconda 下载 & 安装

前往 Free Download | Anaconda 下载并非安装

安装完成可以在开始菜单看到对应应用

AI环境准备环境安装指南

设置国内镜像

打开Anaconda Powersshell Prompt,执行以下命令,将清华镜像配置添加到 Anaconda 中

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --set show_channel_urls yes

创建虚拟环境

  • 命令创建
conda create -n 环境名 -y
# 有多个python版本的可以指定版本
conda create -n 环境名 python=x.x.x -y
  • 页面创建

打开 Anaconda Navigator ,按如下操作

AI环境准备环境安装指南

更改工作路径

默认 conda create 的目录默认在 C 盘,打开Anaconda Powersshell Prompt,执行以下命令

jupyter notebook --generate-config

得到配置文件jupyter_notebook_config.py路径,修改文件,把 # c.NotebookApp.notebook_dir = ''修改为指定目录,比如

c.NotebookApp.notebook_dir = 'E:Anaconda3'

在 C 盘用户目录下找到 .condarc,增加如下配置

envs_dirs:
  - E:Anaconda3envs

这样我们就可以创建不同的虚拟环境,然后根据虚拟环境进行 python 包版本管理,比如,这里就可以区分语言模型ChatGLM-6B 和 AI 绘画stable-diffusion 环境了

AI环境准备环境安装指南

容器隔离

除了 Anaconda 方案,还可以选择容器隔离,比如 docker,对于不想折腾环境的人可以考虑不同容器直接按照一键包,但是对磁盘空间要求比较大,就不详细说了(一般一键包都有说明)

参考

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

OpenAI生态工具链:提高编程效率的利器

2023-11-23 21:06:14

AI教程

GPT 模型的技术方面探讨:从架构到挑战

2023-11-23 21:15:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索