1.配置虚拟环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
'''确保你的服务器上安装了Python和pip。大多数云服务器镜像都会预装这些工具'''
# 更新系统包
sudo apt-get update
sudo apt-get upgrade
# 安装Python和pip
sudo apt-get install python3 python3-pip
'''使用pip安装virtualenv'''
pip3 install virtualenv
'''选择一个目录，然后创建一个新的虚拟环境'''
# 创建一个目录用于存放虚拟环境
mkdir my_project_dir
cd my_project_dir
# 创建虚拟环境
virtualenv my_virtualenv
'''如果要指定Python版本，可以使用以下命令'''
virtualenv -p /usr/bin/python3.x my_virtualenv
'''激活虚拟环境'''
# 在Linux上激活虚拟环境
source my_virtualenv/bin/activate
# 在Windows上激活虚拟环境
my_virtualenv\Scripts\activate
'''退出虚拟环境'''
deactivate
'''在虚拟环境中安装包，使用清华镜像源'''
类似于pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
'''加入到jupyter notebook上'''
(chatgpt) $ pip install ipykernel
(chatgpt) $ python -m ipykernel install --user --name=chatgpt

2.云服务器上已经设置好了jupyter notebook的虚拟环境，但是使用! pip install的时候还是会安装在root环境上？

1
2
3
4
5
'''方法1: 使用虚拟环境中的 pip'''
!{sys.executable} -m pip install package_name
'''方法2: 在Jupyter Notebook中激活虚拟环境'''
!source /path/to/your/virtualenv/bin/activate
然后，再执行 pip install 命令

3.从hf-mirror上下载模型/数据集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
'''新建一个文件，并且git init'''
(chatgpt) (base) root@0e0742de351c:~/model# cd ~
(chatgpt) (base) root@0e0742de351c:~# mkdir model
(chatgpt) (base) root@0e0742de351c:~# cd model
(chatgpt) (base) root@0e0742de351c:~/model# git init

###########方法一
#1.安装依赖
pip install -U huggingface_hub
#2.设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
#3.下载,使用--local-dir-use-symlinks False禁掉软连接，local-dir就是最终下载的路径，而不是链接到.cache/huggingface
huggingface-cli download --resume-download gpt2 --local-dir /home/gpt2 --local-dir-use-symlinks False

##########方法二，启动hf_transfer
#1.安装依赖
pip install -U hf-transfer
#2.设置变量
export HF_HUB_ENABLE_HF_TRANSFER=1
#3.下载操作同方法一
huggingface-cli download --resume-download gpt2 --local-dir /home/gpt2 --local-dir-use-symlinks False

这里如果要下载数据集的话，得到的是指针，用pandas转成json文件就可以了

4.给云服务器上梯子(使用clash)
https://fudannlp.feishu.cn/docx/LPXEdBLcjoiIMtxZuaQcWruGnKe
所需安装包的下载地址: https://kevin236-max.github.io/main_file/clash_package.zip
如果出现了9090或者7890端口的占用
使用netstat -nap | grep 7890查找进程
然后sudo kill 12345(进程号)

5.如果有显存无法通过重启清除，就先nivida-smi，找到对应需要释放的显存，然后直接sudo kill -9
如果上面一步没有解决，就要清除python相关的进程 ps aux | grep python | grep -v grep | awk ‘{print $2}’ | xargs kill -9

6.使用llama-factory组件跑sft，设置设备数量的时候，可以在linux服务器终端输入

1
2
echo 'export CUDA_VISIBLE_DEVICES=0,1' >> ~/.bashrc
source ~/.bashrc

然后再启动 llamafactory-cli webui