CPU: 13th Gen Intel(R) Core(TM) i9-13900K 内存: 128G GPU: Nvidia GeForce RTX 3090 (24GB显存) 硬盘:2TB SSD + 8TB 机械 操作系统: Ubuntu 22.04.3 LTS Desktop
算力8.6 sdkversion(running time) 11.5~12.3 CUDA VERSION 12.
/home/下存储服务器用户个人文件,每个同学一个文件夹。这个挂载点下挂在了3TB的机械硬盘存储空间,主要用于存放个人实验所用的深度学习环境。
/home/datasets/下挂载了5TB的机械硬盘存储空间,供大家存放数据集。注意一些通用数据集如coco,pascalvoc,imamgenet等可以直接存放在/home/datasets/目录下,如果是自己领域的特定数据集请在存放时Z请注意:
在datasets目录下以自己的用户名为名称新建文件夹再下载,不要将数据集反复存储浪费公共存储空间。
尽量将数据集存放在公共的datasets目录下而不要将数据集存放在自己的用户目录下,以便管理。
/根目录 下挂载了2TB SSD存储空间,暂时保持空闲状态,请不要随意向根目录下存放个人数据。
如果长时间未使用服务器,并且占用大量存储空间,可能会被管理员清理。
常用指令:ls cd pwd mkdir rm -r ls --help 将服务器上的文件下载到本地:xftp
申请用户名和密码
xshell新建连接,输入远程地址,端口和密码(win ssh 用户名@00.000.00.00:22),xshell可以复制粘贴操作。
(连接需要校园网或者使用学校vpn、或跳板SecoClient)
修改密码:passwd [username]更改密码。[用户名 : 密码]
# 下载最新miniconda:
wget -c http://mirrors.aliyun.com/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装miniconda,按照提示一直enter
sh Miniconda3-latest-Linux-x86_64.sh
# 激活base环境
source .bashrc
# 首次,让shell能直接使用conda命令(非必要)
conda init
添加镜像源
# 常用包main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels
conda config --add channels
conda config --add channels
conda config --set show_channel_urls yes
删除镜像源
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
查看镜像源
conda config --show channels
配置python、pytorch环境
根据服务器硬件配置环境
查看显卡型号:调出任务管理器
查看算力以及cuda支持性:进入https://en.wikipedia.org/wiki/CUDA查看对应的算力以及支持
cuda driver版本: nvidia-smi
需要满足:
CUDA SDK version(s) <= cuda driver version
CUDA SDK version(s) 支持 算力(Compute capability(version))
# 创建环境:
conda create -n name python=3.9
# 查看环境列表
conda env list
# 查看环境中的依赖
conda list
# 配置cuda
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
# 运行python文件
python filename.py
# 关闭环境:
conda deactivate
# 删除环境
conda remove --name 虚拟环境名 --all
# 导出环境
conda env export > name.yaml
# 基于环境文件创建环境
conda env create -f name.yaml
安装其他依赖
#安装依赖:
pip install 包名()
# 下载速度太慢:-i 添加镜像源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
# 或者使用conda安装依赖:
conda install 包名 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
# 删除依赖
conda remove 包名
# 模糊搜索包名
conda list | grep 包名的一部分
优势:pycharm专业版功能囊括了xshell、xftp
本地文件同步到服务器
终端使用服务器
服务器文件同步到本地
setting->interpreter->ssh interpreter->host、用户名、端口号、密码
->interpreter更改到服务器env下的python3.9;同步文件夹修改本地pycharm文件位置和映射到服务器的位置
查看服务器文件夹同步情况:tools->deployment->browse remote host->三个点->选择服务器home->hanshengdong-目录 也可复制文件夹,在上述右侧显示的文件夹下面粘贴达到同步效果
!!! 注意同步文件夹的位置
新建的文件/修改了文件同步到服务器:右键文件->deployment->upload to(一般会自己同步)
代码在计算设备中运行 tools->start ssh session
如果想要在服务器上跑出图像,则必须在xshell上输入运行代码:python test.py 查看曲线: tensorboard --logdir=log --port=6007