服务器使用

服务器使用指南

服务器配置

CPU: 13th Gen Intel(R) Core(TM) i9-13900K 内存: 128G GPU: Nvidia GeForce RTX 3090 (24GB显存) 硬盘：2TB SSD + 8TB 机械操作系统: Ubuntu 22.04.3 LTS Desktop

算力8.6 sdkversion(running time) 11.5~12.3 CUDA VERSION 12.

存储结构与数据存放规则重要

/home/下存储服务器用户个人文件，每个同学一个文件夹。这个挂载点下挂在了3TB的机械硬盘存储空间，主要用于存放个人实验所用的深度学习环境。
/home/datasets/下挂载了5TB的机械硬盘存储空间，供大家存放数据集。注意一些通用数据集如coco，pascalvoc，imamgenet等可以直接存放在/home/datasets/目录下，如果是自己领域的特定数据集请在存放时Z请注意：

在datasets目录下以自己的用户名为名称新建文件夹再下载，不要将数据集反复存储浪费公共存储空间。
尽量将数据集存放在公共的datasets目录下而不要将数据集存放在自己的用户目录下，以便管理。

/根目录下挂载了2TB SSD存储空间，暂时保持空闲状态，请不要随意向根目录下存放个人数据。
如果长时间未使用服务器，并且占用大量存储空间，可能会被管理员清理。

远程服务器连接

连接服务器

常用指令：ls cd pwd mkdir rm -r ls --help 将服务器上的文件下载到本地：xftp

申请用户名和密码
xshell新建连接，输入远程地址，端口和密码(win ssh 用户名@00.000.00.00:22)，xshell可以复制粘贴操作。
- (连接需要校园网或者使用学校vpn、或跳板SecoClient)
修改密码：passwd [username]更改密码。[用户名 : 密码]

配置conda

# 下载最新miniconda：
wget -c http://mirrors.aliyun.com/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 安装miniconda，按照提示一直enter
sh Miniconda3-latest-Linux-x86_64.sh

# 激活base环境
source .bashrc

# 首次，让shell能直接使用conda命令(非必要)
conda init

添加镜像源

# 常用包main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels  
conda config --add channels 
conda config --add channels 
conda config --set show_channel_urls yes
删除镜像源
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
查看镜像源
conda config --show channels

配置python、pytorch环境

根据服务器硬件配置环境

查看显卡型号：调出任务管理器
查看算力以及cuda支持性：进入https://en.wikipedia.org/wiki/CUDA查看对应的算力以及支持
cuda driver版本： nvidia-smi

需要满足：

CUDA SDK version(s) <= cuda driver version
CUDA SDK version(s) 支持算力(Compute capability(version))

# 创建环境： 
conda create -n name python=3.9

# 查看环境列表
conda env list

# 查看环境中的依赖
conda list

# 配置cuda
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

# 运行python文件
python filename.py

# 关闭环境：
conda deactivate

# 删除环境
conda remove --name 虚拟环境名 --all

# 导出环境
conda env export > name.yaml

# 基于环境文件创建环境
conda env create -f name.yaml

安装其他依赖

#安装依赖：
pip install 包名()
# 下载速度太慢：-i 添加镜像源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
# 或者使用conda安装依赖：
conda install 包名 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

# 删除依赖
conda remove 包名

# 模糊搜索包名
conda list | grep 包名的一部分

pycharm

参考https://www.bilibili.com/video/BV1m34y1h7kN/?spm_id_from=333.880.my_history.page.click&vd_source=e536e86e2d442e2c587d5b8bb5edc9a2

优势：pycharm专业版功能囊括了xshell、xftp

本地文件同步到服务器
终端使用服务器
服务器文件同步到本地

pycharm连接服务器

setting->interpreter->ssh interpreter->host、用户名、端口号、密码

同步文件

->interpreter更改到服务器env下的python3.9;同步文件夹修改本地pycharm文件位置和映射到服务器的位置

查看服务器文件夹同步情况：tools->deployment->browse remote host->三个点->选择服务器home->hanshengdong-目录也可复制文件夹，在上述右侧显示的文件夹下面粘贴达到同步效果

!!! 注意同步文件夹的位置

新建的文件/修改了文件同步到服务器：右键文件->deployment->upload to(一般会自己同步)

终端使用服务器

代码在计算设备中运行 tools->start ssh session
如果想要在服务器上跑出图像，则必须在xshell上输入运行代码：python test.py 查看曲线： tensorboard --logdir=log --port=6007

服务器使用