服务器使用

服务器使用指南

服务器配置

CPU: 13th Gen Intel(R) Core(TM) i9-13900K 内存: 128G GPU: Nvidia GeForce RTX 3090 (24GB显存) 硬盘:2TB SSD + 8TB 机械 操作系统: Ubuntu 22.04.3 LTS Desktop

算力8.6 sdkversion(running time) 11.5~12.3 CUDA VERSION 12.

存储结构与数据存放规则 重要

  1. /home/下存储服务器用户个人文件,每个同学一个文件夹。这个挂载点下挂在了3TB的机械硬盘存储空间,主要用于存放个人实验所用的深度学习环境。

  2. /home/datasets/下挂载了5TB的机械硬盘存储空间,供大家存放数据集。注意一些通用数据集如coco,pascalvoc,imamgenet等可以直接存放在/home/datasets/目录下,如果是自己领域的特定数据集请在存放时Z请注意

  • 在datasets目录下以自己的用户名为名称新建文件夹再下载,不要将数据集反复存储浪费公共存储空间。

  • 尽量将数据集存放在公共的datasets目录下而不要将数据集存放在自己的用户目录下,以便管理。

  1. /根目录 下挂载了2TB SSD存储空间,暂时保持空闲状态,请不要随意向根目录下存放个人数据。

  2. 如果长时间未使用服务器,并且占用大量存储空间,可能会被管理员清理。


远程服务器连接

连接服务器

常用指令:ls cd pwd mkdir rm -r ls --help 将服务器上的文件下载到本地:xftp

  1. 申请用户名和密码

  2. xshell新建连接,输入远程地址,端口和密码(win ssh 用户名@00.000.00.00:22),xshell可以复制粘贴操作。

    • (连接需要校园网或者使用学校vpn、或跳板SecoClient)

  3. 修改密码:passwd [username]更改密码。[用户名 : 密码]

配置conda

# 下载最新miniconda:
wget -c http://mirrors.aliyun.com/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 安装miniconda,按照提示一直enter
sh Miniconda3-latest-Linux-x86_64.sh

# 激活base环境
source .bashrc

# 首次,让shell能直接使用conda命令(非必要)
conda init

添加镜像源

# 常用包main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels  
conda config --add channels 
conda config --add channels 
conda config --set show_channel_urls yes
删除镜像源
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
查看镜像源
conda config --show channels

配置python、pytorch环境

根据服务器硬件配置环境

  1. 查看显卡型号:调出任务管理器

  2. 查看算力以及cuda支持性:进入https://en.wikipedia.org/wiki/CUDA查看对应的算力以及支持

  3. cuda driver版本: nvidia-smi

需要满足:

  1. CUDA SDK version(s) <= cuda driver version

  2. CUDA SDK version(s) 支持 算力(Compute capability(version))

# 创建环境: 
conda create -n name python=3.9

# 查看环境列表
conda env list

# 查看环境中的依赖
conda list

# 配置cuda
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

# 运行python文件
python filename.py

# 关闭环境:
conda deactivate

# 删除环境
conda remove --name 虚拟环境名 --all

# 导出环境
conda env export > name.yaml

# 基于环境文件创建环境
conda env create -f name.yaml

安装其他依赖

#安装依赖:
pip install 包名()
# 下载速度太慢:-i 添加镜像源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
# 或者使用conda安装依赖:
conda install 包名 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

# 删除依赖
conda remove 包名

# 模糊搜索包名
conda list | grep 包名的一部分

pycharm

参考https://www.bilibili.com/video/BV1m34y1h7kN/?spm_id_from=333.880.my_history.page.click&vd_source=e536e86e2d442e2c587d5b8bb5edc9a2

优势:pycharm专业版功能囊括了xshell、xftp

  1. 本地文件同步到服务器

  2. 终端使用服务器

  3. 服务器文件同步到本地

pycharm连接服务器

setting->interpreter->ssh interpreter->host、用户名、端口号、密码

同步文件

->interpreter更改到服务器env下的python3.9;同步文件夹修改本地pycharm文件位置和映射到服务器的位置

查看服务器文件夹同步情况:tools->deployment->browse remote host->三个点->选择服务器home->hanshengdong-目录 也可复制文件夹,在上述右侧显示的文件夹下面粘贴达到同步效果

!!! 注意同步文件夹的位置

新建的文件/修改了文件同步到服务器:右键文件->deployment->upload to(一般会自己同步)

终端使用服务器

  1. 代码在计算设备中运行 tools->start ssh session

  2. 如果想要在服务器上跑出图像,则必须在xshell上输入运行代码:python test.py 查看曲线: tensorboard --logdir=log --port=6007