在深度学习和高性能计算领域，NVIDIA GPU 已成为不可或缺的硬件加速器。然而，如何实时监控 GPU 的状态，了解每个进程的资源占用情况，常常让开发者感到困扰。虽然 nvidia-smi 功能强大，但其输出信息略显单调，缺乏直观性。今天，我要向大家介绍一款开源神器——nvitop，它将彻底改变你监控 NVIDIA GPU 的方式。

一、项目介绍：不止是监控，更是管理

nvitop 是一个交互式的 NVIDIA GPU 进程查看器，它不仅是一个简单的监控工具，更是一个 GPU 进程管理的一站式解决方案。它拥有丰富多彩且信息量十足的界面，可以实时更新设备和进程的状态。作为资源监控器，nvitop 提供了树状视图、环境变量查看、进程过滤、进程指标监控等多种功能。此外，它还提供了一个 CUDA 设备选择工具 nvisel，以及方便的 API，允许开发者构建自己的监控工具。

nvitop 的监控模式。
(TERM: GNOME Terminal / OS: Ubuntu 16.04 LTS (over SSH) / Locale: en_US.UTF-8)

nvitop 的目标是提供比 nvidia-smi 更丰富、更直观的 GPU 监控体验。它不仅显示了 GPU 的基本信息，还提供了进程级别的详细资源占用情况，让开发者可以更清晰地了解 GPU 的运行状态。

二、基本功能：强大且易用

nvitop 的功能非常丰富，主要可以分为以下几个方面：

1. 设备和进程状态查询

nvitop 可以像 nvidia-smi 一样查询 GPU 设备和进程的状态，但输出信息更加丰富和美观。你可以通过简单的命令查看所有 GPU 的状态，或者指定查询特定的 GPU。

# 查询所有设备的状态
$ nvitop -1

# 指定查询设备 (按整数索引)
$ nvitop -1 -o 0 1

# 仅显示 `CUDA_VISIBLE_DEVICES` 中的设备
$ nvitop -1 -ov

# 仅显示具有计算上下文的 GPU 进程
$ nvitop -1 -c

当 -1 开关打开时，结果将只显示一次，这可以提高查询速度并降低资源消耗。

2. 资源监控器

nvitop 可以作为资源监控器运行，实时显示 GPU 的状态。它提供了多种显示模式，包括 auto、full 和 compact，你可以根据自己的需求选择合适的模式。

# 监控模式
$ nvitop

# 根据终端大小自动配置显示模式
$ nvitop -m auto

# 任意显示为 `full` 模式
$ nvitop -m full

# 任意显示为 `compact` 模式
$ nvitop -m compact

# 仅使用 ASCII 字符
$ nvitop -U

# 对于浅色终端
$ nvitop --light

# 对于类似光谱的条形图
$ nvitop --colorful

在监控模式下，你可以使用快捷键与 nvitop 进行交互，例如：

• Ctrl-c / T / K：中断/终止/杀死进程。
• Enter / Return：进入进程指标屏幕，查看进程的实时图表。
• h：显示帮助信息。
• q：退出监控模式。

进程过滤和更丰富多彩的界面。

与 nvidia-smi 的比较。

3. 其他功能

除了基本的监控功能，nvitop 还提供了以下特性：

• 信息丰富且美观的输出：比 nvidia-smi 显示更多信息，并使用彩色美观的框图。
• 交互式：在监控模式下响应用户输入。
• 高效：直接使用 NVML Python 绑定查询设备状态，而不是解析 nvidia-smi 的输出。
• 可移植：可在 Linux 和 Windows 上运行。
• 可集成：易于集成到其他应用程序中。

nvitop 支持 Windows!
(SHELL: PowerShell / TERM: Windows Terminal / OS: Windows 10 / Locale: en-US)

三、部署方式：简单快捷

nvitop 的安装非常简单，你可以通过 pip 或 conda 进行安装。

1. 使用 pip 安装

pip3 install --upgrade nvitop

2. 使用 conda 安装

conda install -c conda-forge nvitop

3. 从 GitHub 安装最新版本

pip3 install --upgrade pip setuptools
pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop

4. Docker 用户

如果你使用 Docker，可以使用以下命令构建和运行 Docker 镜像：

git clone --depth=1 https://github.com/XuehaiPan/nvitop.git && cd nvitop
docker build --tag nvitop:latest .
docker run -it --rm --runtime=nvidia --gpus=all --pid=host nvitop:latest

四、使用方式：灵活多样

nvitop 的使用方式非常灵活，你可以根据自己的需求选择合适的命令和选项。

1. 命令行选项

nvitop 提供了丰富的命令行选项，你可以通过 nvitop --help 查看所有选项。

usage: nvitop [--help] [--version] [--once | --monitor [{auto,full,compact}]]
              [--interval SEC] [--ascii] [--colorful] [--force-color] [--light]
              [--gpu-util-thresh th1 th2] [--mem-util-thresh th1 th2]
              [--only INDEX [INDEX ...]] [--only-visible]
              [--compute] [--only-compute] [--graphics] [--only-graphics]
              [--user [USERNAME ...]] [--pid PID [PID ...]]

一个交互式的 NVIDIA-GPU 进程查看器。

options:
  --help, -h            显示此帮助信息并退出。
  --version, -V         显示 nvitop 的版本号并退出。
  --once, -1            仅报告一次查询数据。
  --monitor [{auto,full,compact}], -m [{auto,full,compact}]
                        作为资源监控器运行。持续报告查询数据并处理用户输入。
                        如果省略参数，将使用 `NVITOP_MONITOR_MODE` 中的值。
                        (默认回退模式：auto)
  --interval SEC        进程状态更新间隔，以秒为单位。(默认：2)
  --ascii, --no-unicode, -U
                        仅使用 ASCII 字符，这对于不支持 Unicode 的终端很有用。

coloring:
  --colorful            使用渐变颜色以获得类似光谱的条形图。此选项仅在终端支持 256 色时可用。您可能需要设置环境变量 `TERM="xterm-256color"`。请注意，终端多路复用器 (例如 `tmux`) 可能会覆盖 `TREM` 变量。
  --force-color         即使 `stdout` 不是 TTY 终端也强制着色。
  --light               在监控模式下调整浅色主题终端的视觉效果。
                        为方便起见，在浅色终端上设置变量 `NVITOP_MONITOR_MODE="light"`。
  --gpu-util-thresh th1 th2
                        GPU 利用率的阈值，用于确定负载强度。
                        着色规则：light < th1 % <= moderate < th2 % <= heavy。
                        ( 1 <= th1 < th2 <= 99，默认值：10 75 )
  --mem-util-thresh th1 th2
                        GPU 内存百分比的阈值，用于确定负载强度。
                        着色规则：light < th1 % <= moderate < th2 % <= heavy。
                        ( 1 <= th1 < th2 <= 99，默认值：10 80 )

device filtering:
  --only INDEX [INDEX ...], -o INDEX [INDEX ...]
                        仅显示指定的设备，抑制选项 `--only-visible`。
  --only-visible, -ov   仅显示 `CUDA_VISIBLE_DEVICES` 环境变量中的设备。

process filtering:
  --compute, -c         仅显示具有计算上下文的 GPU 进程。(类型：'C' 或 'C+G')
  --only-compute, -C    仅显示具有精确计算上下文的 GPU 进程。(类型：仅 'C')
  --graphics, -g        仅显示具有图形上下文的 GPU 进程。(类型：'G' 或 'C+G')
  --only-graphics, -G   仅显示具有精确图形上下文的 GPU 进程。(类型：仅 'G')
  --user [USERNAME ...], -u [USERNAME ...]
                        仅显示给定用户的进程 (如果没有参数，则为 `$USER`)。
  --pid PID [PID ...], -p PID [PID ...]
                        仅显示给定 PID 的进程。

2. 环境变量

nvitop 可以接受以下环境变量进行监控模式：

3. 快捷键

在监控模式下，你可以使用以下快捷键与 nvitop 进行交互：

查看特定进程的指标 (快捷键：Enter / Return)。

nvitop 附带一个帮助屏幕 (快捷键：h)。

五、总结

nvitop 是一款功能强大、易于使用、美观大方的 NVIDIA GPU 监控工具。它不仅可以替代 nvidia-smi，还提供了更多的功能和更友好的用户体验。如果你正在寻找一款优秀的 GPU 监控工具，那么 nvitop 绝对值得你尝试。快来安装 nvitop，告别“黑盒子”，让你的 GPU 运行状态一目了然吧！

MIG 设备支持。