PowerShellで以下を打つと出来ます。1秒おきにGPUの利用状況が更新されます。

while ($true -eq $true) {nvidia-smi; sleep 1 ; clear}

nvidia-smiコマンドはNVIDIAのドライバなどと一緒にインストールされています。

参考：

watch nvidia-smiでGPU使用率などを確認・リアルタイムモニタリング
https://note.nkmk.me/nvidia-smi-monitoring-gpu/

PowerShellでwatch相当の処理を行う
https://orebibou.com/ja/home/201501/20150115_001/