profile-demo.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "difficult-world",
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%reload_ext autoreload\n",
    "%autoreload 2\n",
    "\n",
    "from IPython.core.interactiveshell import InteractiveShell\n",
    "InteractiveShell.ast_node_interactivity = \"all\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "continuous-rates",
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import torch\n",
    "import torchvision\n",
    "import torchprof"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aggressive-blocking",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "# Define a model and input"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "danish-boring",
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "model = torchvision.models.alexnet(pretrained=False).cuda()\n",
    "x = torch.rand([1, 3, 224, 224]).cuda()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "educated-isaac",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "# Run a profile"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "global-marketing",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces: 100%|██████████| 24/24 [00:00<00:00, 96513.23it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Removing traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Removing traces: 100%|██████████| 24/24 [00:00<00:00, 200125.84it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "with torchprof.profile(model, use_cuda=True) as prof:\n",
    "    _ = model(x)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "stunning-intro",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "# Displaying profile"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "interstate-sensitivity",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make Events:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make Events: 100%|██████████| 252/252 [00:00<00:00, 62017.52it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Populate ancestors:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Populate ancestors: 100%|██████████| 252/252 [00:00<00:00, 302162.55it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Group:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Group: 100%|██████████| 252/252 [00:00<00:00, 144670.76it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Aggregate:   0%|          | 0/177 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Aggregate: 100%|██████████| 177/177 [00:00<00:00, 81082.55it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 1101.56it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n",
      "| Node             |     Self CPU |           CPU |    Self CUDA |          CUDA |   # |\n",
      "|------------------+--------------+---------------+--------------+---------------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m      | \u001b[1;37m392.\u001b[0m\u001b[37m2µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m393.\u001b[0m\u001b[37m4µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m └──AlexNet\u001b[0m      | \u001b[1;31m236.\u001b[0m\u001b[31m6µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m | \u001b[1;31m238.\u001b[0m\u001b[31m5µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m   ├──classifier\u001b[0m | \u001b[1;32m461.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m462.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m1\u001b[0m        |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m30\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m4\u001b[0m        |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m482.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m564.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m565.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[32m   ├──features\u001b[0m   | \u001b[1;32m815.\u001b[0m\u001b[32m6µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m823.\u001b[0m\u001b[32m2µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m8\u001b[0m        | \u001b[1;34m679.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m850.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m849.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m3\u001b[0m        | \u001b[1;34m682.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m825.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m826.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m539.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m0\u001b[0m        |              |  \u001b[1;34m686.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m687.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m10\u001b[0m       | \u001b[1;34m453.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m598.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m599.\u001b[0m\u001b[34m0µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m5\u001b[0m        |              |  \u001b[1;34m237.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m237.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m9\u001b[0m        |              |  \u001b[1;34m167.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m167.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "prof.display()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "dietary-accessory",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 1086.51it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n",
      "| Node             |     Self CPU |           CPU |    Self CUDA |          CUDA |   # |\n",
      "|------------------+--------------+---------------+--------------+---------------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m      |              | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |              | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m └──AlexNet\u001b[0m      |              |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |              |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m   ├──classifier\u001b[0m |              |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |              |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m1\u001b[0m        |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m30\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m4\u001b[0m        |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[32m   ├──features\u001b[0m   | \u001b[1;32m815.\u001b[0m\u001b[32m6µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m823.\u001b[0m\u001b[32m2µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m8\u001b[0m        |              |  \u001b[1;34m850.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m849.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m3\u001b[0m        |              |  \u001b[1;34m825.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m826.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "# Filter on min_pct in each cell: fully empty rows are not displayed\n",
    "prof.display(min_pct=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "sunset-delivery",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 177it [00:00, 1941.75it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+-------------------------------------------+--------------+---------------------+---------------------+---------------------+-----+\n",
      "| Node                                      |     Self CPU |                 CPU |           Self CUDA |                CUDA |   # |\n",
      "|-------------------------------------------+--------------+---------------------+---------------------+---------------------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m                               | \u001b[1;37m392.\u001b[0m\u001b[37m2µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |       \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |        \u001b[1;37m393.\u001b[0m\u001b[37m4µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |       \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m ├──AlexNet\u001b[0m                               | \u001b[1;31m236.\u001b[0m\u001b[31m6µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m238.\u001b[0m\u001b[31m5µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m │ ├──classifier\u001b[0m                          | \u001b[1;32m461.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |         \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |        \u001b[1;32m462.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |         \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m1\u001b[0m                                 |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m30\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |         \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |         \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::linear\u001b[0m                    |              |                     |                     |         \u001b[1;33m4.\u001b[0m\u001b[33m4ms \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m30\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ ├──aten::addmm\u001b[0m                   |              |                     |         \u001b[1;35m4.\u001b[0m\u001b[35m4ms \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m30\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |         \u001b[1;35m4.\u001b[0m\u001b[35m4ms \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m30\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m4\u001b[0m                                 |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |         \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |         \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::linear\u001b[0m                    |              |                     |                     |         \u001b[1;33m1.\u001b[0m\u001b[33m9ms \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m13\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ ├──aten::addmm\u001b[0m                   |              |                     |         \u001b[1;35m1.\u001b[0m\u001b[35m9ms \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m13\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |         \u001b[1;35m1.\u001b[0m\u001b[35m9ms \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m13\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m6\u001b[0m                                 | \u001b[1;34m482.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |        \u001b[1;34m564.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m565.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::linear\u001b[0m                    |              |                     |                     |        \u001b[1;33m530.\u001b[0m\u001b[33m4µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m4\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ ├──aten::addmm\u001b[0m                   |              |                     |        \u001b[1;35m513.\u001b[0m\u001b[35m0µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |        \u001b[1;35m513.\u001b[0m\u001b[35m0µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[32m │ ├──features\u001b[0m                            | \u001b[1;32m815.\u001b[0m\u001b[32m6µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |         \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |        \u001b[1;32m823.\u001b[0m\u001b[32m2µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |         \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m8\u001b[0m                                 | \u001b[1;34m679.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |        \u001b[1;34m850.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m849.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::conv2d\u001b[0m                    |              |        \u001b[1;33m169.\u001b[0m\u001b[33m5µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m1\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |                     |        \u001b[1;33m814.\u001b[0m\u001b[33m1µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m6\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::convolution\u001b[0m             |              |        \u001b[1;35m159.\u001b[0m\u001b[35m4µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m1\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |                     |        \u001b[1;35m806.\u001b[0m\u001b[35m9µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m6\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[36m │ │ │ │   └──aten::_convolution\u001b[0m          |              |        \u001b[1;36m149.\u001b[0m\u001b[36m7µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m1\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |                     |        \u001b[1;36m798.\u001b[0m\u001b[36m7µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m5\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |   \u001b[1;36m1\u001b[0m |\n",
      "| \u001b[31m │ │ │ │     ├──aten::cudnn_convolution\u001b[0m   |              |                     |        \u001b[1;31m758.\u001b[0m\u001b[31m8µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m5\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m758.\u001b[0m\u001b[31m8µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m5\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m3\u001b[0m                                 | \u001b[1;34m682.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |        \u001b[1;34m825.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m826.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::conv2d\u001b[0m                    |              |                     |                     |        \u001b[1;33m790.\u001b[0m\u001b[33m5µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m5\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::convolution\u001b[0m             |              |                     |                     |        \u001b[1;35m784.\u001b[0m\u001b[35m4µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m5\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[36m │ │ │ │   └──aten::_convolution\u001b[0m          |              |                     |                     |        \u001b[1;36m777.\u001b[0m\u001b[36m2µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m5\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |   \u001b[1;36m1\u001b[0m |\n",
      "| \u001b[31m │ │ │ │     ├──aten::cudnn_convolution\u001b[0m   |              |                     |        \u001b[1;31m725.\u001b[0m\u001b[31m0µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m5\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m725.\u001b[0m\u001b[31m0µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m5\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m6\u001b[0m                                 | \u001b[1;34m539.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |        \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::conv2d\u001b[0m                    |              |        \u001b[1;33m161.\u001b[0m\u001b[33m7µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m1\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |                     |        \u001b[1;33m665.\u001b[0m\u001b[33m6µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m5\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::convolution\u001b[0m             |              |        \u001b[1;35m152.\u001b[0m\u001b[35m6µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m1\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |                     |        \u001b[1;35m658.\u001b[0m\u001b[35m4µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[36m │ │ │ │   └──aten::_convolution\u001b[0m          |              |                     |                     |        \u001b[1;36m652.\u001b[0m\u001b[36m3µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m4\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |   \u001b[1;36m1\u001b[0m |\n",
      "| \u001b[31m │ │ │ │     ├──aten::cudnn_convolution\u001b[0m   |              |                     |        \u001b[1;31m602.\u001b[0m\u001b[31m1µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m602.\u001b[0m\u001b[31m1µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m0\u001b[0m                                 |              |        \u001b[1;34m686.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m687.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::conv2d\u001b[0m                    |              |        \u001b[1;33m539.\u001b[0m\u001b[33m2µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m4\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |                     |        \u001b[1;33m642.\u001b[0m\u001b[33m0µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m4\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::convolution\u001b[0m             |              |        \u001b[1;35m526.\u001b[0m\u001b[35m4µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |                     |        \u001b[1;35m633.\u001b[0m\u001b[35m9µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[36m │ │ │ │   └──aten::_convolution\u001b[0m          |              |        \u001b[1;36m512.\u001b[0m\u001b[36m9µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m4\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |                     |        \u001b[1;36m624.\u001b[0m\u001b[36m6µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m4\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |   \u001b[1;36m1\u001b[0m |\n",
      "| \u001b[31m │ │ │ │     ├──aten::cudnn_convolution\u001b[0m   | \u001b[1;31m357.\u001b[0m\u001b[31m3µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m382.\u001b[0m\u001b[31m8µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m3\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m554.\u001b[0m\u001b[31m0µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m554.\u001b[0m\u001b[31m0µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m10\u001b[0m                                | \u001b[1;34m453.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |        \u001b[1;34m598.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m599.\u001b[0m\u001b[34m0µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::conv2d\u001b[0m                    |              |                     |                     |        \u001b[1;33m564.\u001b[0m\u001b[33m2µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m4\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::convolution\u001b[0m             |              |                     |                     |        \u001b[1;35m558.\u001b[0m\u001b[35m0µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m4\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[36m │ │ │ │   └──aten::_convolution\u001b[0m          |              |                     |                     |        \u001b[1;36m550.\u001b[0m\u001b[36m9µs \u001b[0m\u001b[1;36m(\u001b[0m\u001b[1;36m4\u001b[0m\u001b[36m%\u001b[0m\u001b[1;36m)\u001b[0m |   \u001b[1;36m1\u001b[0m |\n",
      "| \u001b[31m │ │ │ │     ├──aten::cudnn_convolution\u001b[0m   |              |                     |        \u001b[1;31m520.\u001b[0m\u001b[31m2µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |        \u001b[1;31m520.\u001b[0m\u001b[31m2µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m4\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m5\u001b[0m                                 |              |        \u001b[1;34m237.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m237.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[33m │ │ │ ├──aten::max_pool2d\u001b[0m                |              |        \u001b[1;33m178.\u001b[0m\u001b[33m4µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m1\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |                     |        \u001b[1;33m199.\u001b[0m\u001b[33m7µs \u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m1\u001b[0m\u001b[33m%\u001b[0m\u001b[1;33m)\u001b[0m |   \u001b[1;33m1\u001b[0m |\n",
      "| \u001b[35m │ │ │ │ └──aten::max_pool2d_with_indices\u001b[0m |              |        \u001b[1;35m169.\u001b[0m\u001b[35m0µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m1\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |        \u001b[1;35m192.\u001b[0m\u001b[35m5µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m1\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |        \u001b[1;35m192.\u001b[0m\u001b[35m5µs \u001b[0m\u001b[1;35m(\u001b[0m\u001b[1;35m1\u001b[0m\u001b[35m%\u001b[0m\u001b[1;35m)\u001b[0m |   \u001b[1;35m1\u001b[0m |\n",
      "| \u001b[34m │ │ ├──aten::zeros\u001b[0m                       |              | \u001b[1;34m219.\u001b[0m\u001b[34m9µs/\u001b[0m\u001b[1;34m16.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m | \u001b[1;34m154.\u001b[0m\u001b[34m4µs/\u001b[0m\u001b[1;34m11.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m | \u001b[1;34m211.\u001b[0m\u001b[34m8µs/\u001b[0m\u001b[1;34m16.\u001b[0m\u001b[34m3µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m13\u001b[0m |\n",
      "| \u001b[34m │ │ ├──\u001b[0m\u001b[1;34m9\u001b[0m                                 |              |        \u001b[1;34m167.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |                     |        \u001b[1;34m167.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "+-------------------------------------------+--------------+---------------------+---------------------+---------------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "# Filter items. Allow all, block nothing. These take regexes. \n",
    "prof.display(allow=[], block=[])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "distinguished-accounting",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 1245.72it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n",
      "| Node             |     Self CPU |           CPU |    Self CUDA |          CUDA |   # |\n",
      "|------------------+--------------+---------------+--------------+---------------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m      | \u001b[1;37m392.\u001b[0m\u001b[37m2µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m393.\u001b[0m\u001b[37m4µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m └──AlexNet\u001b[0m      | \u001b[1;31m236.\u001b[0m\u001b[31m6µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m | \u001b[1;31m238.\u001b[0m\u001b[31m5µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m   ├──classifier\u001b[0m | \u001b[1;32m461.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m462.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m1\u001b[0m        |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m30\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m4\u001b[0m        |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m482.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m564.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m565.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[32m   ├──features\u001b[0m   | \u001b[1;32m815.\u001b[0m\u001b[32m6µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m823.\u001b[0m\u001b[32m2µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m8\u001b[0m        | \u001b[1;34m679.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m850.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m849.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m3\u001b[0m        | \u001b[1;34m682.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m825.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m826.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m539.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m0\u001b[0m        |              |  \u001b[1;34m686.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m687.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m10\u001b[0m       | \u001b[1;34m453.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m598.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m599.\u001b[0m\u001b[34m0µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m5\u001b[0m        |              |  \u001b[1;34m237.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m237.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m9\u001b[0m        |              |  \u001b[1;34m167.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m167.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "# allow all, but block aten::\n",
    "prof.display(allow=[], block=['^aten::'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "limited-liberal",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 1041.91it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n",
      "| Node             |     Self CPU |           CPU |    Self CUDA |          CUDA |   # |\n",
      "|------------------+--------------+---------------+--------------+---------------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m      | \u001b[1;37m392.\u001b[0m\u001b[37m2µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m393.\u001b[0m\u001b[37m4µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m3\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m14.\u001b[0m\u001b[37m6ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m └──AlexNet\u001b[0m      | \u001b[1;31m236.\u001b[0m\u001b[31m6µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m | \u001b[1;31m238.\u001b[0m\u001b[31m5µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m2\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m14.\u001b[0m\u001b[31m2ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m97\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m   ├──features\u001b[0m   | \u001b[1;32m815.\u001b[0m\u001b[32m6µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m823.\u001b[0m\u001b[32m2µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m6\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m5.\u001b[0m\u001b[32m8ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m9\u001b[0m        |              |  \u001b[1;34m167.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m167.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m0\u001b[0m        |              |  \u001b[1;34m686.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m687.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m5\u001b[0m        |              |  \u001b[1;34m237.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m237.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m2\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m539.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m702.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m8\u001b[0m        | \u001b[1;34m679.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m850.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m849.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m3\u001b[0m        | \u001b[1;34m682.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m825.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m826.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m10\u001b[0m       | \u001b[1;34m453.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m598.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m599.\u001b[0m\u001b[34m0µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[32m   ├──classifier\u001b[0m | \u001b[1;32m461.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m | \u001b[1;32m462.\u001b[0m\u001b[32m0µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m3\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m0ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m55\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m4\u001b[0m        |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m14\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m1\u001b[0m        |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m30\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m31\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ └──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m482.\u001b[0m\u001b[34m9µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m564.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |              |  \u001b[1;34m565.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m1\u001b[0m |\n",
      "+------------------+--------------+---------------+--------------+---------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "# Sorting\n",
    "prof.display(sort_by=[\"self_cuda_time\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "curious-fields",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 26966.35it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=14.7ms, CUDA=14.6ms\n",
      "+---------------+--------------+---------------+--------------+---------------+-----+\n",
      "| Node          |     Self CPU |           CPU |    Self CUDA |          CUDA |   # |\n",
      "|---------------+--------------+---------------+--------------+---------------+-----|\n",
      "| <torchprof>   | 392.2µs (3%) | 14.6ms (100%) | 393.4µs (3%) | 14.6ms (100%) |   1 |\n",
      "| └──AlexNet    | 236.6µs (2%) |  14.2ms (97%) | 238.5µs (2%) |  14.2ms (97%) |   1 |\n",
      "| ├──classifier | 461.0µs (3%) |   8.0ms (55%) | 462.0µs (3%) |   8.0ms (55%) |   1 |\n",
      "| │ ├──1        |  4.4ms (30%) |   4.5ms (31%) |              |   4.5ms (31%) |   1 |\n",
      "| │ ├──4        |  1.9ms (13%) |   2.0ms (14%) |              |   2.0ms (14%) |   1 |\n",
      "| │ ├──6        | 482.9µs (3%) |  564.8µs (4%) |              |  565.1µs (4%) |   1 |\n",
      "| ├──features   | 815.6µs (6%) |   5.8ms (39%) | 823.2µs (6%) |   5.8ms (39%) |   1 |\n",
      "| │ ├──8        | 679.6µs (5%) |  850.2µs (6%) |              |  849.9µs (6%) |   1 |\n",
      "| │ ├──3        | 682.8µs (5%) |  825.5µs (6%) |              |  826.4µs (6%) |   1 |\n",
      "| │ ├──6        | 539.8µs (4%) |  702.5µs (5%) |              |  702.5µs (5%) |   1 |\n",
      "| │ ├──0        |              |  686.9µs (5%) |              |  687.1µs (5%) |   1 |\n",
      "| │ ├──10       | 453.9µs (3%) |  598.4µs (4%) |              |  599.0µs (4%) |   1 |\n",
      "| │ ├──5        |              |  237.2µs (2%) |              |  237.6µs (2%) |   1 |\n",
      "| │ ├──9        |              |  167.6µs (1%) |              |  167.9µs (1%) |   1 |\n",
      "+---------------+--------------+---------------+--------------+---------------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "prof.display(color=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "auburn-copyright",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "# Running profile with other features\n",
    "\n",
    "If we are using torch.profiler (ie. nvtx=False, by default), keyword arguments are passed through.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "finished-broad",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces: 100%|██████████| 24/24 [00:00<00:00, 63710.95it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Removing traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Removing traces: 100%|██████████| 24/24 [00:00<00:00, 93206.76it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Make Events:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make Events: 100%|██████████| 252/252 [00:00<00:00, 37862.32it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Populate ancestors:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Populate ancestors: 100%|██████████| 252/252 [00:00<00:00, 230125.11it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Group:   0%|          | 0/252 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Group: 100%|██████████| 252/252 [00:00<00:00, 130312.49it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Aggregate:   0%|          | 0/177 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Aggregate: 100%|██████████| 177/177 [00:00<00:00, 65420.50it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Make rows: 0it [00:00, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Make rows: 26it [00:00, 947.93it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "CPU=15.9ms, CUDA=0.0µs\n",
      "+------------------+--------------+---------------+-------------+--------+-----+\n",
      "| Node             |     Self CPU |           CPU |   Self CUDA |   CUDA |   # |\n",
      "|------------------+--------------+---------------+-------------+--------+-----|\n",
      "| \u001b[1;37m<\u001b[0m\u001b[1;37mtorchprof\u001b[0m\u001b[1;37m>\u001b[0m      | \u001b[1;37m772.\u001b[0m\u001b[37m3µs \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m5\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m | \u001b[1;37m15.\u001b[0m\u001b[37m8ms \u001b[0m\u001b[1;37m(\u001b[0m\u001b[1;37m100\u001b[0m\u001b[37m%\u001b[0m\u001b[1;37m)\u001b[0m |             |        |   \u001b[1;37m1\u001b[0m |\n",
      "| \u001b[31m └──AlexNet\u001b[0m      | \u001b[1;31m396.\u001b[0m\u001b[31m9µs \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m3\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |  \u001b[1;31m15.\u001b[0m\u001b[31m1ms \u001b[0m\u001b[1;31m(\u001b[0m\u001b[1;31m95\u001b[0m\u001b[31m%\u001b[0m\u001b[1;31m)\u001b[0m |             |        |   \u001b[1;31m1\u001b[0m |\n",
      "| \u001b[32m   ├──features\u001b[0m   |   \u001b[1;32m1.\u001b[0m\u001b[32m3ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m8\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m6.\u001b[0m\u001b[32m1ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m39\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |             |        |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m5\u001b[0m        |              |  \u001b[1;34m170.\u001b[0m\u001b[34m3µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m0\u001b[0m        | \u001b[1;34m174.\u001b[0m\u001b[34m6µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m485.\u001b[0m\u001b[34m0µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m546.\u001b[0m\u001b[34m3µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m777.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m3\u001b[0m        | \u001b[1;34m682.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m875.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m6\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m2\u001b[0m        |              |  \u001b[1;34m196.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m1\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m10\u001b[0m       | \u001b[1;34m487.\u001b[0m\u001b[34m5µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m606.\u001b[0m\u001b[34m8µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ └──\u001b[0m\u001b[1;34m8\u001b[0m        | \u001b[1;34m673.\u001b[0m\u001b[34m4µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m869.\u001b[0m\u001b[34m2µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m5\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[32m   ├──classifier\u001b[0m | \u001b[1;32m654.\u001b[0m\u001b[32m7µs \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m4\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |   \u001b[1;32m8.\u001b[0m\u001b[32m3ms \u001b[0m\u001b[1;32m(\u001b[0m\u001b[1;32m53\u001b[0m\u001b[32m%\u001b[0m\u001b[1;32m)\u001b[0m |             |        |   \u001b[1;32m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m1\u001b[0m        |  \u001b[1;34m4.\u001b[0m\u001b[34m4ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m28\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m4.\u001b[0m\u001b[34m5ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m28\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ ├──\u001b[0m\u001b[1;34m6\u001b[0m        | \u001b[1;34m490.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m3\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |  \u001b[1;34m569.\u001b[0m\u001b[34m1µs \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m4\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "| \u001b[34m   │ └──\u001b[0m\u001b[1;34m4\u001b[0m        |  \u001b[1;34m1.\u001b[0m\u001b[34m9ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m12\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |   \u001b[1;34m2.\u001b[0m\u001b[34m0ms \u001b[0m\u001b[1;34m(\u001b[0m\u001b[1;34m13\u001b[0m\u001b[34m%\u001b[0m\u001b[1;34m)\u001b[0m |             |        |   \u001b[1;34m1\u001b[0m |\n",
      "+------------------+--------------+---------------+-------------+--------+-----+\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "with torchprof.profile(model, use_cuda=False) as prof:\n",
    "    _ = model(x)\n",
    "prof.display()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "pediatric-diesel",
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with torchprof.profile(model, enabled=False) as prof:\n",
    "    _ = model(x)\n",
    "assert prof is None"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "inclusive-interval",
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Adding traces: 100%|██████████| 24/24 [00:00<00:00, 24297.20it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "\r",
      "Removing traces:   0%|          | 0/24 [00:00<?, ?it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\r",
      "Removing traces: 100%|██████████| 24/24 [00:00<00:00, 162098.71it/s]"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "with torchprof.profile(model, nvtx=True) as prof:\n",
    "    _ = model(x)\n",
    "assert prof is None"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "argv": [
    "python",
    "-m",
    "ipykernel_launcher",
    "-f",
    "{connection_file}"
   ],
   "display_name": "Python 3",
   "env": null,
   "interrupt_mode": "signal",
   "language": "python",
   "metadata": null,
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.1"
  },
  "name": "profile-demo.ipynb"
 },
 "nbformat": 4,
 "nbformat_minor": 5
}