从mmdetection的dataLoader所生成的data字典(包含DataContainer对象)里面获取tensor以及shape的方法
admin
2024-05-10 09:50:37
0

这篇文章是讲述从mmdetection的dataLoader所生成的data字典(包含DataContainer对象)里面获取tensor以及shape的方法

需求:

如果我的batchsize是8,而我有50个数据,那么前6个batch都包含8个数据,最后一个batch有2个.

我需要每个batch都进行一次FPS计算,就要知道一个batch有多少个数据.

困难点:

mmdetection dataloader 产生的数据对象是一个字典, 且包含DataContainer类别对象,不能直接看到数据的shape是多少

要精准知道一个DataContainer包含多少个数据。就需要知道如何从DataContainer对象获取tensor类型数据, 然后才能获取shape, 才能获取batchsize

(以下代码均为mmdetection的代码,地址:https://github.com/open-mmlab/mmdetection/blob/master/tools/analysis_tools/benchmark.py
点击跳转)


其中,这是dataloader的定义

data_loader = build_dataloader(dataset,# samples_per_gpu=1,# 这里我修改了samples_per_gpu=samples_per_gpu,# Because multiple processes will occupy additional CPU resources,# FPS statistics will be more unstable when workers_per_gpu is not 0.# It is reasonable to set workers_per_gpu to 0.workers_per_gpu=0,dist=True,shuffle=False)

这是dataloader用for循环产生data(一个字典, 其中的DataContainer对象才包含数据tensor)来做inference的方法

    # benchmark with 2000 image and take the averagefor i, data in enumerate(data_loader):torch.cuda.synchronize()start_time = time.perf_counter()with torch.no_grad():model(return_loss=False, rescale=True, **data)torch.cuda.synchronize()elapsed = time.perf_counter() - start_time# print(i, f"data shape {data['img'][0].data[0].shape}")# 完成这个batch的infer之后会算一次时间if i >= num_warmup:pure_inf_time += elapsedif (i + 1) % log_interval == 0:# 这里我也修改了# fps = (i + 1 - num_warmup) / pure_inf_timefps = (i + 1 - num_warmup) / (pure_inf_time / samples_per_gpu)print(f'Done image [{i + 1:<3}/ {max_iter}], 'f'fps: {fps:.1f} img / s, 'f'times per image: {1000 / fps:.1f} ms / img',flush=True)if (i + 1) == max_iter:fps = (i + 1 - num_warmup) / pure_inf_timeprint(f'Overall fps: {fps:.1f} img / s, 'f'times per image: {1000 / fps:.1f} ms / img',flush=True)breakreturn fps

不想看详细过程的朋友,我这里给出结论:

这个for循环里面,使用

print(data[‘img’][0].data[0].shape)

就可以看到shape了, 以下是结果

torch.Size([16, 3, 608, 608])

接下来继续讲述过程

在这个for循环下,print(data)会发现data是一个字典打印出一大堆

{'img_metas': [DataContainer([[{'filename': 'dat .........

然后用print(data.key())来查看有哪些键,发现打印出

dict_keys(['img_metas', 'img'])

用print(data[‘img’]) 来查看内容(终于看到tensor了…)

[DataContainer([tensor([[[[0.4667, 0.4745, 0.4980,  ..., 0.1373, 0.1255, 0.1255],[0.4627, 0.4588, 0.5098,  ..., 0.1647, 0.1804, 0.1647],[0.4784, 0.4941, 0.4706,  ..., 0.1843, 0.1686, 0.1804],...,[1.0000, 1.0000, 1.0000,  ..., 0.4157, 0.4431, 0.4353],[1.0000, 1.0000, 1.0000,  ...

发现还被一个list包裹着, 那就使用 data[‘img’][0], 这个就是DataContainer对象了,查文档发现DataContainer对象有一个data属性,我猜这个就能够提取出tensor了

    @propertydef data(self) -> Union[torch.Tensor, np.ndarray]:return self._data

使用 print(data[‘img’][0].data),发现还是被一个list包裹,根据上面的资料,这个data属性会返回一个[torch.Tensor, np.ndarray],包含两个元素的列表,那么用data[‘img’][0].data[0]就可以拿到tensor了

[tensor([[[[0.4667, 0.4745, 0.4980,  ..., 0.1373, 0.1255, 0.1255],[0.4627, 0.4588, 0.5098,  ..., 0.1647, 0.1804, 0.1647],[0.4784, 0.4941, 0.4706,  ..., 0.1843, 0.1686, 0.1804],...,[1.0000, 1.0000, 1.0000,  ..., 0.

那么print(data[‘img’][0].data[0].shape),发现可以了

torch.Size([16, 3, 608, 608])

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
JAVA多线程知识整理 Java多线程基础 线程的创建和启动 继承Thread类来创建并启动 自定义Thread类的子类&#...
【洛谷 P1090】[NOIP... [NOIP2004 提高组] 合并果子 / [USACO06NOV] Fence Repair G ...
国民技术LPUART介绍 低功耗通用异步接收器(LPUART) 简介 低功耗通用异步收发器...
城乡供水一体化平台-助力乡村振... 城乡供水一体化管理系统建设方案 城乡供水一体化管理系统是运用云计算、大数据等信息化手段࿰...
程序的循环结构和random库...   第三个参数就是步长     引入文件时记得指明字符格式,否则读入不了 ...
中国版ChatGPT在哪些方面... 目录 一、中国巨大的市场需求 二、中国企业加速创新 三、中国的人工智能发展 四、企业愿景的推进 五、...
报名开启 | 共赴一场 Flu... 2023 年 1 月 25 日,Flutter Forward 大会在肯尼亚首都内罗毕...
汇编00-MASM 和 Vis... Qt源码解析 索引 汇编逆向--- MASM 和 Visual Studio入门 前提知识ÿ...
【简陋Web应用3】实现人脸比... 文章目录🍉 前情提要🌷 效果演示🥝 实现过程1. u...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
windows安装JDK步骤 一、 下载JDK安装包 下载地址:https://www.oracle.com/jav...
分治法实现合并排序(归并排序)... 🎊【数据结构与算法】专题正在持续更新中,各种数据结构的创建原理与运用✨...
在linux上安装配置node... 目录前言1,关于nodejs2,配置环境变量3,总结 前言...
Linux学习之端口、网络协议... 端口:设备与外界通讯交流的出口 网络协议:   网络协议是指计算机通信网...
Linux内核进程管理并发同步... 并发同步并发 是指在某一时间段内能够处理多个任务的能力,而 并行 是指同一时间能够处理...
opencv学习-HOG LO... 目录1. HOG(Histogram of Oriented Gradients,方向梯度直方图)1...
EEG微状态的功能意义 导读大脑的瞬时全局功能状态反映在其电场结构上。聚类分析方法一致地提取了四种头表面脑电场结构ÿ...
【Unity 手写PBR】Bu... 写在前面 前期积累: GAMES101作业7提高-实现微表面模型你需要了解的知识 【技...