技术应用

三大揭秘:你好奇的3D体感技术核心环节

发布时间:2015-08-31 00:00:00 责任编辑:sherry

【导读】3D体感的技术是光学精密仪器与制造、模式识别、图形图像、机器学习和神经网络技术集大成者,跨越多个领域的高精尖技术。3D体感核心技术包括3D拍摄、人物提取和骨架识别。我们来浅析一下3D体感技术每个核心环节的技术特点。
 
3D体感的技术是光学精密仪器与制造、模式识别、图形图像、机器学习和神经网络技术集大成者,跨越多个领域的高精尖技术。所以,在2010年微软Kinect推出以来,鲜有第二家公司和研究机构完全突破体感交互的所有技术环节。3D体感核心技术包括3D拍摄、人物提取和骨架识别。我们来浅析一下3D体感技术每个核心环节的技术特点。
 
一、骨架识别技术
 
骨架识别的技术解决方案主要由数模逻辑推理和机器学习两种方案。数模逻辑推理是通过有人体的某个关键可识别的关节点,通过人体特征推理出人体每个关节点的位置,这种方法简单易实现,但是人体是柔性、易变形,随机动态变化的,没有一种逻辑推理方案能够把人体的运动给模拟出来,导致识别准确率不高没有实用价值。这就是OMEK(被Intel收购)和Softkinetic(Intel合作伙伴)几年也不能推出商用化产品的原因。机器学习的方法是通过大集群计算机“学习”几千甚至万亿的人体行为样本,来得到基本人体行为模型,就像小孩子成长的过程。但是机器学习和神经网络是近几年来逐步兴起的技术,还不是太成熟,选择什么样的“学习”方法和什么样的特征样本是至关重要的,是需要不断试验的。但是大集群计算机计算本身成本就异常的高,动则千万人民币,没有扎实的研究基础,一般厂商不敢轻易尝试。
一、骨架识别技术
二、人物提取技术
 
对于人物提取来说,就是要把复杂的动态的环境去除,把真实的“人”提取出来。这个在工程上也是有较高的难度,比如人与桌子接触,人与人握手和人体被局部遮挡。抽象理解就是人体分割和人物跟踪在现有的基础条件下,不会有完全精确的解决办法,只是相对的解决。
 
人体的动作是三维的,当然对人体动作的测量也必须是三维的。3D拍摄或测量技术实际上是相对比较成熟的技术,具有多种解决方案,比如单彩色摄像头,双彩色摄像头,光干涉,超声波、结构光散斑和TOF(测量光的飞行时间)等等。除了TOF,其他的测量方式可以说都是基于三角测距的原理,不同在于对特征点的提取的不同。
 
对于人体动作来说最主要的难题就是三维测量的实时性和3D测量数据对骨架识别的适用性,人眼的反应时间一般小于120毫秒,也就是说3D测量到骨架识别最大允许时间必须小于100毫秒,才能够与应用对接,这就要求三维测量的计算量不能太大,要不然成本太高就不适合消费级产品使用。
二、人物提取技术
三、3D拍摄技术
 
彩色摄像头是以颜色和纹理为基础的,光线细微的变化都会带来图像处理上较大的差别,对于纹理的细微分别决定了彩色摄像头只能局限在近距离(0.8米以内),这就是我们可以看到三维拍摄的图像都是黑白的灰度图的原因。彩色图像颜色提取的方式,抗光线和同色系干扰的能力极差,原理上决定很难把不同的物体区隔出来,得到的三维图像体感也是无法使用的。这就是为什么leapmotion必须是室内向上拍摄,通过LED把手掌点亮的原因。
 
光干涉的原理精度高,但是计算原理就决定了该方法计算量超大,为了减小计算,就要想办法省略掉物体的整体构建,只计算物体的边缘轮廓。但是物体的边缘轮廓的三维信息根本就做不出骨架识别的训练算法。Intel的realsense,还有Pepplesinterface面临的困境,可以三维测量,却不可以体感。
 
Primisense的结构光散斑测量方法,就是在测量精度和计算量上面向体感技术做出平衡的最优方案之一。Primesense的精度为厘米级,判断人体动作已经足够了。
 
TOF的方案分辨率很难再提高了,而且测量光飞行时间的晶振芯片和摄像头模组技术难度太高,从图像质量和成本的角度,TOF在很长一段时间仍然落后于结构光方案。超声波的精度太低,远距离实用性不强。
三、3D拍摄技术
 
要采购晶振么,点这里了解一下价格!

为您推荐

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

戴尔发布 Dell Pro Rugged 13 Extreme/14 坚固本 AI 就绪面向工业一线严苛场景 新品速递

戴尔发布 Dell Pro Rugged 13 Extreme/14 坚固本 AI 就绪面向工业一线严苛场景

戴尔科技集团正式推出 Dell Pro Rugged 13 Extreme、Dell Pro Rugged 14 两款全新坚固型笔记本,专为制造、油气、交通、公用事业、公共安全等领域一线人员打造。两款机型通过 MIL-STD-810H 测试,支持宽温运行、湿手 / 戴手套触控,搭载第三代英特尔酷睿 Ultra 处理器,可选 5G 专网、GPS、热插拔电池,兼顾坚固防护、AI 算力与持续联网能力,同时配套完善安全机制,方便企业 IT 团队规模化部署管理。

通信广电 能源电路 测试测量 Dell(戴尔)

Evident 推出 SilVIR‑RAY 检测器,赋能 FV5000 共聚焦显微镜四通道同步超分辨成像 新品速递

Evident 推出 SilVIR‑RAY 检测器,赋能 FV5000 共聚焦显微镜四通道同步超分辨成像

Evident 为 FLUOVIEW FV5000 共聚焦平台推出 SilVIR‑RAY 检测器,单次扫描可同步采集最多四个超分辨通道,规避传统逐通道采集带来的时间偏移问题,适配神经科学、细胞生物学活细胞动态观测;宽动态范围支持定量分析,可新机标配、老机型升级,不做超分辨时也可作为常规共聚焦检测器使用,将在 Neuroscience 2026 年会首秀。

测试测量

迈来芯发布 MLX90901 触觉指尖模组,为人形机器人提供三维力感知 新品速递

迈来芯发布 MLX90901 触觉指尖模组,为人形机器人提供三维力感知

迈来芯(Melexis)推出首款机电一体化触觉指尖模组 MLX90901,依托 Tactaxis® 磁传感技术实现三维力检测,同步采集法向力与双方向切向力;量程最高 15N 法向力、4N 切向力,典型分辨率 200mN,I²C 接口输出;配套 DVK90901 评估套件,解决当前触觉方案集成复杂、难以量产的痛点,帮助灵巧手、人形机器人厂商快速开发抓取滑移检测、闭环控制与物理 AI 算法。

互联技术 测试测量 Melexis(比利时迈来芯)

Microchip 推出 ATFCD52 高速电容数字转换器,为人形机器人灵巧手提供触觉感知能力 新品速递

Microchip 推出 ATFCD52 高速电容数字转换器,为人形机器人灵巧手提供触觉感知能力

Microchip 发布 ATFCD52 高速电容数字转换器,最高 52 通道、800Hz 帧率,可分辨小于 1fF 电容变化,搭配跳频、过采样抗干扰技术,采集二维电容触觉阵列信号,用于计算法向力与剪切力,实时检测滑移,适配人形机器人灵巧手、夹爪;可搭配 MCU/MPU/FPGA,也支持电子皮肤、AR 传感手套等场景,配套 EV-ATFCD52 评估板加速开发。

传感技术 测试测量 MCU MICROCHIP(美国微芯)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆