技术应用

串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

发布时间:2023-07-10 00:00:00 责任编辑:lina

【导读】串行器可以连接并控制摄像头IC,ADI的这类器件包括MAX9257 (带有半双工UART/I²C控制通道)、MAX9259和MAX9263 (两款均带有全双工同步控制通道),MAX9263还支持宽带数字内容保护(HDCP)。本应用笔记介绍如何将摄像头的RGB或YUV输出转换成标准显示器接受的RGB数据。


串行器可以连接并控制摄像头IC,ADI的这类器件包括MAX9257 (带有半双工UART/I²C控制通道)、MAX9259和MAX9263 (两款均带有全双工同步控制通道),MAX9263还支持宽带数字内容保护(HDCP)。本应用笔记介绍如何将摄像头的RGB或YUV输出转换成标准显示器接受的RGB数据。


摄像头输出数据格式

摄像头芯片,例如OmniVision® OV10630,可通过串行器连接。OV10630的接口引脚包括:像素时钟、PCLK、行有效、HREF、帧同步、VSYNC和并行数据位D[9:0],数据位在时钟的上升沿保持稳定。
YUV和原始RGB数据格式

CMOS摄像头传感器包括数百万光敏单元,每个单元可响应整个波长的光信号。利用滤光膜使特定传感器仅响应红光、绿光或蓝光信号。相邻的光敏单元通常以拜耳结构的滤色规律排列,绿色滤色片的数量是红色或蓝色滤色片数量的两倍。这种方式用于模拟人眼的感光特性。从左至右、从上至下读取传感器单元输出,原始的RGB数据序列为蓝、绿...蓝、绿 (首行末尾),绿、红...绿、红(第二行末尾),依次类推,如图1所示。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图1. 原始RGB数据排列


通过相邻单元内插生成与传感器单元密度相同的RGB数据。另外,利用相邻单元的颜色,按照特定的规则可以恢复图像。构成每个像素RGB数据组的规则之一是:使用同一行的相邻单元,再加上下一行(或上一行)的绿色相邻单元。内插后的RGB数据序列为...、红(i-1)、绿(i-1)、蓝(i-1)、红(i)、绿(i)、蓝(i)、红(i+1)、绿(i+1)、蓝(i+1)、...如图2所示。每个像素需要一组RGB数据,驱动彩色显示器并保持摄像头传感器的最高分辨率。内插RGB数据的亮度分辨率接近于传感器单元的分辨率,但色度分辨率较差。由于人眼对每个像素的灰度要比对像素的色彩分量更为敏感,所以感觉到的分辨率基本与传感器单元分辨率相同。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图2. RGB数据排列


然而,这种RGB数据的内插算法使得数据速率增至三倍。为了降低数据速率,尤其是需要图像传输的场合,可采用YUV彩色空间(将模拟彩色电视信号压缩到模拟黑白电视的频带)。在下式中,亮度以Y表示,蓝色和亮度之间的色差以U表示,红色和亮度之间的色差以V表示,


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


式中,典型的色彩加权为:WR = 0.299,WB = 0.114,WG = 1 - WR - WB = 0.587,归一化值为UMAX,VMAX = 0.615。


对于采用拜耳滤色镜的摄像头传感器,相邻像素的U或V数据大致相同,取决于行索引i和像素索引j (如果采用的规则为相邻颜色)。利用本指南,可根据下式利用RGB数据直接生成YUV数据。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


>偶数行索引i和偶数像素索引j。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。

串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?


对于奇数行索引i和偶数像素索引j。

为了降低数据速率,利用偶数像素索引的U数据和奇数像素索引的V数据,以及偶数和奇数像素索引的Y数据。压缩后的YUV数据按照图3所示排列发送,即:Y1、U0和V1为像素1的数据;Y2、U2和V1为像素2的数据等。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图3. YUV422数据排列


422表示Y:U:V的采样比,4:x:x标准为早期彩色NTSC标准,按照4:1:1色度再次采样,所以,图像的色彩分辨率仅为亮度分辨率的四分之一。目前,只有处理非压缩信号的高端设备才会采用4:4:4彩色再采样,亮度和彩色信息的分辨率完全相同。

串行器输入格式


ADI串行器的并行接口设计用于24位RGB数据,特别是MAX9259,具有像素时钟位(PCLK)和29个数据位,用于24位RGB以及行同步、场同步和3个控制位。除并行数据接口外,需要把DRS和BWS引脚设置成高电平或低电平,分别选择数据速率和总线宽度。
ADI串行器/解串器


MAX9257和MAX9258串行器/解串器(SerDes)具有18位并行输入/输出,适用于YUV数据传输;MAX9259/MAX9260芯片组具有28位并行输入/输出,适用于RGB数据传输;MAX9263/MAX9264 SerDes具有28位并行输入/输出,增加了HDCP功能。此外,MAX9265和MAX9268 28位SerDes带有摄像链路,代替并行输入/输出接口。所有28位ADI串行器和解串器具有相同的并/串数据映射,可互换使用。例如,MAX9259串行器可配合MAX9268解串器使用,传输RGB数据(借助于FPGA)。数据从CMOS摄像头通过串行链路发送至摄像链路接口的显示器。
串行器映射


为匹配MAX9268解串器摄像链路的输出接口,并行RGB数据应按照以下信号图映射。图4所示为MAX9268并行位与其摄像链路输出之间的映射,图5所示为相机链路的RGB数据映射。表1所示为MAX9259串行器的对应内容映射。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图4. MAX9268内部并行至输出映射


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图5. 摄像链路内容映射


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

表1. MAX9259串行器RGB内容位映射


色彩转换:YUV至RGB


FPGA芯片可将压缩(降低数据速率)后的摄像头数据YUV转换成RGB数据,用于MAX9259串行器。采用8位定点运算时,色彩空间转换的公式如下,式2和式3中,Dn和En的n为偶数。


Cn = Yn - 16

Dn = Dn + 1 = Un - 128

En = En + 1 = Vn + 1 - 128

Rn = clip((298 × Cn + 409 × En + 128) >> 8)

Gn = clip((298 × Cn - 100 × Dn - 208 × En + 128) >> 8)

Bn = clip((298 × Cn × 516 × Dn + 128) >> 8)

式中,>> 8表示“向右移8位”,clip表示“只取最低8位”。


FPGA方案

输入缓冲


输入缓冲电路包括计数器、三个寄存器和组合逻辑,将单字节时钟输入转换成三字节时钟输出,输出时钟速率为输入的一半。组合逻辑仅用于分别使能Y、U和V字节的对应寄存器。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图6. 输入缓冲电路


时钟开关


FPGA输出像素时钟速率为摄像头像素时钟的一半,用于驱动串行器像素时钟输入。但是,摄像头在初始化之前不会输出像素时钟。解决方案是在FPGA内部采用2:1时钟复用器(mux)和时钟信号检测器,mux由时钟信号检测器控制。上电时,mux的默认时钟来自摄像头的时钟振荡器,使SerDes芯片组提供启动摄像头的控制通道。时钟信号检测器对场同步信号脉冲进行计数,经过几个场同步脉冲后,mux切换到摄像头像素时钟速率的一半。采用高清摄像头传感器时,例如OV10630,每个场同步周期包含100k以上的像素时钟。几个场同步周期足以使摄像头的锁相环(PLL)达到稳定。场同步计数比像素时钟计数的效率高得多,并可节省FPGA逻辑单元的资源。


中间缓冲


格式转换表达式中没有体现硬件电路的延迟。为了从YUV输入生成RGB数据,需要两到三次乘法运算和三到四次加法运算。尽管FPGA逻辑电路(门电路) 的延时只有几个纳秒,但载波传输、加法器、移位乘法器都会导致不同程度的延时,使整体延时增大。为了使延迟最小化,每个常数乘法器均由两个移位输入(代表常数的2个非零最高有效位MSB)的加法器近似。输入的YUV字节速率大约为100MHz时,延迟会跨越相邻像素的定时边界,增大图像噪声。在每个乘法器之后通过中间寄存器来消除扩展延时。

以上提及的YUV至RGB彩色转换已用于Actel® ProASIC3 A3PN125Z FPGA,图7所示为实现这一FPGA的原理图。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图7. YUV至RGB转换器的FPGA实现


应用电路

厂家提供的摄像头芯片可能位于PCB子板,图8所示为摄像头子板模块的功能框图。输入包括电源、PWR和晶振时钟(XCLK)。输出信号包含并行数据位(D0..D9)、I²C总线(SDA、SCL)、视频同步(HREF、VSYNC)和像素时钟(PCLK)。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图8. 摄像头模块功能框图


图9所示为应用电路的FPGA和串行器芯片的原理图。电路通过两对双绞线组成的串行电缆供电,一对用于传输串行信号,另一对用于供电。独立的LDO电源IC用于串行器和FPGA器件。摄像头模块采用旁路电容,自带LDO电源芯片,进一步降低潜在干扰。FPGA和串行器之间的数据链路采用阻尼电阻。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

3-22.png

图9a. 应用电路的FPGA部分


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图9b. 应用电路的串行器部分


MAX9259也能够直接连接至摄像头传感器,例如OV10630,以构建更小的摄像头。彩色空间转换FPGA可置于解串器之后。由于这种应用需要摄像链路输出,可直接由MAX9268驱动,所以彩色转换FPGA置于摄像头传感器和串行器(MAX9259)之间。


视频采集示例


图10所示摄像头应用电路也是利用这些摄像头电路搭建的。


串行器应用之如何将摄像头的RGB或YUV输出转换成RGB数据?

图10. 摄像头应用电路


免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:

ADC噪声:从何而来?

真双极性输入、全差分输出ADC驱动器设计

“国产芯片”瑞森半导体(REASUNOS)将亮相2023慕尼黑上海电子展

利用分布式天线系统解决方案改进蜂窝网络覆盖性能

什么是半波整流器?半波整流器的工作原理


为您推荐

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力 新品速递

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力

electronica 2026 慕尼黑电子展上,广和通发布 SC236 智能模组,该模组基于高通跃龙 Q-2390 处理器,采用 3×Cortex-A55+1×Cortex-A78 四核架构,搭载 Adreno 704 GPU,支持 FHD 显示、多路摄像头、LTE Cat.4、Wi-Fi、BLE5.0、GNSS 定位,预装 Android 系统,面向智能支付终端、工业手持机、执法仪、行车记录仪等 AIoT 设备。SC236 现已进入导入阶段,预计 2026 年 Q4 量产,推动模组从单纯通信连接向一体化智能平台升级。

安防监控 通信广电 互联技术 光电显示 通信模块 Qualcomm

基于电气隔离特性的光耦合器模块技术解析 技术应用

基于电气隔离特性的光耦合器模块技术解析

在现代电子电路设计中,接口器件的安全性、可靠性与抗干扰能力是决定系统性能的关键因素,光耦合器模块作为一种核心接口电子器件,凭借其独特的电光转换与电气隔离特性,在众多领域中发挥着不可替代的作用。它通过发光元件与受光元件的协同工作,实现了电信号的无接触传输,从根本上解决了高低压电路间的隔离防护与信号干扰问题。本文将从基本原理出发,逐步拆解光耦合器模块的核心功能、应用场景、突出优势,同时客观分析其存在的局限性与面临的行业挑战,全面呈现这一器件在电子技术领域的应用价值与发展态势,为相关设计与应用提供清晰的参考框架。

互联技术 光电显示 碳化硅(SiC)器件

STM32MP21微处理器系列全解析:从规格到生态的完整赋能 选型指南

STM32MP21微处理器系列全解析:从规格到生态的完整赋能

意法半导体推出的STM32MP21微处理器系列,以“成本优化+核心能力保留”为核心设计思路,凭借双核心架构与精准的功能取舍,为该领域应用提供了极具竞争力的解决方案。作为STM32MP23与STM32MP25的精简版本,其剥离了非必需的AI加速器、GPU等组件,却完整保留了双千兆TSN以太网、高清显示与多规格摄像头接口等关键功能,更搭载高规格安全方案与丰富外设。

安防监控 互联技术 光电显示 处理器 ST(意法半导体)

兆易创新最新发布GD5F1GM9系列高速QSPI NAND Flash,有效提高读取速度和降低成本 选型指南

兆易创新最新发布GD5F1GM9系列高速QSPI NAND Flash,有效提高读取速度和降低成本

业界领先的半导体器件供应商兆易创新GigaDevice宣布推出GD5F1GM9系列高速QSPI NAND Flash,该系列以其突破性的读取速度和创新的坏块管理(BBM)功能,可有效解决传统SPI NAND Flash响应速度慢、易受坏块干扰的行业痛点。作为一种巧妙融合了NOR Flash高速读取优势与NAND Flash大容量、低成本优势的新型解决方案,GD5F1GM9系列的面世将为SPI NAND Flash带来新的发展机遇,成为安防、工业、IoT等快速启动应用场景的理想之选。

AI&loT 安防监控 互联技术 碳化硅(SiC)器件 GigaDevice(兆易创新)

第103届中国电子展邀请函 业界新闻

第103届中国电子展邀请函

第103届中国电子展将继续以基础电子元器件为技术牵引,服务于5G、新能源、物联网、大数据、云计算、照明与显示安防、消费电子、智能制造、能源电子等应用行业,精准把握行业发展趋势,围绕产业重点领域与平台对话机会。同期云集全球超1500位演讲嘉宾及专家学者参与CEF同期重点论坛活动。

安防监控 智能家居 光电显示 碳化硅(SiC)器件

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆