智能行车记录仪图像去雾系统的FPGA设计

图1 大气散射模型示意图

Fig.1 Schematic diagram of atmospheric scattering model

模型中,雾天成像物理模型被定义为

(1)$E(d,\lambda )={{E}_{0}}(\lambda ){{e}^{-\beta }}^{(\lambda )d}+{{L}_{h}}(\infty,\lambda )(1-{{e}^{-\beta }}^{(\lambda )d})$

式中:E₀(λ)e^-^β⁽^λ⁾^d和L_h(∞, λ)(1-e^-^β⁽^λ⁾^d)分别为衰减后入射光和环境光到达探测设备的光强.简化式(1),令I(x)=E(d, λ),J(x)=E₀(λ),t(x)=e^-^β⁽^λ⁾^d,A= L_h(∞, λ),可得雾天成像模型:

(2)$I(x)=J(x)t(x)+A(1-t(x))$

式中:I为含雾图像;J为清晰图像;t称为透射率,反映光线穿透雾的能力;A为大气光值,即无穷远处的光照强度.He等^[7]提出了一种基于先验知识的暗通道去雾算法,其数学定义为

(3)${{J}^{dak}}(x)=\underset{c\in \left\{ \text{R}, ~\!\!\text{ G}, ~\!\!\text{ B} \right\}}{\mathop{\text{min}}}\,~(\underset{y\in \Omega \left( x \right)}{\mathop{\text{min}}}\,~({{J}^{c}}(y)))$

式中:J^dak为暗原色图像,即暗通道图像;J^c为J的某一颜色通道,c为对应颜色通道,c∈{R, G, B};Ω(x)是以像素点x为中心的局部窗口区域;y为该区域内某一像素点.若J为除天空区域外无雾的户外图像,则J^dak像素强度趋近于0.利用暗通道理论分析雾天退化模型,可得含雾图像透射率估计为

(4)$t(x)=1-\omega \underset{c}{\mathop{\text{min}}}\,\left( \underset{y\in \Omega \left( x \right)}{\mathop{\text{min}}}\,\left( \frac{{{I}^{c}}\left( y \right)}{{{A}^{c}}} \right) \right)$

式中:I^c为含雾图像I的某一彩色通道;A^c为颜色通道c的大气光值;ω可使复原图像更自然,一般取0.85.算法中,He等^[7]选择暗通道中最亮的0.1%像素作为全局大气光值A.计算透射率并估计大气光值后,利用下式对去雾图像复原:

(5)

J (x) = \frac{I (x) - A}{m a x {t (x), t_{0}}} + A

式中:t₀为透射率下限值.为防止透射率t(x)接近于0时复原图像J受噪声影响,需要对透射率限幅,t₀通常取0.1.

1.2 暗通道去雾局限性及改进

暗通道算法在天空区域易出现伪轮廓和较大面积的噪声,如图2所示.而交通含雾图像大多含有天空区域,因此,针对该区域需进行改进处理.

图2

图2 雾霾天气下交通图像复原失效情况

Fig.2 Failure of traffic image restoration in hazy weather

1.2.1 失效原因分析

大多数交通场景下的含雾图像采用暗通道先验理论去雾后,复原图像存在一定程度失真^[8].究其本质,在获取含有天空区域图像暗通道时,天空等明亮区域内的像素值较高且灰度平坦,使得天空区域像素值并不趋于0,从而导致暗通道先验理论在该区域失效,即

(6)${{J}^{dak}}(x)=\underset{c\in \left\{ \text{R}, ~\!\!\text{ G}, ~\!\!\text{ B} \right\}}{\mathop{\text{min}}}\,(\underset{y\in \Omega \left( x \right)}{\mathop{\text{min}}}\,~({{J}^{c}}(y)))\ne 0$

求取透射率应为

(7)

t (x) = \frac{1 - \underset{c \in {R, G, B}}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{I^{c} (y)}{A^{c}}))}{1 - \underset{c \in {R, G, B}}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{J^{c} (y)}{A^{c}}))}

大气光值为高亮像素点平均值,可知:

(8)

0 < 1 - \underset{c \in {R, G, B}}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{J^{c} (y)}{A^{c}})) < 1

因此,明亮区域的实际透射率大于估计透射率.对于天空区域较大的含雾图像,直接采用暗通道算法会产生光晕及色彩失真.为使视觉效果更符合人眼主观感受,在不影响整体去雾效果的前提下,对含有天空区域的雾天复原图像进行区域透射率修正.本文分析了200 张雾霾天气下的交通图像,通过图像灰度直方图统计发现,雾天图像在天空区域的像素近似均匀连续且强度高,直方图有高尖峰特征,如图3所示.

图3

图3 雾霾天气下交通图像灰度图及直方图

Fig.3 Grayscale and histogram of traffic images in hazy weather

1.2.2 天空区域分割策略

本文提出了一种用于FPGA的天空区域分割算法.假设天空区域像素点并不是孤立的,且天空区域的透射率趋于0.相邻两点x₁,x₂有:

(9)$I({{x}_{1}})-I({{x}_{2}})=J({{x}_{1}})t({{x}_{1}})-J({{x}_{2}})J({{x}_{2}})+A(t({{x}_{1}})-t({{x}_{2}}))$

天空区域相邻两点的透射率近似相等,即t(x₁)=t(x₂),上式可化简为

(10)$I({{x}_{1}})-I({{x}_{2}})=(J({{x}_{1}})-J({{x}_{2}}))t({{x}_{1}})$

可知,天空区域图像梯度较小.因此,可针对该特点来标记天空区域.分割策略如下:

(1) 求取图像梯度T(x),设定阈值θ₁,若大于该阈值则该点像素位置标记为0,否则为1,θ₁越小则要求该区域的平滑程度越高.

(2) 求取步骤(1)标记区域为1的平均灰度,若该点像素灰度值大于θ₂倍的平均灰度值,则记为1,此处θ₂取1.6.

(3) 将图像灰度满足步骤(1)和(2)的像素标记为天空区域像素点,对图像进行形态学滤波,分割天空区域.标记结果如图4所示.

图4

图4 天空区域检测

Fig.4 Schematic diagram of sky area detection

1.2.3 复原参数修正

获取图像天空区域后,即可对复原参数进行校正.大气光值可通过天空区域像素点平均值进行估计,但天空区域像素强度可能接近极值,影响复原质量,因此对大气光值设置阈值上限:

(11)

A = m i n {θ \underset{c \in {R, B, G}}{m e a n} (S_{c} / n), 220}

式中:S_c为天空区域像素总和;n为天空区域像素点个数;θ为调节参数;mean为平均值运算.虽然天空区域距离成像设备较远,但是仍需要考虑透射率的估计,式(4)可以修正为

(12)

t_{s k y} (x) = 1 - ω (1 - \underset{c}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{I^{c} (y)}{A^{c}})))

对于非天空区域,透射率估计仍为式(4),综合式(12)可得修正后透射率为

(13)

t_{m o d} (x) = \{\begin{array}{l} 1 - ω \underset{c}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{I^{c} (y)}{A^{c}})), 非 天 空 区 域 \\ 1 - ω (1 - \underset{c}{m i n} (\underset{y \in Ω (x)}{m i n} (\frac{I^{c} (y)}{A^{c}}))), 天 空 区 域 \end{array}

修正参数的改进暗通道去雾算法与传统暗通道去雾效果对比如图5所示.

图5

图5 天空区域修正后的去雾效果

Fig.5 Defogging performance after correcting the sky area

由图5可知,去雾参数修正后,复原图像中天空区域未产生失真,且两侧树木、道路车辆及车道线轮廓细节清晰.与去雾参数修正前相比,图像亮度与对比度有明显提升.

2 基于ZYNQ的去雾系统优化

2.1 系统平台设计结构

本文采用ZYNQ平台,集成ARM处理器系统(Processing System,PS)和FPGA可编程逻辑(Programmable Logic,PL),两者交互大幅提高执行效率,满足实时处理要求^[9].图像采集模块的寄存器配置和图像帧存储模块都基于PS端实现,去雾算法模块和显示模块则由PL端完成,两者通过先进可扩展接口(Advanced eXtensible Interface, AXI)总线实现数据交互,实时去雾系统如图6所示.

图6

图6 实时图像去雾处理系统框图

Fig.6 Diagram of real time image defogging processing system

2.2 算法优化

在PL端设计过程中,主要针对流处理中窗口滤波设计、流水线加速架构设计以及帧缓存存储3方面进行优化.

2.2.1 图像窗口滤波设计

静态存储图像数据便于对图像进行窗口滤波.在FPGA处理图像滤波时,需对去雾算法的最小值滤波及均值滤波电路开窗,通过行缓存输入像素完成操作.滤波器窗口架构如图7所示.图中:Linebuff表示行缓存数据;D表示像素点数据;w表示乘积系数;R表示经乘加树运算后的输出.

图7

图7 典型窗口行缓存及滤波计算电路

Fig.7 Typical window row caching and filtering computing circuit

以3×3模板为例进行窗口滤波操作,在FPGA行扫描图像时,每经过一个像素时钟完成处理一个像素.每个局部窗口中含有9 个像素,必须读取9 个像素时钟,得到单行像素.因此,可以通过行缓存对图像开窗,如图7所示.当第1行数据起始时,写入Linebuff1至第1行结束;当第2行数据起始时,Linebuff0开始写入第1行数据,Linebuff1写入第2行数据;当第3行数据起始时,读取当前行,通过打拍截取数据形成局部窗口,对窗口缓存行更新.该方法可以同时构成三行数据完成对图像3×3局部窗口的滤波,存入缓存的数据深度由视频行像素大小决定,在滤波电路中通过乘加树来完成处理窗口像素.行缓存通过双端口随机存储器(Random Access Memory, RAM)和先进先出(First in, First out, FIFO)来实现.

2.2.2 流水线运算架构设计

去雾算法电路模块设计较为复杂,组合逻辑势必会造成较大延时,不能满足像素时钟.因此,需对电路设计流水线并行结构,即分割组合逻辑,并利用寄存器暂存中间数据.通过增加寄存器数量来换取时间加速.硬件电路被拆分为几个均等阶段,通过每一级运算插入寄存器暂存中间数据,输出结果将保持一个时钟周期.该方式在第1个数据输出延迟了两个时钟周期,但之后数据不再增加延迟.因此,其优点在于中间逻辑运算每周期缓存一次,能提高系统整体时钟频率.

2.2.3 帧缓存存储

去雾处理时,图像数据输入与输出的传输速率有时无法匹配,需要存储区域缓存输入数据,便于下一个处理模块读取.ZYNQ中块随机存储器(Block Random Access Memory, BRAM)资源比较稀缺,存储一帧720 像素的图像数据,需占用约2.6 MB存储容量,超过了BRAM容量.同时,过度强调单帧图像的处理效果而忽视视频序列相邻帧的数值近似性,限制了实际应用.因此,本文将图像数据缓存到PS端外置大容量第3代双倍速率同步动态随机存储器(Double-data-rate 3 Synchronous Dynamic RAM, DDR3)中,并设计了专用的流控制引擎,用来解决外存面临多个访问命令时的冲突问题.

本文选用三帧缓存架构,如图8所示,可以有效保护图像数据流的稳定.图中:FDMA为帧直接内存访问.采集模块中将建立如下保护机制:当三帧缓存满了之后,新的图像帧数据会被丢弃,而当最后一帧缓存被读取后,会重复读取该帧数据.三帧缓存架构通过流控制引擎完成,根据优先级发送读写的控制命令信号,缓存结构内部的局部状态机根据历史读写状态控制读写地址,最终读写地址和长度会转发至FDMA模块,如图9所示.同时读写的帧缓存一般会相互错开,从而保证系统数据流稳定.采用FIFO结构缓冲外存访问,在读写阶段都留有余量,可保证在全局优先级访问调度下,高优先级要求的访问在响应前能正常工作,总线对于DDR3总线突发访问在开始后不能结束,只能等待上一次访问完整执行.FDMA的设计对访问DDR3较为关键,本文利用流控制引擎控制FDMA模块发起外部内存的访问命令.

图8

图8 三帧缓存架构

Fig.8 Architecture of three frame caching

图9

图9 读写缓存对于帧缓存的访问控制

Fig.9 Access control of read write cache for frame cache

3 ZYNQ去雾加速处理系统设计

3.1 图像去雾加速引擎模块优化及FPGA设计

通过PL端实现改进去雾算法的硬件加速设计.将去雾加速引擎模块利用不同逻辑功能划分为多个子功能模块,包括:全局大气光值优化模块、天空区域检测模块、暗通道模块、透射率求取及优化模块等.去雾加速引擎模块设计如图10所示,核心子模块功能描述如表1所示.

图10

图10 去雾算法加速引擎设计图

Fig.10 Design diagram of acceleration engine for defogging algorithm

表1 图像去雾加速引擎模块功能说明

Tab.1 Explanation of function of acceleration engine module for image defogging

子模块名称	功能说明	输入输出说明
天空区域检测模块	天空区域分割	输入帧缓存图像输出分割后的二值数据
暗通道模块	暗通道图像求取	输入RGB图像输出为暗通道像素数据
大气光值求取模块	大气光值计算	天空分割模块中间均值变量阈值倍数
透射率求取模块	图像透射率计算	输入暗通道图像及其全局大气光值,输出粗估计透射率
透射率优化模块	透射率修正	输入灰度图像及粗估计透射率,输出细化透射率
图像复原模块	去雾图像复原	输入RGB图像、细化后的透射率、大气光值,输出去雾图像数据

新窗口打开| 下载CSV

3.1.1 天空区域检测模块设计与大气光值优化

Kim等^[10]提出了一种基于四叉树细分层次搜索的大气光值估计方法,能有效避免空间存在明亮物体对去雾图像的影响,但对于浓雾场景下方法失效.刘倩等^[11]在图像退化模型的基础上,提出了一种基于均值滤波的实时图像去雾方法,可避免直接选取像素最大值作为大气光值,同时降低了算法复杂度.但对透射率的估计不准确,去雾效果不佳.

在求取大气光值时,He算法^[7]对图像暗通道像素值进行排列,取前0.1%亮度点的均值作为全局大气光值.但FPGA处理视频时数据以流形式输入,求取一帧图像的高亮像素点排序会消耗大量的内部资源,使实时处理系统负担过重,硬件电路难以实现.因此,学者们针对硬件部署给出了全局大气光值的优化处理方法.如刘光飞等^[12]通过用阈值的方法来求解全局大气光值,提升了对图像处理的速度,但大气光值的求取不够准确,尤其复杂交通环境中大气光值的不确定性易导致大气光估计有误;龚亮等^[13]采用将YCbCr空间域的亮度通道进行窗口最小值滤波求取窗口最大值作为大气光值,但增加了不同色域空间的转换步骤,并存在一定程度的误差;Liu等^[14]通过图像最大窗口均值与最大暗通道像素的平均值作为大气光值,但由于使用双边滤波器对透射率进行细化,去雾效果较差.

本文针对以上缺陷将天空区域检测模块与大气光值模块进行结合,并通过帧迭代方法优化全局大气光值,图11为检测逻辑架构.

图11

图11 天空检测及大气光值求取逻辑架构

Fig.11 Logical architecture for sky detection and atmospheric light value calculation

首先,数据灰度化后通过Sobel算子计算,利用预设的阈值对该结果二值化,对其中标记为“1”像素点初步判断为天空区域,再计算区域像素平均值.流水线累加后再求均值会导致累加和超过预设位宽,因此,需对二值化结果为1的像素点先归一化处理后再累加求和,进而求取均值.这一过程需预存灰度帧,由于片上资源有限,灰度帧将存储于DDR中,当处理完一帧图像后再进行归一化和累加计算.在帧缓存中比较像素灰度,同时初步判断像素均值的阈值倍数,并与初步判断结果进行与操作,然后利用形态率滤波处理,最终得到融合后天空区域.由于视频相邻帧差别较小,可将前一帧处理结果作为当前帧的全局大气光值.天空区域检测模块以第K-2帧图像平均灰度的阈值倍数作为全局大气光值评判根据,并设定全局大气光值上限,以防止大气光值过大而影响复原效果.

3.1.2 透射率模块优化设计

通过前文获取的区域分割标记、全局大气光值、暗通道图像以及修正透射率,可得到图像透射率粗估计,对式(13)进行整理可得:

(14)$\begin{matrix} & \tilde{t}~(x)=1-\omega [\underset{c}{\mathop{\text{min}}}\,(\underset{y\in \Omega \left( x \right)}{\mathop{\text{min}}}\,(\frac{{{I}^{c}}\left( y \right)}{{{A}^{c}}}))(1-{{I}^{msk}})+ \\ & (1-\underset{c}{\mathop{\text{min}}}\,(\underset{y\in \Omega \left( x \right)}{\mathop{\text{min}}}\,(\frac{{{I}^{c}}\left( y \right)}{{{A}^{c}}})){{I}^{msk}}] \\ \end{matrix}$

式中: $\underset{c}{m i n}$ ( $\underset{y \in Ω (x)}{m i n}$ (I^c(y)))为暗通道图像;I^msk为天空区域掩膜.为减少透射率浮点运算开销,对数据左移10位(即扩大1 024倍,参数ω取值870),从而消除透射率为浮点数的影响.透射率求取逻辑架构如图12所示.

图12

图12 透射率求取逻辑结构

Fig.12 Logical structure diagram for calculating transmittance

3.1.3 透射率引导优化模块设计

引导滤波的作用是将引导图像I^Gud中的信息融入待滤波图像I^p中,得到输出图像I^q.在计算引导图像均值μ_p、待滤波图像均值μ_i、输入图像平方均值μ_ii、待滤波图像与引导图像乘积均积μ_ip、引导系数a均值和引导系数b均值时都用到了均值滤波,因此需对均值滤波结构进行优化.整个引导滤波模块可划分为计算μ_ip,μ_ii,μ_p,μ_i,μ_a和μ_b.引导滤波模块逻辑设计如图13所示.图中:e为正则化系数;Ω_i为待滤波图像局部窗口和;Ω_p为引导图像局部窗口和;V_ip为输入图像与引导图像局部窗口乘积和;V_ii为输入图像局部窗口平方和.

图13

图13 引导滤波模块设计

Fig.13 Design diagram of guidance filtering module

均值滤波可使图像变得平滑的同时减少噪声.传统引导滤波中采用盒滤波快速求取图像窗口数值和,但盒滤波器硬件设计消耗较多资源^[15].因此,设计硬件均值滤波来代替盒滤波,如图14所示.由图14可知,均值滤波主要由Linebuffer缓存、寄存器、加法树以及除法器组成.

图14

图14 均值滤波示意图

Fig.14 Schematic diagram of mean filtering

在计算均值过程中,需对窗口数据分别计算行列之和,再求均值.局部窗口均值求和结构如图15所示.传统算法采用连续打拍寄存数据进行窗口数据累加求和,如图15(a)所示,但加法器与寄存器消耗较多.为了减少资源消耗,将求和改进为

(15)$\text{sum}\left( l+1 \right)=\overset{2}{\mathop{\underset{j=-2}{\mathop \sum }\,}}\,X(l+j)+X(l+3)-X(l-2)=sum(l)+X(l+3)-X(l-2)$

式中:sum(l+1)表示下一个时钟的行数据之和;X(l-2)~X(l+2)为窗口行数据.由式(15)可知,计算行总和时,中间数值一直参与运算,仅首项和当前数据流发生改变.因此,通过对尾项与首项数据求取差值,可得到窗口模板的行像素之和.窗口求和结构如图15(b)所示.

图15

图15 局部窗口均值求和结构示意图

Fig.15 Schematic diagram of the sum structure of local window mean

进行窗口行求和后,将每一行求和结果存入移位寄存器,再计算列数据.当行、列都求和完毕后,需对窗口数据和进行平均处理.以5 像素×5 像素模板为例,结构电路设计如图16所示.为避免触发器资源的消耗,可通过扩大数据相应位权倍数后移位运算来代替均值除法.

图16

图16 均值滤波数据位移操作示意图

Fig.16 Schematic diagram of displacement operation of mean filtering data

通过均值滤波得到μ_ip,μ_ii,μ_p,μ_i这4个均值变量后,计算引导系数a、b.参数电路流水线设计如图17所示.在设计硬件电路中,正则项ε取10^-2,将小数扩大一定倍数转换为整数运算可降低资源消耗.系数a、b经过均值滤波后,得到引导系数均值μ_a、μ_b.为保证数据的一致性,引导图像移位延迟后与μ_a、μ_b对齐,再进行数据运算,实现透射率的引导优化.

图17

图17 引导系数计算电路设计图

Fig.17 Design diagram of guidance parameter calculation circuit

3.1.4 图像复原模块

图像复原模块输入数据包括:延时的彩色图像、优化输出的透射率以及计算的大气光值.根据式(5)设计图像复原电路,为避免图像像素值与大气光值相减出现负数产生计算错误,算法电路设计中需比较判断当前点像素值与大气光值.当像素值大于大气光值时,即I≥A时,式(5)保持不变;若I<A,则式(5)可以转化为

(16)

J (x) = A - \frac{A - I (x)}{m a x {t (x), t_{0}}}

复原图像电路包括乘法器、加法器、数据比较器和多路复用选择器.为使数据对齐,需要对彩色图像3个通道进行数据缓存,然后比较缓存数据与大气光值.在细化透射率的过程中,为减少浮点运算,需对透射率值、大气光值与原图像的差值等进行左移操作,计算后再右移复原,完成图像去雾.复原电路设计如图18所示.

图18

图18 复原电路设计图

Fig.18 Design diagram of restoration circuit

4 实验结果与分析

4.1 图像去雾算法实验结果与分析

4.1.1 评价指标

(1) 信息熵^[3].表示图像信息量,计算如下:

(17)$H=\overset{255}{\mathop{\underset{i=0}{\mathop \sum }\,}}\,h(i)lbh(i)$

式中:H为信息熵;h(i)为灰度值为i所占比例,能够反映图像中平均信息量大小.

(2) 峰值信噪比^[16](r_P).假设有两幅大小为m×n 的原始图像I和噪声图像K,均方误差(e_MSE)定义如下:

(18)${{e}_{MSE}}=\frac{1}{mn}\overset{m-1}{\mathop{\underset{i=0}{\mathop \sum }\,}}\,\overset{n-1}{\mathop{\underset{j=0}{\mathop \sum }\,}}\,{{(I(i,j)-K(i,j))}^{2}}$

通过e_MSE可以得到:

(19)${{r}_{P}}=10lg\left( \frac{p_{MAX, ~ I}^{2}}{{{e}_{MSE}}} \right)=20\text{lg}\left( \frac{{{p}_{MAX, ~ I}}}{\sqrt{{{e}_{MSE}}}} \right)$

式中:p_MAX_,I为原始图像I中的最大的像素值.e_MSE越小则r_P越大,失真程度越小.但r_P和主观评价的表达有差异,颜色变化会导致分数较低.

(3) 平均梯度.平均梯度^[17](g_A)反映图像细节及纹理变化,越大说明纹理细节更丰富,表达式为

(20)${{g}_{A}}=\frac{1}{mn}\overset{M}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,\overset{N}{\mathop{\underset{j=1}{\mathop \sum }\,}}\,\sqrt{\frac{{{\left( \frac{\partial f}{\partial x} \right)}^{2}}+{{\left( \frac{\partial f}{\partial y} \right)}^{2}}}{2}}$

式中:∂f/∂x和∂f/∂y为水平和垂直梯度.

(4) 雾霾浓度指标评价(E_FAD)是Choi等^[18]提出的评价模型,通过总结自然有、无雾图像间可测量偏差统计规律,学习雾霾图像特征,精准评价雾霾浓度.

4.1.2 主观评价

本文将利用4组雾霾天气下不同交通载具拍摄的含有天空区域的监测图像,对He算法^[7]、Kim算法^[10]、刘算法^[11]以及本文提出的改进去雾算法进行效果对比分析,如图19所示.

图19

图19 图像去雾效果对比

Fig.19 Comparison of image defogging performance

实验选取图像均含有大量天空区域,给图像细节复原带来较大困难.第1组城市街道图像中,He算法较好地复原了近景图像,但在天空区域出现了失真,与实际情况具有一定偏差;Kim算法去雾后提升了图像整体亮度,但在天空区域出现严重曝光,导致图像整体偏暗;刘算法处理速度较快,但是整体图像仍有一定浓度的雾霾残留;而本文算法刻画天空区域与街道场景较为清晰,天空区域与真实情况相似,天空不存在失真现象.在第2组城市公路图像中,含有城市建筑群以及道路车辆,He算法同样在路面细节以及建筑群复原效果较好,但是在天空区域色彩饱和度过高,复原结果不自然;Kim算法复原后使得城市建筑群以及道路车辆等远景区域图像亮度明显提升,但在天空区域仍存在大片面积的过曝现象;刘算法复原图像结果在天空区域不存在失真现象,但城市建筑群以及城市公路仍含有一定雾霾,去雾效果不佳;而本文算法在天空区域去雾后接近真实情况,且道路以及建筑群复原效果较好.第3组图像展示了近景交通道路图像,经He算法复原处理后,道路车辆相较于原图更为清晰、钟楼色彩边缘刻画清晰,但是图像整体偏暗,天空区域出现伪彩色轮廓图像;经Kim算法复原处理后,钟楼轮廓更为突出、图像对比度整体提升,但天空区域相较于He算法失真程度更为严重;刘算法处理后图像较为自然、道路两旁树木细节刻画清晰,但去雾效果欠佳;经本文改进算法处理后,图像天空区域与近景道路车辆、树木刻画清晰,复原图像更加接近真实情况,虽然在左侧远景建筑刻画不及He算法以及Kim算法,但是在刻画天空区域以及道路细节方面更为清晰.第4组图像场景较为复杂,含有大面积天空区域、城市建筑群、海面以及道路环境,经He算法复原后,大面积天空区域出现严重伪轮廓,图像亮度低,复原效果不佳;经Kim算法复原后,Kim算法虽然在道路复原效果优于He算法,但是在大面积天空区域表现较差,出现严重曝光;刘算法虽然图像整体亮度相比于He算法有所提升,但图像整体仍残留一定浓度的雾气,复原效果较差;本文算法在天空区域不存在失真现象,且近景图像细节较清晰,相比于He算法图像亮度明显提升,图像得到了较好的复原.

4.1.3 客观评价

利用H、g_A、r_P、E_FAD和对比度等客观指标评价去雾效果,如表2所示.

表2 去雾图像参数评价

Tab.2 Evaluation of image parameters for defogging

实验组	去雾算法	H	g_A	r_P	E_FAD	对比度
E1	原始图像	12.600 0	2.844 9	—	1.992 0	53.387 8
	He算法^[7]	14.663 9	4.685 0	24.213 1	0.884 3	62.995 2
	Kim算法^[10]	11.641 7	4.116 7	23.163 6	0.768 1	79.576 6
	刘算法^[11]	13.156 0	2.935 5	35.343 3	1.873 8	54.430 2
	本文算法	14.974 4	4.846 3	26.071 3	0.760 2	81.383 2
E2	原始图像	13.212 2	3.843 6	—	1.741 4	44.075 4
	He算法^[7]	14.781 8	6.420 3	24.200 1	0.749 9	51.237 1
	Kim算法^[10]	13.719 7	6.038 4	25.274 1	0.856 5	63.087 5
	刘算法^[11]	13.648 0	3.959 5	37.919 8	1.644 1	44.780 5
	本文算法	14.913 9	6.597 0	26.482 5	0.528 1	65.589 6
E3	原始图像	10.693 7	3.469 8	—	2.181 4	50.887 0
	He算法^[7]	11.863 2	5.262 3	24.084 5	0.744 7	45.300 1
	Kim算法^[10]	12.108 4	5.338 7	25.670 9	0.838 1	65.266 6
	刘算法^[11]	11.076 4	3.576 7	33.060 1	2.081 9	51.540 2
	本文算法	12.861 7	5.386 7	26.276 1	0.632 0	67.045 0
E4	原始图像	12.283 6	1.323 8	—	4.135 6	50.069 3
	He算法^[7]	14.207 5	3.277 0	17.995 6	0.966 2	50.141 4
	Kim算法^[10]	12.504 7	3.151 3	18.171 8	0.749 6	79.225 2
	刘算法^[11]	12.950 1	1.407 7	32.636 9	3.794 3	51.810 8
	本文算法	14.391 8	3.597 8	21.098 0	0.724 5	79.482 0

新窗口打开| 下载CSV

结合图19和表2可以看出,He算法复原图像的H、g_A、E_FAD提升较大,但是图像对比度较低,图像亮度也偏暗;Kim算法图像对比度有了较大提升,但H、g_A略低于暗通道算法,且亮度过高,影响图像复原质量;刘算法的r_P与原图较为接近,但H、g_A和E_FAD较低,雾霾噪声去除不彻底,复原图像效果较差.与原图相比,本文算法复原图像的H最大,细节信息较丰富,图像对比度较高且不失真,E_FAD参数指标较低,处理含天空区域的雾霾图像效果较好.

4.2 交通图像清晰化系统测试与分析

4.2.1 平台搭建与测试分析

实验中,利用双路HDMI 作为输入输出端口,展示去雾算法测试效果,实验数据来自雾霾天气条件下的实拍行车记录视频,如图20所示.图20(a)为智能行车记录仪核心试验平台,图20(b)左侧显示器为未处理行车记录视频流,通过将交通含雾视频输入基于ZYNQ-7020平台的智能行车记录仪,由图20(b)右侧显示器展示去雾处理后的交通视频.

图20

图20 ZYNQ智能行车记录仪

Fig.20 Intelligent driving recorder based on ZYNQ

视频流通过HDMI输入去雾加速引擎接口,去雾后的视频流通过板上HDMI输出到显示器.实验截取了1 280 像素×720 像素的含雾交通视频,并对比了对不同帧图像的去雾效果.输入视频交通图像场景包括道路弯道、直行道路和相向车辆行驶场景,如图21~23所示.

图21

图21 雾霾天气下弯道测试实验

Fig.21 Experimental results of bend testing in haze weather

图22

图22 雾霾天气下直道测试实验

Fig.22 Experimental results of straightway testing in haze weather

图23

图23 雾霾天气下相向行驶车辆测试实验

Fig.23 Test results of vehicles driving in opposite directions in hazy weather

图21行车记录视频展示了弯道情况下的去雾效果.其中图21(a)、21(c)为行车记录仪输入图像,图21(b)、21(d)为输出图像,根据输入输出帧对比可知,去雾后的图像视频中道路线相比于原视频而言,细节更为清晰,整体画面较为通透,天空区域并无失真现象,同时周边景物的复原效果较好,图像对比度明显提升.

图22行车记录视频展示了直道情况下的去雾效果.由图22(a)、22(b)截取帧画面可知,经处理后驾驶可视条件及道路两侧树木与灌木丛更清晰.图22(d)的雨天去雾效果更好,挡风板雨滴细小轮廓视觉感受较为逼真,与实际情况更为接近,且天空区域去雾效果非常自然,整体去雾效果较好.

图23行车记录视频展示了相向行驶车辆情况下的去雾效果.在图23(b)中,去雾后视频可以明显辨别出前方车辆轮廓,而在含雾视频中小车几乎肉眼不可见;在图23(d)中,去雾处理后远景小车行驶辨识度高;在图23(e)~23(h)中,车辆即将到达会车区段,去雾后近景红色车辆轮廓清晰可见,色彩饱和,而去雾前小车轮廓较模糊.综合以上实验分析,经过去雾后的视频在道路上车道线复原清晰,人眼可以清楚判别,也可以观察到道路两旁树木的细节轮廓,同时图像对比度明显提升, 视觉效果更自然,画面更通透.

通过对比不同交通道路场景去雾效果可以看出,复原图像质量得到大幅提升.综合分析可得,本文设计的交通图像实时去雾系统处理效果较好,针对不同道路场景下含有天空区域的图像,画面复原效果良好,轮廓细节刻画清晰,并通过人眼观察可以发现图像在色彩、对比度以及清晰度等方面有较大提升.且本系统实时性强,能够应用于实时交通去雾场景的嵌入式计算.

4.2.2 去雾系统资源占用情况

实验采用分辨率为1 280 像素×720 像素的视频作为处理对象,去雾算法在PC机上处理一张同样分辨率大小的图像,运行时间为1.828 s,无法满足实时图像去雾的要求.而基于ZYNQ去雾平台的智能行车记录仪处理时间仅为27.53 ms,能够满足实时图像去雾的基本要求.ZYNQ平台资源占用情况如表3所示,对BRAM资源占用及数字信号处理(Digital Signal Process, DSP)资源消耗较多,这是因为在引导滤波的电路设计中,均值滤波对BRAM资源以及乘法器资源消耗较多,需要进行进一步优化,但仍在可接受范围.

表3 PL端核心资源占用情况

Tab.3 Occupancy of core resources on the programmable logic end

PL资源	可用资源	占用资源	占用率/%
LUT	56 200	19 143	34.1
FF	106 400	19 353	18.2
Block RAM	140	62	44.3
DSP	220	137	62.2

新窗口打开| 下载CSV

5 结语

通过分析传统去雾算法的缺陷和ZYNQ平台并行流水线处理的特点,设计了一种可用于智能行车记录仪图像去雾系统.通过双路HDMI接口对雾天交通视频进行去雾前后的效果对比,综合分析了FPGA的资源消耗.实验结果表明,本文设计的交通图像清晰化系统功耗低、实时性强、去雾处理效果显著,提供了一种雾天实时交通图像处理的有效解决方案.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

苗开超, 姚叶青, 王传辉, 等.

一次导致重大交通事故的大雾天气成因分析

[J]. 气象科技进展, 2021, 11(4): 23-27.

MIAO

Kaichao

, YAO

Yeqing

, WANG

Chuanhui

, et al.

Analysis of a dense fog event caused a fatal traffic accident

[J]. Advances in Meteorological Science and Technology, 2021, 11(4): 23-27.

[2]

王洁, 王顺吉, 侯刚.

基于Zynq的嵌入式数字图像处理系统设计

[J]. 实验室科学, 2020, 23(4): 70-73.

WANG

Jie

, WANG

Shunji

, HOU

Gang

Design of embedded image system based on Z7 series

[J]. Laboratory Science, 2020, 23(4): 70-73.

[3]

黄鹤, 胡凯益, 郭璐, 等.

改进的海雾图像去除方法

[J]. 哈尔滨工业大学学报, 2021, 53(8): 81-91.

HUANG

, HU

Kaiyi

, GUO

, et al.

Improved defogging algorithm for sea fog

[J]. Journal of Harbin Institute of Technology, 2021, 53(8): 81-91.

[4]

CAI

B L

, XU

X M

, JIA

, et al.

DehazeNet: An end-to-end system for single image haze removal

[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

DOI:10.1109/TIP.2016.2598681 PMID:28873058 [本文引用: 1]

Single image haze removal is a challenging ill-posed problem. Existing methods use various constraints/priors to get plausible dehazing solutions. The key to achieve haze removal is to estimate a medium transmission map for an input hazy image. In this paper, we propose a trainable end-to-end system called DehazeNet, for medium transmission estimation. DehazeNet takes a hazy image as input, and outputs its medium transmission map that is subsequently used to recover a haze-free image via atmospheric scattering model. DehazeNet adopts convolutional neural network-based deep architecture, whose layers are specially designed to embody the established assumptions/priors in image dehazing. Specifically, the layers of Maxout units are used for feature extraction, which can generate almost all haze-relevant features. We also propose a novel nonlinear activation function in DehazeNet, called bilateral rectified linear unit, which is able to improve the quality of recovered haze-free image. We establish connections between the components of the proposed DehazeNet and those used in existing methods. Experiments on benchmark images show that DehazeNet achieves superior performance over existing methods, yet keeps efficient and easy to use.

[5]

黄鹤, 胡凯益, 宋京, 等.

雾霾线求解透射率的二次优化方法

[J]. 西安交通大学学报, 2021, 55(8): 130-138.

HUANG

, HU

Kaiyi

, SONG

Jing

, et al.

A twice optimization method for solving transmittance with haze-lines

[J]. Journal of Xi’an Jiaotong University, 2021, 55(8): 130-138.

[6]

NAYAR

S K

, NARASIMHAN

S G

Vision in bad weather

[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. New York, NY, USA: IEEE, 2002:598-605.

[7]

K M

, SUN

, TANG

X O

Single image haze removal using dark channel prior

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

DOI:10.1109/TPAMI.2010.168 PMID:20820075 [本文引用: 8]

In this paper, we propose a simple but effective image prior-dark channel prior to remove haze from a single input image. The dark channel prior is a kind of statistics of outdoor haze-free images. It is based on a key observation-most local patches in outdoor haze-free images contain some pixels whose intensity is very low in at least one color channel. Using this prior with the haze imaging model, we can directly estimate the thickness of the haze and recover a high-quality haze-free image. Results on a variety of hazy images demonstrate the power of the proposed prior. Moreover, a high-quality depth map can also be obtained as a byproduct of haze removal.

[8]

黄鹤, 李昕芮, 宋京, 等.

多尺度窗口的自适应透射率修复交通图像去雾方法

[J]. 中国光学, 2019, 12(6): 1311-1320.

DOI:10.3788/co. URL [本文引用: 1]

HUANG

, LI

Xinrui

, SONG

Jing

, et al.

A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window

[J]. Chinese Optics, 2019, 12(6): 1311-1320.

[9]

尹震宇, 徐光远, 张飞青, 等.

面向Zynq平台的卷积神经网络单元设计与实现

[J]. 小型微型计算机系统, 2022, 43(2): 231-235.

当前，卷积神经网络越来越多的应用于工业生产中，传统的基于CPU及GPU的神经网络平台存在体积大、能耗高等缺点，在工业生产现场部署存在困难.基于ARM的嵌入式平台虽然易于部署，但存在算力低的缺点，难以高效的实现卷积神经网络.针对此问题，本文设计并实现了一种基于Zynq平台的卷积神经网络单元，通过充分利用Zynq平台上FPGA端并行计算的特点，对卷积神经网络中卷积层进行加速，使用高层次综合(High-Level Synthesis，HLS)进行卷积层和池化层IP核的设计，并针对性的给出优化方案.最终实现在嵌入式平台上对手写数字的高效识别.经实验验证，该设计单元在较少占用FPGA上计算资源的同时，快速、准确地进行手写数字识别.

YIN

Zhenyu

, XU

Guangyuan

, ZHANG

Feiqing

, et al.

Design and implementation of convolution neural network unit based on Zynq platform

[J]. Journal of Chinese Computer Systems, 2022, 43(2): 231-235.

At present，convolutional neural network is more and more used in industrial production.The traditional neural network platform based on CPU and GPU has the disadvantages of large volume and high energy consumption，which makes it difficult to deploy in the industrial production site.Although the embedded platform based on ARM is easy to deploy，it has the disadvantage of low computational power，so it is difficult to implement convolutional neural network efficiently.To solve this problem，this paper designs and implements a convolution neural network unit based on Zynq platform.By making full use of the parallel computing features of the field bus on Zynq platform，the convolution layer in the convolution neural network is accelerated，and the IP core of the convolution layer and pooling layer is designed with high-level synthesis，and the optimization scheme is given.Finally，it achieves the efficient recognition of handwritten numbers on the embedded platform.Experiments show that this design unit can quickly and accurately recognize handwritten digits while consuming less computing resources on the FPGA.

[10]

KIM

J H

, KIM

C S

Approximate solution to optimized contrast enhancement for hazy image

[C]// IEEE International Symposium on Consumer Electronics. Seoul, Korea: IEEE, 2014: 1-2.

[本文引用: 6]

[11]

刘倩, 陈茂银, 周东华.

基于单幅图像的快速去雾算法

[C]// 中国控制与决策会议. 贵阳: 控制与决策编辑部, 2013: 3781-3786.

[本文引用: 6]

LIU

Qian

, CHEN

Maoyin

, ZHOU

Donghua

Fast haze removal from a single image

[C]// Chinese Control and Decision Conference. Guiyang, China: Control and Decision, 2013: 3781-3786.

[本文引用: 6]

[12]

刘光飞, 胡辽林.

暗通道先验去雾算法的改进及FPGA实现

[J]. 西安理工大学学报, 2016, 32(1): 77-82.

LIU

Guangfei

, HU

Liaolin

Improvement and FPGA implementation of dark channel priori dehazing algorithm

[J]. Journal of Xi’an University of Technology, 2016, 32(1): 77-82.

[13]

龚亮, 孙俊喜, 顾播宇, 等.

基于FPGA的视频图像去雾系统的设计与实现

[J]. 电视技术, 2013, 37(7): 6-8.

GONG

Liang

, SUN

Junxi

, GU

Boyu

, et al.

Design and implementation of haze removal system of video image based on FPGA

[J]. Video Engineering, 2013, 37(7): 6-8.

DOI:10.1016/j.neucom.2016.09.139 URL [本文引用: 1]

[14]

LIU

, HUANG

, HOU

, et al.

Large size single image fast defogging and the real time video defogging FPGA architecture

[J]. Neurocomputing, 2017, 269(20): 97-107.

[15]

BEGUM

, RAJAPRIYA

, KANNAN

FPGA implementation and simulation of guided image filtering

[C]// International Conference Icats. Thanjavur, India: ICATS, 2014:218-227.

DOI:10.13190/jbupt.200504.87.huangwh [本文引用: 1]

[16]

黄文辉, 陈仁雷, 张家谋.

数字视频图像质量客观测量方法的改进与实现

[J]. 北京邮电大学学报, 2005(4): 87-90.

在传统的图像客观测试峰值信噪比的基础上，对比了重建图像与原始图像，改进了测试模糊及方块效应等关键质量指标的算法，同时提出了预处理的方案. 实用中可与图像质量主观评价的mean opinion score对应，并可用于测试与评价图像传输系统的质量.

HUANG

Wenhui

, CHEN

Renlei

, ZHANG

Jiamou

Improvement and implementation of objective digital video quality measurement

[J]. Journal of Beijing University of Posts and Telecommunications, 2005(4): 87-90.

DOI:10.16183/j.cnki.jsjtu.2021.238 [本文引用: 1]

[17]

黄鹤, 胡凯益, 李战一, 等.

融合MCAP和GRTV正则化的无人机航拍建筑物图像去雾方法

[J]. 上海交通大学学报, 2023, 57(3): 366-378.

针对传统去雾处理复原得到的图像清晰度和对比度较低、整体颜色偏暗的问题,提出了一种改进的图像去雾方法,应用于无人机航拍建筑物图像处理中.针对全局大气光取值易受场景中景物影响的问题,提出一种颜色衰减先验投影最小方差的大气光求解方法,构建明度与饱和度差值图像,求解最小方差出现区域,并确定全局大气光估计.将利用图像场景深度信息求解的区域大气光与全局大气光相融合,获得新的大气光图.采用基于非局部信息的雾霾线先验理论对透射率进行优化,提出了一种基于雾霾线理论和引导相对总变分正则化的算法,通过计算透射率可靠性函数对透射率修正,并消除图像中存在的大量无用纹理信息,提升了透射率估计精度,有效改善了无人机航拍场景中浓雾及景深突变区域的复原图像质量.实验结果表明,所提算法与其他算法相比,获得的复原图像平均梯度、对比度、雾霾感知密度估计及模糊系数等指标分别平均提升了12.2%、7.0%、11.9%和12.5%,运算时长也优于部分算法,航拍图像更加清晰,更符合人眼视觉感受.

HUANG

, HU

Kaiyi

, LI

Zhanyi

, et al.

An image dehazing method for UAV aerial photography of buildings combining MCAP and GRTV regularization

[J]. Journal of Shanghai Jiao Tong University, 2023, 57(3): 366-378.