第2期王俊骅,等:基于OpenCV和Halcon的交通冲突视频自动检测及数据处理

241
标跟踪过程中,可以先根据目标以前的运动轨迹来
对运动目标在下一帧中的位置进行预测 ,然后以该
预测位置为中心确定一个大小适当的搜索范围或称
窗口,这样可以不必在整幅图像中 搜索物体,而仅仅
在预测位置附近的搜索窗口内就可搜索到目标,从
而能够大大提高搜索精度、 加快搜索速度.
由于摄像机拍摄的视频图像帧与帧之间的时间
间隔极短(本文采用的视频图像帧 率30帧#s),
而车辆的运动轨迹为平滑曲线,运动速度即使发生
变化也是连续的,不可能发 生突变,因此可以认为在
极短的时间间隔内物体的运动是匀速直线运动,这
样可以极容易预测出 物体在下一帧中的位置.设运
动物体在前两帧图像中的位置坐标为(x
1
,y
1
),(x
2
,
y
2
),预测的位置坐标为(x,y),根 据匀速直线运动理
论可得:
(1)
y=y
2
+(y
2
-y
1
)
设定搜索窗的半径大小为r,(w
x
,w
y)为目标可能
出现的位置坐标,从而可以得出搜索范围:
x-r[w
x
[ x+r
y-r[w
y
[y+r
(2)
x=x
2
+( x
2
-x
1
)
-1
选取搜索窗口内的有效候选区域的重心至 当前
轨迹链终点的距离d、候选区域的面积A,轨迹链前进
方向偏角A三个因素作为选择判断的 尺度.以图10为
例,P
1
,P
2
为某条轨迹链的最后两点,需搜索 下一点.
搜索窗口内有L
1
,L
2
,L
3
,L4
四个候选对象,这四个连
通区域中,其重心位置离P
2
的距离d越小, 区域面积
值与P
2
所在区域的面积A越接近,前进方向的偏角A
越小,选中的 可能性就越大.将这三个因素综合起来
用统一的表达式来衡量,判别式为
F
i
=w
1
#
A
i
-A
0
i=1
6
6
n
n
+
A
i
-A
0
d
i
-d
0
d
i
-d
0
+w
3
#
A< br>i
i=1
n
w
2
#(3)
A
i
i= 1
6
式中:A
0
表示P
2
对应区域的面积;A
i< br>表示候选区域
的面积;d
0
表示P
1
,P
2
两点之间的距离;d
i
表示候
选区域的重心到P
2
的距离;w
1
,w
2
,w
3
分别为面
积、距离和角度三因素的权重, 本系统中取w
1
=
0.5,w
2
=0.3,w
3
= 0.2.n为候选区域的个数,n=4.
图10中有四个候选区域,因此能够计算出4个F
值, 其中使F值最小的那个区域即为轨迹链在当前
帧的跟踪结果.在必要的条件下可以对F设定一个
阈值K,以进一步对跟踪结果过滤,倘若在某一轨迹
链跟踪过程中每一个F均大于K,则认为该轨迹链< br>在当前帧中找不到对应点,轨迹在此帧中发生断裂.
利用上述目标检测与跟踪方法对拍摄的浦东大
道-巨野路交叉口视频图像进行试验,试验效果如图
11所示,实验证明:在交通量不大的交叉 口和路段运
动目标检测和跟踪效果良好,尤其在车辆运动比较
有规律的路段上.
得 到搜索范围之后,即可对重心位置位于该范
围之内的连通区域进行对象匹配甄选.预测示意图
如 图9所示,方框内为搜索范围,(x,y)为预测位置,
(x
3
,y
3
)为实际位置.
图9 车辆运动预测示意图
Fig.9 Vehiclemovingpredicting
3.2 对象匹配
由图9可看出,搜索窗口 内的对象很可能不只
一个,由此需进一步进行对象匹配.对象匹配是在确
定搜索范围之后,对搜 索范围内的众多对象按照一
定的判断标准进行甄选,以找出最符合条件的对象
作为最终跟踪的结 果,保证正确运动轨迹的延续.
由于两帧之间的时间间隔极短,同一运动目标
图10 对象匹配示意图
Fig.10 Objectmatching
所对应的检测区域在形状、大小(面积)、距离间隔、
3.3 数据信息的提取与实时保存
运动方向上都具有一致性,因此可以利用这方面的
每个运动目标的运 动轨迹由车辆在每帧图像中
信息构造相关的判断准则,最符合准则要求的即为
所寻找的对象.< br>的位置坐标(图像坐标)串联而成.且轨迹链的长度
需达到一定的长度才能保存至文本文件中,否 则被

242
同济大学学报(自然科学版)第38卷
认 为是噪声,直接从内存中被删除.有了这些组成轨
迹链的坐标,便可通过后续数据处理对车辆的运行状态做出详尽的分析,如分析车辆的速度、加速度变
化特征等.另外,位置坐标反映的是空间信息, 除空
间信息外,保存的信息中还须包含与空间位置相对
应的时间信息,便能明确车辆什么时间位 于什么地
点,从而较为完整地获知车辆的时空信息,这样便能
对交叉口实际的交通运行状况加以 实现.考虑到视
频文件中每一帧图片均对应着唯一的帧号,而帧号
的大小直接反映了车辆出现的 先后次序,故可将该
帧号记录下来,用于查看车辆出现的时间.
为8个,选取4个基准点即能建 立8个方程,每个基
准点均具有二维地面坐标与对应的二维图像坐标,
代入该函数便可计算出一 个3@3的坐标转换矩阵.
求解出坐标转换参数后,可由Halcon提供的函数
draw_p oint获取图像上任意点的图像坐标,再由函
数projective_trans_point_2 d将其转换为地面坐标.
坐标标定和转换界面如图12和图13所示.
图12 图像标定界面
Fig.12 Demarcatingthegraph
图11 第1216帧车辆检测和车辆轨迹跟踪效果
Fig.11 Vehicledetectingandtracingonframe1216
4 交通冲突的判定
4.1 微观交通参数的提取
4.1.1 坐标提取
通过对视频图像运 动目标的提取与跟踪,获得
了车辆在图像中的坐标.该坐标以图像坐标系为基
础,尚不能直接应 用于计算相关交通参数,必须通过
相应的坐标转换,将二维图像坐标转换成基于交叉
口地面的二 维地面坐标,这就需要一套坐标转换参
数.一般的摄像机标定涉及的是三维坐标系之间的
转换关 系,求取的参数很多,分为内参数和外参数,
达十多个,其本身是一个很复杂的过程.但由于本系
统的标定是一个不在同一平面上的两个二维坐标系
之间的转换问题,可以采用齐次坐标转换
[ 4]
的思路
求解坐标转换矩阵,省去了摄像机标定的繁琐过程.
xc
ycab
cd
x
+
y
x
y
e
f
图 13 坐标转换界面
Fig.13 Convertingthecoordinate
4.1.2 坐标数据的平滑处理
由于受检 测方法的限制,逐帧提取车辆位置坐
标时会不可避免存在随机误差,这一方面导致系统
提取的轨 迹会在真实轨迹附近随机摆动,另一方面
也会使后续的速度估算值系统性地大于真实值,因
此在 原始图像坐标数据转换成地面坐标之后需做进
一步的平滑处理
[5]
.本文采用均值滤 波法对坐标数
据进行平滑处理,即用某点前后若干点坐标分量的
平均值来代替其原有的坐标对应 分量,以此重新生
成一条新的更接近真实轨迹的轨迹链.求取平均值
的点个数称之为带宽,设为 n,带宽不同,算法的松
紧0程度不同,平滑后的曲线对细节的保留程度也不
同.带宽越小,去 除随机误差的能力也越小,保持细
节特征的能力越强;带宽越大,去除随机误差的能力
越强,但 保持原有局部特征的能力也越弱
4.2 微观交通参数的提取
4.2.1 同一帧图像中车辆间 距的计算
地面坐标经过平滑修正之后,计算在同一帧图
[6-7]
=(4)
1 +(u v)
式中,a,b,c,d,e,f,u,v即为坐标转换参数,给定若
干已知(x, y)和(xc,yc)两套坐标的控制点便可通过
式(4)反算出这些参数.根据这一思路可以直接采用
Halcon中的函数vector_to_proj_hom_mat2d计算坐
标转换参数 ,因此其过程大大简化.由于未知数个数
.

第2期王俊骅,等:基于OpenCV和Halcon的交通冲突视频自动检测及数据处理

243
像中出现的任意两辆车之间的实地距离如下:
d=(x
i
-x
j
)
2
+(y
i
-y
j
)
2
(5 )
式中:d为在同一帧图像中两辆车之间的实地距离;
(x
i
,y
i
)为在某帧图像中第i辆车的地面坐标;(x
j
,
y
j
)为 在某帧图像中第j辆车的地面坐标.
4.2.2 速度值和加(减)速度的计算
同一运动目标在 相邻两帧之间移动的距离亦可
通过式(5)计算出来,而两帧之间的时间间隔又为已
知,因此可 以计算出车辆在这段时间之内的平均速
度,由于时间间隔很小,可将该速度作为物体在这两
帧图 片中前一帧的瞬时速度.易知视频帧率的倒数
即为两帧之间的时间间隔(单位为s),例如视频帧率为24帧#s
-1
,则帧间时间间隔为124s,帧率为30
帧#s
-1
,则帧间间隔为130s.物体的实时运动速
度值计算公式如下:
v
t
=(x
t
-x
t+1
若d>d
v
,则判断为轻微冲突;< br>当a0
时,判断为普通的交通遭遇或无干扰
通过.
5 实例分析
以浦东大道-巨野路交叉口交通视频图像作简
单分析,如图14所示.浦东大道为城市 主干道,巨野
路为支路,交叉口为两相位信号控制T字形交叉口,
浦东大道直行相位1c40d ,巨野路左转相位30d.
)+(y
t
-y
t+1
)$$t
2 2
(6)
式中:v
t
为第t帧时的运动目标的瞬时运动速度;
(x< br>t
,y
t
)为第t帧时运动目标的地面坐标;(x
t+1
,< br>y
t+1
)为第t+1帧时运动目标的地面坐标;$$t为视频
文件相邻两帧之间 的时间间隔
[8-9]
图14 交叉口交通实景
Fig.14 Pictureoft heintersection
交叉口某一时段出现如下交通场景,如图14所
示,浦东大道上 的直行车辆与对向掉头车辆在空间
位置上不断接近,有可能产生碰撞,系统在某一时段
内检测到 相关车辆的行车轨迹如图15所示,直行车
辆的速度和减速度变化如图16和图17所示.由图
17中可知直行车辆在第175帧左右制动减速度明显
增大,并略大于4m
#
s,已经 超出驾驶员正常的主
动防御性的制动减速度值范围,因此判断驾驶员采
取了被动避让性的刹车行 为.但驾驶员并未一直以
大于4m
#
s
-2
的减速度制动至停车,而 是减速度又
有所减小,回落2m
#
s
-2
左右,故又可看出驾驶员应
-2
.
各帧的速度值分别计算完毕后,也会向初始地
面坐标那样表现得不够稳 定,同样需进行平滑处理.
具体处理办法为:选择合适的带宽n(n3),以待处
理的点为中心 选择附近n个速度值,去掉其中的一
个最大值和一个最小值,然后对剩下的n-2个点取
平均值 ,将该平均值作为当前帧的速度值
[10-11]
.在
计算出每帧的瞬时速度后,即可 利用相邻两帧之间
的时间间隔$$t进一步计算出运动目标每帧的加
(减)速度.
4.3 冲突分析
要实现交通冲突的视频检测,必须先要制定出
定量的冲突判别标准,以让计算机执行过 程中有
法0可依.根据冲突严重程度的定义,即为放置相撞
时车辆避险行为剧烈程度的大小,设 车辆制动减
速度为a,界定非交通冲突与交通冲突的临界值为
a
0
,界定轻微 冲突与严重冲突的临界值为a
1
;车辆行
驶速度为v,可能导致冲突发生的车辆之间的 距离为
d,按照非完全制动停车方式测量的并与相应车速v
对应的临界距离设为d
v< br>.倘若驾驶员采用的避险行
为明显表现为刹车,则具体判断标准如下:
当aa
1
时,若d[d
v
,则判断为严重冲突;若d
>d
v
,则判断 为中等冲突;
当a
0
[a[a
1
时,若d[d
v
, 则判断为严重冲突;
[1]
图15 系统检测行车轨迹
Fig.15 Vehiclestrackdetectedbythesystem

244
同济大学学报(自然科学版)第38卷
对前方变化的反应时间较为充裕. 此外,直行车辆与
前方车辆的距离随时间越来越小,如图18所示,在
驾驶员制动减速度大于4 m
#
s
-2
的瞬间车速大概为
7m
#
s
- 1
,车辆间距始终在10m以上,远远大于临
界距离,因此可以最终判断该直行车辆经过交叉口
的过程中发生了轻微交通冲突.
决方案,取得了很多研究成果,例如为了消除阴影的
影 响,运动目标检测算法开始考虑目标颜色特征;为
了克服车辆相互遮挡的影响,采用区域检测与特征检测相结合的方法.虽然算法还不是特别成熟,鲁棒
性和实时性还有所欠缺,但至少提出了一种解决 问
题的思路,这种思路值得进一步深入探索,视频检测
方法在交通冲突研究领域中的应用潜力巨 大.
参考文献:
[1] 刘小明,段海林.平面交叉口交通冲突技术标准化研究[J].公路交通科技,1997,14(3):43.
LIUXiaoming,earchontraff icconflict
图16 速度变化曲线
Fig.16 Speedcurve
t echniquestandardintheintersection[J].JournalofHigh way
andTransportation,1997,14(3):43.
[2] 张苏. 中国交通冲突技术[M].成都:西南交通大学出版
社,1998.
rafficconfli cttechnique[M].Chengdu:
SouthwestCommunicationU niversityPress,1998.
[3] C.海顿.交通冲突技术[M].张苏译.成都: 西南交通大学出版
社,1994.
cconflicttechnique[M].Trans latedbyZHANG
u:SouthwestJiaotongUniversityPress ,1994.
[4] 郑南宁.计算机视觉与模式识别[M].北京:国防工业出版
社,199 8.
ervisionandmodelrecognition
[M].Beijing:N ationalDefenceIndustryPubisher,1998.
[5] Gloyer B,AghajanHK,SiuKY,-basedfreeway
monitoringsyste musingrecursivevehicletracking[C]MSPIE
Proceedi ng,ImageandVideoProcessingÓ.Sydney:SPIE,
1995,( 2421):173-176.
[6] HiroyukiT,SinaF,sionforimage
processingandreconstruction[C]MIEEETransaction on
图17 速度变化曲线
Fig.17 Accelerationcurve
图18 直行车与掉头车之间的距离变化
Fig.18 Distancechangingoftheconflictingvehicle
gton:[s .n.],2007,16(2):158
-160.
[7] tedvideoanalys isasatoolforanalysing
roaduserbehaviour[C]MITSW orldCongress,London:[s.
n.],2006:193-195.
[8 ] 周伟,罗石贵.路段交通冲突的调查技术[J].长安大学学报:
自然科学版,2003,23(1 ):71.
ZHOUWei,wayofroad-traffic-conflict
tec hnique[J].ersity:NaturalScience
Edition,2003,23 (1):71.
[9] Hoong-ChorC,ementoftrafficconflicts
[J].SafetyScience,2001,26(3):169.
[10] 史忠科, 曹力.交通图像检测与分析[M].北京:科学出版
社,2007.
SHIZhongke,c pictureinspectandanalysis
[M].Beijing:SciencePr ess,2007.
[11] 郭力伟.道路交通数字图像技术应用研究[D].上海:同济大学
交通运输工程学院,2007.
ationofroadtrafficdigitalpictur e
technique[D].Shanghai:eof
TransportationEn gineering,2007.
6 展望
本文研究虽然初步实现了交通冲突视频自动监
测,系统真正的成熟应用还需解决一系列误差问题.
系统误差与其采用的方法直接相关,由于本系统目
标检测采用的是背景减法,目标跟踪采用的是基于
区域的跟踪方法,数据处理过程噪声的剔除采 用的
是均值滤波法,因此总的说来,系统存在的误差可以
分为如下几大类:目标提取误差、车辆 跟踪误差、单
相机投影误差和数据处理误差.这些误差影响了系
统性能的稳定性和可靠性,但这 不能否定基于视频
处理的交通冲突检测技术的可行性,恰恰相反正是
要强调这种技术的可能性. 目前很多从事计算机视
觉和图像处理的研究人员已经在探索上述问题的解