基于嵌入式系统的三维照相机
想象作文-时代语录
第18卷一
2008年lO月
计算机技术与发展
ODMPLYlER<
br>TECHNOL(X;YAND
DEVELOPMENT
V01.18
Oct.
2008
基于嵌入式系统的三维照相机
邓维科,余先川,王瑜,赵岩
(北京师范大学信
息科学与技术学院,北京100875)
擒要:文中在研究嵌入式系统。单片机系统以及二维图像处理的
基础上,讨论了三维图像采集系统的构建,并在嵌入式
微处理系统云台上对实时拍摄的大量二维图像数据
进行三维重构。提出萋于二维图像的定标算法,实现标志点的自动识
别和匹配,并根据标志点进行图像整
合,从而得到三维效果,并应甩OpenGL构建具有人机交互的可视化界面,展现物体的
真实三雄图像
。将嵌入式系统,单片机以及三维图像处理有效结合,充分发挥单片机系统简单便携,嵌入式系统制作精
巧、功能强大、计算速度快的优点,并成功实现无需人为采集、无需手动变焦、无需PC机处理的三维全息照相。
关键词:三维照相;嵌入式系统;三维重构
中圈分类号:TP39文献标识码:A文章编号:1
673—629X(2008)0005一05
3D
Camera
Based
on
Embedded
System
YanDENG
W.ei.ke,YU<
br>Xian-chuan,WANG
Yu,ZHAO
(College
ofInf
ormationScienceand
T雹2mdogy,Beijing
NormalUniversity,tkjing
100875,China)
Almraet:Ba
sed
thestudy
of
on
SCM
system,embed
ded
system。a5
well蠲two—diaznska_lal
image
processa_19。the
articlediscussesthe
three—dj
n把ns;皤“inside
platformfor
real—time
ageacquisitim雹舟咖1
omstn烈ion,and
tO
nml【iI培
3D
Reemstnmton∞heses
oftheembedded
micro—
processing
shooting
calibration
algonthm,
si删points
full
atthe’坤numboToftwo—dknemkmal<
br>knageaswell.Judgingollthe
p,wo∞dtwo—dimmsima
lim-
achievetheautomatic
identification“nmtc
hiI堰.In
accordancewithsigned
points
andiirll毽e
integration,wegetthethree—dimemkzmlef
fect,thenultkmtdyusingOpenGLlal唱u理【etObuild肌intera
ctivevisualinterhee,display-
ingBeetstruethree—
dh坷askmlin,age.Make
integrate
embedded蜀4stef
n,SCM,鲢wdl罄three—djn七r岛蒯缸甚嚣processedtoeffectively<
br>pottle。the∞nlp倒五∞off
the
embedded¥ystetlL
¥,thepowerful
functionandfastcal・
culationof
them.Realizeathree—d诬睡萄西谢holographiccsfi-tel盖wittg
)t|thtanmsuccessful
acquisition,manml魂舯.and曩nee
d{or
Pc—processing.
Key
wetds:3Dphotzgtap
hy;embeddedsystems;3D
Recoratnmion
and
gi
ve
play协SCM
system
simple
本系统以嵌入式系统为计算
平台,结合附加硬件
实现三维照相技术,并采用OpenGL技术实现三维重
构算法的可视化实
现。
照相技术是世界领先科技之一。
传统的立体照相机从观察效果出发,采用多镜头
成
像技术,一次拍摄不同视角的多幅照片,而相纸上叠
有细小的柱面镜,将这几幅图像从不同角度印在相纸
上…。从而让人在视觉上产生凹凸。因而这种三维照
相机需要许多独立摄像头进行拍摄。如美国
斯坦福大
学研究人员最新设计的高清晰三维相机,进行人的面
部拍摄,使用了12616个微型
镜头。仅仅从一个方向
拍摄就已然是一笔不小的成本了。如果想获得一个物
体的全息照相时,摄
像头的数量将相当庞大。因此迫
切需要一种三维相机,能够在摄像头有限的情况下,获
得物体的
全息图像数据,并能够使其转为可视化。文
中将讨论的理想三维照相机刚好满足了这种需要。
l
三维照相
世界是立体的,真实的物体是三维组成的,但现在
绝大多数电子、光学照相机只能摄取
二维平面图像,这
种局限性使人们不能感知立体世界的复杂。三维立体
照相技术与当前普通的数
码照相根本的区别在于普通
的数码照相形成的是二维平面图象,而三维立体照相
技术形成的是真
实的三维立体图象。目前。三维立体
收穑日期:2008—0r7—15
作者简介:邓维科(1
986一),男,吉林长春人;余先川,博士.教授,博
士生导师,从事信息挖掘、融合与识别。矿产资
源预溺,遥感影像处
理与识剐的研究。
2嵌入式系统
嵌入式系统是以应用为中-tL,
、计算机技术为基础、
・6・
计算机技术与发展第18卷
软件硬件可裁
减、适合于应用系统对功能、可靠性、成
图形硬件的一个软件接口,也是三维图形科学计算可
本
、体积、功耗严格要求的专用计算机系统。有小巧、
视化的工业标准(31,是由美国SGI公司推出的
一款GL
高度自动化和响应速度快的特点。系统所使用的嵌入
三维图形库发展而来。GL易于使
用而且功能强大,利
式系统是由Intel
Core
2双核处理器,以及其它必要外<
br>用GL开发出来的三维应用软件颇受许多专业技术人
围电路和设备构建组成的。
员的喜爱
,这些三维应用软件已涉及建筑、产品设计、
嵌入式操作系统的选择:XPE(Windows
XPEm-
医学、地球科学、流体力学等领域。随着计算机技术的
bedded,XPE)是微
软公司于2001年推出的一个嵌入
继续发展,GL进一步发展成为OpenGL,如今,OpenGL
式操作系统,桌面WindowsXP操作系统的组件化版
已被认为是高性能图形和交互式视景
处理的标准,一
本,即在实际应用中,设计者可以根据自身的需要,选
个功能强大、调用方便的
底层3D图形库。它可以在
择相应的功能组件来构建适合自己的操作系统,通过
不同的系统如W
indows95、Windows
NT、Unix、Linux、
这种方式构建出来的操作系
统具有结构简单、内核小
Mac
OS、OS/2之阔进行移植。因此,支持OpenGL的(本系统的操作系统内核大小为150M)的特点【5I。相
软件具有很好的移植性,可以获得非常
广泛的应用。
对于Linux,Windows
CE等其他嵌人式操作系统,选
本系统
采用了在VC6.0编译器,MFC环境下的
择嵌入式XP的好处是,用户方的现有程序不必重新
OpenGL作为可视化的界面。MFC具有很好的人机交
编写,而研制方的编程人员对基于Wind
ows的编程己
互的功能,OpenGL是三维图形显示的佼佼者。二者会
经比较熟悉,不必学
习新的操作系统下如何编程。
给我们带来优异的显示效果。
WindowsⅫEmbedded
采用与Windows
XP
Profession.
al相同的二进制代码,从而使得
嵌入式开发人员能够
S三维照相系统的构建
只选择那些小覆盖范围嵌入式设备所需的丰富定制化
5.1系统介绍
特性HJ。本系统中选用了512M的CF卡作为嵌入式
5.1.1系
统的构成
操作系统和应用软件的载体,操作系统控制在300M
以内。
*图像采集与控
制系统:摄像头,旋转云台;嵌入
式系统,单片机,驱动电机。
*图像处理系统:嵌人式系统。
3三维重构
*图像显示系统:嵌入式系统及液晶显示器。
三维重构是计算机图形学中具
有广泛应用背景的
系统框图如图1所示。
重要课题之一,它是在提供大量数据的基础上,采取<
br>“从二维图片重构凸单连通三维实体”的算法来重构物
体的轮廓。
目前兰维重构的处理方
法大致可分为两大类:
一类是动态重构,利用三维激光扫描仪得到物体
表面的三维点坐标,这种
方法的局限性在于扫描对象
的尺寸有限,无法应用于大型实体,如建筑物、火箭、航
天飞机、山
川等等,目前成本还比较高【2J,本系统尚未
图1系统框图
采用。另~类是静态重构,利用实
体的二维几何与拓
5,1.2系统工作流程
扑信息重构其三维信息,本系统的基本思路是将物体
系统工作流程见图2。
置于可旋转水平云台上,云台外某
合适位置固定一个或若干个高
分辨
对图像数据处理并提
利用轮廓
率摄像头。当桌面相对其中轴水平
取物体轮
廓(包括图
^、
信息进行
旋转时,每隔一个固定时间不断对
像去噪、二值化处
理
/
三维显示
以及边缘检测)
物体进行拍照,得到一系列照片以
及由
图片转化为的三维数据。这个过程也可理解为物
图2工作流程图
体圊定在中心,雨相机围绕物体
拍照。
5.2图像采集与控制系统
对物体进行三维描绘,需要对物体进行二维图像
4<
br>Open
GL
的采集。首先系统采用可控制旋转的云台作为承载物
英文全称是“
Open
Graphics
Library”,顾名思义,是
体的平台,采用可控驱动
电机来控制云台的旋转速度
2008410月
邓雄科等:基f嵌^式系统的=镕
照相机
和方向;其次.系统采用AT89C52单片机作为图像采
集系统的控制MCU,并实现
与嵌人式系统的串口通
信,从而对图像采集系统进行控制。最后,系统采用自
制的稳压电潭为云
台以及单片机饿电。见图3。
系统的核心,徽处理器稳定、正确地工作是系统正常运
转的前提和
保证。嵌人式系统的工作包括以下几十方
面:
(1)刺用串口通信通过单片机控制云台转动.读
取
并存储二维图像数据。
{2)对圉像数据处理并提取钫肆轮廓(包括图像去
噪、二值
化处理以及边缘检测)。
(3)利用轮醉信息通过藏晶显示器进行三维显示。
5
3l十
口通信部分
通信协议构设惫:通信控制宇为两字节,见表1。
曩1通信协议
圜3翻悼采
豢与控制}蟪框囤
图像采集与控制系统的工作原理如下:
(1)摄像头标定。相机标定就是将相
机像素坐标
幕转换成用户实际测量或检测所蒋要舶坐标系,使虚
拟摄璋规以真宴单位进行精密测
量。据机括定的撬念
潦于摄影礴量.虽然某些时候并不需要对相机进行标
定,但它是从二维图像
裴取三维信息的前提和基础,已
形成了基本的理论体系。
相机标定包括两部分内容:一是引入一
系列物理
和光学参数建立相机成像模型;二导喟直接法或遗代
法末解上述参数。建立戚像模型必
须考虑两类参数:
内部参散(即所谓内方位元素)描述了成像光束的形
桡,外部参数(郎所谓外
方位元素)描述了相机的空间
姿态。
(2)腰像采集。物体置于旋转云台上,可将云台置
于一个暗箱中,通过平行光线将钉津投影到白色幕布,
5
3,2三单重抽(躅臻趾理)年分<
br>1)预处理部分。
对摄像头采集的二维的图像数据,先进行去噪娃
理,之后选取合适的一
值将得到的图像进行二值化妊
理.物体投髟用黑色(0)表示.背景用白色(1)表示。由
于每
一点只需要一位即可表示’遮也为后续的轮廓提
取简化了算法。还可以根据需要对图像进行裁剪,以去除边绦的非物体投影等干扰信息。见图4。
口【】E
囤4藏处理之后秤捌曲二值他的圉雄
(对一十球律进行扫描)
2)轮群提取以及层次分割部分。
依次对每幅冒像进行扫描.
每幅图像从下至上对
各行进行扫描。由上可知物体的投影在经过二值化后
的图像上应是一黑色区
域,从每一行来看即是一条黑
色线段,我们所娶做的即是将这些黑色线段找出并存
储.以便还原
物体的三维信息。在扫描过程中,每当遇
到一条黑色线段.即将其端点坐标进行存储。最后将
所
有线段存错在一十数组中。
(1)数据存储结构稚索引结构(见圈5):
摄像头栗寨到的印是特
捧各角度投影的粘醇瞄息。这
些信息可以用于显示物体的三维形状。
旋转云台是由驱动电机驱动
的,根据外来的脉冲
数量、脉冲宽度以及其它的相失控翩信号决定驱动电
机每次步进对平台的旋
转用厦和方向。具体实现是由
主机(嵌^式系统)将嚣采集的图片数量盈角度信息
(已在主机通
过计算转换成檀应的脉冲数)通过串口发
送给控制电机旋转的单片机(AT89C52)。单片机根据<
br>得到的信息通过引辨发送脉冲控制电机旋转的角度和
趺散.井在每次成功输出脉冲后,发送完成信
息反馈给
主机.阻使主机通过摄像头将采集刊的图悔信息存储
成8Ⅶ,位图文件,步进驱动电机
通过串口驱动云台.
拉制其旋转角度和方向。通过以上控制和采集系统,
最后得到—定效量不同
角度的蜘体的二维图像信息,
这些BMP位图文件存储在主机特定的目录下。
5.3嵌入式系统
工作都分
幕统采用嵌人式微处理器作为腰像采集与控制、
图像魁理与匿像显示的主要部分.作为
整个三维照相
一D哪//嘶的歙据镕#.存储一备%班,日“节☆存*±
目
l¨舶n,
md;/嘲&∞自^横g#与终点横±标
int一.佣目∞T一十鲤&在0a∞数目十∞&t
s
mnⅨ【皇I
rldex//l、ta的敢据结构存*一*蠛日,日“t*#
储§问
q
始中∞T《
Inf吲.1蓥t;I催自目一B∞镕一&&自^目一§&R&肪.
计算机技术j&&
第18卷
鹾
口]王旦|曰::嚣篆苎鬣;关怒嚣麓i
●j吨
∞
示图像的轮廓、光照、深度、纹理等。用户可以通过鼠
标和键盘来对物体进行多角度的观察。
图9为显示结
I二[丁二[丁二Ⅲ*举Ⅷ(球体自描)。
囤5数据存储站构和索引蛄构
回一幅图像的信息存储在一起.接扫描顺序存储;
同一幅图像中同一层的信息连续存储在一起.按扫描<
br>顺序存储。另建一个索引散组,分别指向各层中在笫
一幅图像和最后一幅图像的同一位置的线段。
为简化
索引过程.各线段信息存储时用指针指向丁该层线段
在下一幅图像中的位置。
(
2)线段提取算法。
按行扫描线段,考虑到拍照即预处理过程中造成
的线段分裂或噪声点,当扫
描到线段后并不急于存储,
而是先缓存.若发现回一行中的新线段,则比较两线段
闻的距离.若
距离很短.则认为其间形成了裂缝,将其
台并成一条线段。另一方面.添加线段时若该线段很
短
.则认为是噪声点.将其舍弃。为还原图像信息,还
需要确定各行的中轴坐标。
(3)层次分割
算法。
依次还厚图像每一层(邵一幅图像的一行)的信
息,依次将得到的同一层的各图像中的线
段根据其中
轴坐标和谈图像的拍照角度投影到平面上进行切割。
最终切出的形杭即为该屉的形状
.可以想象该层为一
多边形,将该多边形的各端点在平面上的坐标保存在
特定的文件中用于三堆
显示。见图6。
3)层次分割算法的演示。
如图7所示。假设某一层为一圆.易知从角度采集<
br>的投影均为等长的线段,下图为根据从四个角度(0.
90.180,270)对其投影采集到的
线段进行恢复的过程,
呆寨的角度越多,切割将越细致,恢复的信息也越精
确,这类似于割圆术
求圆局率的过程。当采集的角度
足够多时,恢复的轮廓可以近似看作一个圆。
53
3显
示部分。
显示部分是在已经得到的经过三维重构之后的数
据的基础上进行的数据表征。三维重构
的程序已将得
到的数据按层数,每层点数.每层的z坐标.x坐标,Y
坐标存储在an文件中。
如图8所示,即为得到的三
维重构的数据。
从已经得到删文件中读取数据.导^到程序中
等待处理。读取数据文件的函教为b啪().如FILE
+ptr;ptr=fcgm(“\\mua
d.bait锄t”,‘,);
显示部分主要通对MFC环境下的O伴nGL来宴
困6层次分割
算*框图
目7切割横截自的原理
6结论
从!维照相的结果来看,经过图像采集、去噪、
二
维重构而获得物体的空问坐标信息,本系统三维照相
邓维科等:基f嵌^式系
统的j维照相机
:掰z・
17.Ip'90
§}耜§;糕?镕z
znm
k
和凹凸)等的判断,来头定物体三维鼓据.以及显示信
息。另一方面.虽然动态重构成本目
前还比较高.但并
非不可室现,在实现静志重构的基础上,数据采集部分
满足要求.目口可实现
如果集北京天安门等大型建筑物
的三维显示.这将对建筑学、考古学、生物学、工业等领
域的发
展产生巨大的推动作用,具有重』=意义。因此.
我们的目标是在静态重构的基础上,完成动态重构的<
br>Y∞m
圉8
dn文件教据举倒
最终实现。
’考文峨
【1]K∞
}衅N,nmdiik
S,P4
rc∞ddS
adlⅫ岫妇m
L州一A咄a卜
m∞o“m【c]//
帆(CVeR)smD嘞,岛临刑a:【s
【2J
T,vdid
e&咖∞伽n
n】,2005
衄已T出dn饥&“驯宙v啪nⅡdnn哪鼬。o鲫.
A
k岫l
E
errtm—c∞cd—ln4睥【口D。ART,2000
口』wANGw
自.LI}k
h
蹈9球体扫描显{实例
实现了无需人为采集、无需手动变焦、无需Pc
机宴}理
的三维全息照相.能够在完整地展示物体的三维信息。
但实验结果的视觉效果还无法满
足要求,姐忽略了颜
色和光照背景信息等等。三雉照相成本高、算法复杂、
对系坑要求严格,园
此三维照相的实现具有相当太的
难度t但三维照相机的戚像技术与时代意义是二维成
像技术所望
尘莫及的.它在航空航天、电子科技、生物、
化学、考古等各领域学术界与应用界的广泛应用证明
m胁l崎&—:Ah嗍R懒Ⅵm
3D—…b啪d∞did
J・&嚣一E,n
ar口哪
研≈4[J]±梅ⅢI★{#m,2005(5):l一2
d
B啦rir吼bmⅥ
[4
]Wint啊N・(hpar
5Ilal—b鲥Na哪a咖with∞cbmHm¥∞l“c口一[z]
2005
【5】***{f女*&¥%!¥*#§统∞研究[D]t&:
4中#拄大学
,2008
[6】洪艳伟,鞋蚺ifⅪE∞嵌^式车藏幕统宴Ⅸ【J】m
计算n信息,20e7
(10)48—5l
[7]何慧应,i^自,口肆.《if髓∞《女E&※#*
仪∞*&;&月
[J]机束;&E.2006{6):11
13
IS]高建目唧越L日形粪库的发月&№较【J
]#技贤m.
了它巨大的发展潜力。2㈣(3);41—42
本系统不足之处在于对特殊点的处
理,即由图像
[9】镕*・自i月ti^宇M=维目片l构口单连aj摊实
采集误差产生的图像
凹凸、图像圆孔、边缭相连的处理
采取了完善的算法来处理,在程序中通过对现实环境
如光照强
度(采用不同的二值化阈值),物体轮廓(圆孔
(±接第4i)
雄∞斑《算制刀*虹太≠≠m:
1≠膜,2。”f5):”一
[m]森i章.¥女#3D女#A##¥镕w[J】十m★}半#
*8.1994(4):53_%
5)人性化功能。
模块化的设计思想使得xer璐的功能扩展
更加方
便。针对家庭网络应用中以电影、音乐等媒体数据的
[3]A吣T,Dh啪n
P
,a舯女∞女一B抽。日咖d
x目
【4】№d—k‰“Ar【d
vi^m‰口[∥OL]2005一tll
掉为中心,强化了存储子系统井将其升级为家用
载高级搜索功能。
参考女簟:
NA鱼媒体中心能支持多种文件格式,还可提供耵下
http:,h—x—
…4№/m-
ⅧⅫ
m
2007.19
C23):"%一555B
—2
4
203
muabEⅢ[J]【ⅫR一“一.2∞S(S)109
1ll
f5
]#*≮,*斯口.※№目x∞&mnH*【J]幕坑仿^}
[6】黄§目x∞虚扭化接¥*#【J1¨
#mm.2007(57)23
[1]^nIntl叫∞【…”mt血∞n
2066
h
mdtEa/OL]2004—02
h“p:,^一k赋IIflr瞄凸啪^Lmk…,vI“【_ab
at枷,
f21自{Ⅲ寡E日镕&其*口拄}*R[D】&≈:日…女{.
【7]En刚《x…
thInd
Rv仉u日l…1础u岫[J]【n
dhh∞JⅢ“,2『】c)6.Id(3):
193
[8]x∞s㈨晰l|】c
x∞3
12
hm/yKt5…∞∞rrv'
h/d0口/L阳叫
Ou蚶rr衄∞111埘EB/OL]2肿5—
基于嵌入式
系统的三维照相机
作者:
作者单位:
邓维科, 余先川, 王瑜,
赵岩
北京师范大学 信息科学与技术学院,北京 100875
本文读者也读过(6条)
1.
李合朋.郑建.任继鹏
Agfa
LR5200型激光照相机的安装、使用与维修[会议论文]-2004
2.
王欣欣.彭亦功.陆中成
嵌入式系统及其应用[会议论文]-2008
3.
任雪畅.刘守.张向苏
彩虹全息照相机的初步研究[会议论文]-2000
4.
姜晓芳.郭根生
浅析数码相机的聚焦模式[期刊论文]-照相机2008(12)
5.
王科俊.黄易.张荣沂.李铭
基于Qt的三维重建平台的设计与实现[会议论文]-2005
6.
王建国.杨德明.陶景梅.WANG Jing-mei
基于GIS及聚类分析
法的抚顺地区地质灾
害综合评价[期刊论文]-世界地质2011,30(2)
本文链接:http:erence_