中心議題：

• 虛擬觸摸屏係統概述
• 虛擬觸摸屏係統的實現方案

解決方案：

• 虛擬觸摸屏初始定位
• 虛擬觸摸屏手指識別
• 虛擬觸摸屏手指定位
• 虛擬觸摸屏點擊判定

1 引言

觸摸屏是繼鍵盤、shubiaozhihouzuiweipubianjieshoudeshurufangshi
，tafangbianlerenmenduijisuanjidecaozuo，yonghuzhiyaoyongshouzhiqingqingdichupengjisuanjixianshipingshangdetufuhuowenzijiunengshixianduizhujicaozuo，congershirenjijiaohugengweizhijieledang，feichangshiheduomeitixinxizhaxun
，shiyizhongjiyoufazhanqiantudejiaohushishurushebei。muqian，putongchumopingzhuyaoyouhongwaixianshi
、電阻式、表麵聲波式、電容式等類型，然而這些類型的大屏幕尤其是超大屏幕觸摸屏產品，均存在價格昂貴
、通用性差、穩定性差、準(zhun)確(que)性(xing)差(cha)的(de)問(wen)題(ti)。現(xian)在(zai)實(shi)現(xian)了(le)一(yi)種(zhong)基(ji)於(yu)攝(she)像(xiang)頭(tou)的(de)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)係(xi)統(tong)
，改(gai)變(bian)了(le)傳(chuan)統(tong)的(de)觸(chu)摸(mo)屏(ping)的(de)實(shi)現(xian)技(ji)術(shu)
，它(ta)由(you)多(duo)個(ge)攝(she)像(xiang)頭(tou)拍(pai)攝(she)手(shou)指(zhi)在(zai)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)上(shang)的(de)移(yi)動(dong)和(he)點(dian)擊(ji)操(cao)作(zuo)
，從(cong)拍(pai)攝(she)的(de)圖(tu)像(xiang)中(zhong)將(jiang)人(ren)手(shou)區(qu)域(yu)分(fen)割(ge)出(chu)來(lai)
，進(jin)而(er)提(ti)取(qu)手(shou)指(zhi)的(de)邊(bian)緣(yuan)輪(lun)廓(kuo)，將(jiang)手(shou)指(zhi)輪(lun)廓(kuo)的(de)B 樣條曲線的第4 gekongzhidiandingyiweishouzhiweizhi，youerweizuobiaosheyingbianhuangongshizhuanhuanjinerhuodeshouzhizaixianshipingmushangdeweizhizuobiao。zheyijishufanganbenzhishiyongduogeshexiangtoujiangshouzhijichumopingdesanweituxiangzhuanhuanchengduogeerweituxiang，jinercongzhexieerweituxiangzhongshibiechushouzhijishouzhideyidong
、點擊等動作。因yin為wei拍pai攝she的de圖tu像xiang必bi須xu包bao含han顯xian示shi屏ping幕mu
，所suo以yi攝she像xiang頭tou必bi須xu放fang置zhi在zai顯xian示shi屏ping幕mu的de前qian方fang，對dui於yu大da屏ping幕mu觸chu摸mo屏ping必bi然ran存cun在zai人ren體ti遮zhe擋dang無wu法fa識shi別bie手shou指zhi的de問wen題ti。該gai文wen設she計ji的de虛xu擬ni觸chu摸mo屏ping係xi統tong由you一yi維wei圖tu像xiang采cai集ji裝zhuang置zhi采cai集ji手shou指zhi在zai虛xu擬ni觸chu摸mo屏ping上shang的de一yi維wei數shu據ju，由you多duo個ge一yi維wei數shu據ju識shi別bie手shou指zhi在zai二er維wei虛xu擬ni觸chu摸mo屏ping上shang的de位wei置zhi坐zuo標biao，從cong而er完wan成cheng人ren機ji交jiao互hu。

2 係統概述

虛擬觸摸屏係統由至少兩個一維圖像采集裝置、顯(xian)示(shi)屏(ping)和(he)數(shu)據(ju)處(chu)理(li)裝(zhuang)置(zhi)組(zu)成(cheng)。一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)設(she)置(zhi)在(zai)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)的(de)四(si)周(zhou)，每(mei)個(ge)一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)獲(huo)取(qu)的(de)一(yi)維(wei)圖(tu)像(xiang)所(suo)在(zai)麵(mian)與(yu)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)處(chu)於(yu)同(tong)一(yi)平(ping)麵(mian)；虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)與(yu)顯(xian)示(shi)屏(ping)幕(mu)的(de)形(xing)狀(zhuang)和(he)尺(chi)寸(cun)完(wan)全(quan)相(xiang)同(tong)，虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)與(yu)顯(xian)示(shi)屏(ping)幕(mu)處(chu)在(zai)同(tong)一(yi)平(ping)麵(mian)內(nei)


，或(huo)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)處(chu)於(yu)顯(xian)示(shi)屏(ping)幕(mu)的(de)正(zheng)前(qian)方(fang)且(qie)平(ping)行(xing)於(yu)顯(xian)示(shi)屏(ping)幕(mu)；duogeyiweituxiangcaijizhuangzhijiangshouzhizaixunichumopingshangdeweizhihedianjidongzuozhuanhuanchengduogeyiweituxiangzhongdedianjidiandeyouwu，shujuchulizhuangzhigenjuyiweituxiangzhongdiandexinxishibieshouzhizaixunichumopingzhongdeliangweizhijiaozuobiao，bingzhixingxiangyingdecaozuo
，wanchengrenjijiaohugongneng。tajiegoujiandan，shixianfangbian，zaojiadilian，jiejueleshiyongtuxiangjishushixiandeputongchumopingcunzaiderentizhedangshouzhidewenti
，tebieshiyongyudapingmuchumoxitong。yiweituxiangcaijizhuangzhicaiyongyiweixianxing傳感器，配合設置鏡頭、信號轉換和接口電路實現；或采用兩維圖像采集裝置攝像頭，以攝像頭采集到的兩維圖像中的一行或一列的圖像數據作為所需的一維圖像數據。

係統結構如圖1所示。

[page]

與已有技術相比
，該設計的優點體現在：
（1）圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)設(she)置(zhi)在(zai)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)的(de)四(si)周(zhou)，其(qi)拍(pai)攝(she)方(fang)向(xiang)與(yu)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)行(xing)，從(cong)根(gen)本(ben)上(shang)解(jie)決(jue)了(le)人(ren)體(ti)遮(zhe)擋(dang)引(yin)起(qi)手(shou)指(zhi)無(wu)法(fa)識(shi)別(bie)的(de)問(wen)題(ti)
，尤(you)其(qi)是(shi)因(yin)其(qi)避(bi)免(mian)了(le)人(ren)體(ti)遮(zhe)擋(dang)的(de)問(wen)題(ti)

，因(yin)而(er)可(ke)以(yi)擴(kuo)展(zhan)到(dao)投(tou)影(ying)屏(ping)幕(mu)
、普通牆麵等任何大屏幕，通用性好。
（2）隻需進行一維圖像數據的處理，相比於二維圖像的數據處理，其過程大為簡化、算法簡單。
（3）采用一維線性傳感器
，配合設置鏡頭、信號轉換和接口電路，其配置簡單，價格便宜。
（4）也可以采用兩維圖像采集裝置攝像頭
，以兩維圖像中的一行或一列的圖像數據作為所需的一維圖像數據，易於實施。
（5）yibanqingkuangxiazhiyaoshiyonglianggetuxiangcaijizhuangzhi。shiyonglianggeyishangtuxiangcaijizhuangzhikeyijianxiaotuxiangcaijizhuangzhiyuxianshipingzhijiandejuli，duiyujiaodapingmulaishuo，keyishizhenggexitonggengjiajincou。

3 實現原理

youyushexiangtoujiagebianyi
，yiyuhuode，yushijiangxitongjiegoutuzhongdeyiweituxiangcaijizhuangzhiyoushexiangtoulaitidai，youqipaishedeerweituxiangzhongdeyiweituxiangshujulaishibieerweixianshipingmushangdeweizhizuobiao。youyushexiangtoujingpianyuxunichumopingchuizhi
，dangyonghujinxingshouzhichumocaozuoshi，shouzhideyundongpingmianyuxunichumopingpingxing，yincishouzhizaixunichumopingshangdeyundongguijiyizhixianshizaishexiangtousuopaishetuxiangdemoutiaoquedingzhixianshang。shouzhizaierweixianshipingmupingmianshangdeyundong，zhuanhuanweishouzhidianzaishexiangtoupaishedeliangfutuxiangdemoutiaoquedingzhixianshangdeyidong。zuoyoushexiangtoupaishedeliangfutuxiangzhongzhixianshangdedianheerweixianshipingpingmianzhongdemoudiancunzaiyiyiduiyingdeguanxi。rutu3suoshi
，wentijizhuanhuanweigenjuliangfutuxiangzhongshouzhiyidongzhixianshangdediandeweizhilaiweiyiquedingyonghushouzhichumodeerweipingmianshangdedianzuobiao。qishizhiweiyoulianggeyiweizuobiaodianheyixiechushijiaoduzhilaiweiyiquedingerweipingmianneideyidianzuobiao。

[page]

下麵以左邊攝像頭為例說明轉換過程，右邊攝像頭類似。

假設虛擬觸摸屏是如圖4所示的矩形區域
，以左下角為原點
，建立二維坐標平麵x、y。左邊攝像頭c1位於虛擬觸摸屏左上角某處

，其視角範圍應包含整個矩陣區域，將c1與矩形的4個頂點連接構成攝像頭拍攝各點的光線方向
，以經過左下角和右上角頂點的光線方向為腰
，c1為頂點作一個等腰三角形
，底為虛線所示的（u1
，u2）。dangshouzhizaijuxingquyuneirenyiyidianchumoshi，qizaishexiangtousuopaishedetuxiangzhongjunbiaoxianweixuxianshangdeyidian，shouzhizaierweixunichumopingshangdeyidongtouyingdaotuxiangshangbuhuichaoguozhetiaoxuxian（u1，u2）範圍，這是算法關注的興趣區域
，區域以外的部分不需要處理。因此以u1為原點沿著虛線方向建立一維坐標x1，右邊攝像頭拍攝圖像中的一維坐標x2類似設立。

具體實施中，為準確識別手指位置，將虛擬觸摸屏劃分為n×n 的棋盤格
，如圖5 所suo示shi，由you於yu攝she像xiang頭tou離li棋qi盤pan格ge距ju離li較jiao遠yuan，且qie每mei個ge棋qi盤pan格ge足zu夠gou小xiao，於yu是shi可ke以yi假jia設she在zai棋qi盤pan格ge內nei，攝she像xiang頭tou拍pai攝she的de光guang線xian是shi平ping行xing的de，以yi簡jian化hua點dian位wei置zhi的de轉zhuan換huan。

該設計數據處理裝置綜合應用的識別算法包括：初始定位算法

、手指識別算法、手指定位算法、點擊判定算法等。

3.1 初始定位
初始定位時，用戶在虛擬觸摸屏n×n deqipangedemeigedingdianshangjunchumoyici，yiquedingmeigeqipangezaishexiangtoupaishetuxiangyiweizuobiaoshangdeweizhifanwei，jijianlimeigeqipangebianhaojiqitouyingdeqishiweizhihezhongzhiweizhizuobiaodeduizhaobiao。liru：（i，x11，x12，x21，x22）記錄的是第i個棋盤格在x1坐標軸上的起始位置為x11，終點位置為x12，在x2坐標軸上的起始位置為x21，終點位置為x22。

[page]

同時初始設置時可以根據虛擬觸摸屏的長寬和每個棋盤格在圖像上的投影確定攝像頭拍攝的每個棋盤格平行光的斜率。放大圖5 中的棋盤格s


，得到圖6。假設攝像頭c1以斜率k平行拍攝由頂點v1、v2、v3、v4組成的棋盤格s，其邊（v4

，v3）的長度為a，在圖像平麵上的投影（v3，v5）的長度為a′
，其邊（v1
，v4）的長度為b，在圖像平麵的投影（v1，v5）的長度為b′。已知虛擬觸摸屏的長寬，每個棋盤格的長a 和寬b 分別為其1/n
，a′、b′可從拍攝的圖像上獲得，於是從攝像頭拍攝該棋盤格的平行光的斜率k 可由下式獲得：

將每個棋盤格的平行光的斜率構造一張斜率表，例如：（i，k）表示攝像頭拍攝第i 個棋盤格的平行光的斜率。

lingwai，chushishezhishikeyiquedingshouzhichumotouyingdaotuxiangshangdezhixiandeweizhi。ruguozaigaizhixianshangshibiechushouzhi，zerenweiyonghujinxinglechumocaozuo。gaizhixianshijishangjiushiyiweituxiangcaijizhuangzhixuyaocaijideyiweishuju。suiranshiyongerweituxiangcaijizhuangzhishexiangtoulaipaisheerweituxiang，danzhishiyongqizhongdeyiweituxiangshuju

，jizhetiaozhixianshangdetuxiangshuju。

3.2 手指識別
xuyaozaichushidingweishiquedingdetuxiangdezhixianshangjinxingshouzhishibie，pandingyonghushifoujinxingledianjicaozuo，yincishibiechushouzhizaiyiweizuobiaoshangdeweizhi，shishouzhidingweideqiantihejichu。anzhaorenshoujiancedefangfahuoderenshouquyujiqishouzhideculveweizhi。jiangqiyuzhixianxiangjiao，dedaodedianjiweiyiweizuobiaodian。

3.3 手指定位
genjulianggeshexiangtoutongshipaishedetuxiangzhixianshangdeliangdian
，fenbiejianlixunichumopingpingmianneideliangtiaozhixianfangcheng

，erzhexiangjiaodedianjiweixunichumopingpingmianshangdedian。dangmoudianshuyuruogangeqipangeshi，xujinxingteshuchuli
，jisuanchudianzuobiao，jianzhaqishifouzaigaiqipangenei，ruoshi
，zedechudianzuobiao；否則，保留直線方程
，選擇一個離棋盤格中心點距離最近的點作為點坐標。直線方程y=k·x+b （2）其中，k 表示斜率

，b 表示截距。

具體方法如下：首先根據兩幅圖像中手指點的一維坐標來確定觸摸的二維平麵的棋盤格範圍。查坐標對照表，如果該點既在x1軸上第i 個棋盤格的範圍內，又在x2軸上第i 個棋盤格的範圍內，則該點屬於第i 個棋盤格。

確定棋盤格後，查斜率表可獲得直線方程的斜率k
，接下來需要求出截距b。如圖7 所示，當用戶在某點觸摸時，表現為圖像中直線上的某點v′
，它是由虛擬觸摸屏平麵內過棋盤格內對角線上的點v
、斜率為k 的直線上的任意一點產生的，其中點v 是由v′作攝像頭拍攝光的平行線與棋盤格的對角線的交點。
由於，
根據v1的坐標和下式：

可求出v 點的二維坐標，於是以斜率k、點v 的坐標代入直線方程y=k·x+b 求出截距b於是

，圖像中的任意一點v′，實際上是手指在直線方程為y=k·x+b 的直線上的運動產生的。其中k 是該棋盤格內平行光的斜率，b 是通過v 點直線方程的截距。

同(tong)時(shi)在(zai)右(you)邊(bian)攝(she)像(xiang)頭(tou)拍(pai)攝(she)的(de)圖(tu)像(xiang)中(zhong)的(de)對(dui)應(ying)點(dian)可(ke)以(yi)獲(huo)得(de)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)麵(mian)內(nei)的(de)另(ling)外(wai)一(yi)條(tiao)直(zhi)線(xian)
，兩(liang)條(tiao)直(zhi)線(xian)相(xiang)交(jiao)，即(ji)可(ke)根(gen)據(ju)兩(liang)幅(fu)圖(tu)像(xiang)中(zhong)的(de)點(dian)坐(zuo)標(biao)求(qiu)得(de)手(shou)指(zhi)觸(chu)摸(mo)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)麵(mian)上(shang)的(de)點(dian)坐(zuo)標(biao)。

3.4 點擊判定
dianjipandingsuanfagenjubutongshijiandeshouzhiweizhijianceshifouchanshengdianjicaozuo。ruguozaichushidingweishishezhidezhixianweizhishangyidingshijianneishibiedaoshouzhideyouwu，zebiaomingjinxingledianjicaozuo。

4 結語

設she計ji了le一yi種zhong虛xu擬ni觸chu摸mo屏ping係xi統tong
，其qi特te色se在zai於yu由you圖tu像xiang采cai集ji裝zhuang置zhi獲huo取qu的de一yi維wei圖tu像xiang數shu據ju來lai確que立li用yong戶hu手shou指zhi觸chu摸mo二er維wei虛xu擬ni觸chu摸mo屏ping上shang的de位wei置zhi坐zuo標biao。前qian提ti是shi一yi維wei圖tu像xiang采cai集ji裝zhuang置zhi的de安an裝zhuang位wei置zhi，它ta從cong根gen本ben上shang解jie決jue了le大da屏ping幕mu觸chu摸mo屏ping中zhong人ren體ti遮zhe擋dang手shou指zhi無wu法fa識shi別bie的de問wen題ti，且qie其qi進jin行xing的de是shi一yi維wei數shu據ju的de處chu理li，相xiang比bi於yu二er維wei圖tu像xiang處chu理li算suan法fa更geng加jia簡jian單dan。