Movatterモバイル変換


[0]ホーム

URL:


TWI424376B - 影像處理方法及其系統 - Google Patents

影像處理方法及其系統
Download PDF

Info

Publication number
TWI424376B
TWI424376BTW099128473ATW99128473ATWI424376BTW I424376 BTWI424376 BTW I424376BTW 099128473 ATW099128473 ATW 099128473ATW 99128473 ATW99128473 ATW 99128473ATW I424376 BTWI424376 BTW I424376B
Authority
TW
Taiwan
Prior art keywords
image
feature points
image processing
regions
processing method
Prior art date
Application number
TW099128473A
Other languages
English (en)
Other versions
TW201209758A (en
Inventor
yi chun Wang
Chih Chi Chang
Guo Zua Wu
Oscal Tzyh Chiang Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res InstfiledCriticalInd Tech Res Inst
Priority to TW099128473ApriorityCriticalpatent/TWI424376B/zh
Priority to US12/964,022prioritypatent/US8553986B2/en
Publication of TW201209758ApublicationCriticalpatent/TW201209758A/zh
Application grantedgrantedCritical
Publication of TWI424376BpublicationCriticalpatent/TWI424376B/zh

Links

Classifications

Landscapes

Description

影像處理方法及其系統
本申請案是有關於一種影像處理方法及系統,且特別是有關於一種進行影像配對程序之影像處理方法及其系統。
隨著影像科技的進步,我們除了可以保存影像留下美好回憶以外,更可針對影像進行各種特殊處理,以呈現不同的效果。例如我們可以利用左眼影像及右眼影像來建立出立體影像。或者利用各種不同角度的影像,可以連接成環景影像。
然而,在影像處理方法中,必須考量到所選取的特徵點以及演算方式。一般而言,特徵點的代表性越高,越能夠增加影像處理的精準度。而演算方式也會影響到影像處理的速度。因此,業界無不致力搜尋更具代表性的特徵點以及更快的演算方式,以增加影像處理的精準度與速度。
本申請案係有關於一種影像處理方法及其系統,其利用區域極大值或極小值作為特徵點,並進行影像的配對。
根據本申請案之第一方面,提出一種影像處理方法。影像處理方法包括以下步驟。提供一第一影像及一第二影像。第一影像具有數個第一區域。各個第一區域具有一第一特徵點。在各個第一區域中,各個第一特徵點具有極大或極小之灰階值。第二影像具有數個第二區域。各個第二區域具有一第二特徵點。在各個第二區域中,各個第二特徵點具有極大或極小之灰階值。建立此些第一特徵點之間的一第一相對關係及此些第二特徵點之間的一第二相對關係。依據第一相對關係及第二相對關係,以一微處理器(microprocessor)配對此些第一特徵點及此些第二特徵點。
根據本申請案之一第二方面,提出一種影像處理系統。影像處理系統包括一影像提供單元、一資訊建立單元及一配對單元。影像提供單元係提供一第一影像及一第二影像。第一影像具有數個第一區域。各個第一區域具有一第一特徵點。在各個第一區域中,各個第一特徵點具有極大或極小之灰階值。第二影像具有數個第二區域,各個第二區域具有一第二特徵點。在各個第二區域中,各個第二特徵點具有極大或極小之灰階值。資訊建立單元用以建立此些第一特徵點之間的一第一相對關係及此些第二特徵點之間的一第二相對關係。配對單元係依據第一相對關係及第二相對關係,配對此些第一特徵點及此些第二特徵點。
為了對本申請案之上述及其他方面有更佳的瞭解,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:
請參照第1圖,其繪示本實施例之影像處理系統100之方塊圖。本實施例之影像處理系統100例如是一電腦、一伺服器或由各種不同電子裝置所組成之集合式系統。影像處理系統100包括一影像提供單元110、一資訊建立單元120、一配對單元130及一篩選單元140。影像提供單元110係提供各種影像,例如是一照相機、一攝影機、儲存數張影像之一儲存裝置或連結一儲存裝置之傳輸線。資訊建立單元120用以進一步建立影像之各種相關資訊。配對單元130則利用所建立之各種相關資訊來對影像的像素進行配對。篩選單元140則用以篩選掉無法進行配對之像素。其中,上述資訊建立單元120、配對單元130及篩選單元140例如是一微處理器(microprocessor)、一韌體電路或儲存數組程式碼之電腦可讀取媒體。
在本實施例中,影像提供單元110提供一第一影像I1及一第二影像I2。透過上述資訊建立單元120、配對單元130及篩選單元140的運算後,即可建立出第一影像I1及第二影像I2之配對關係。若第一影像I1及第二影像I2分別為不同視角的左眼影像及右眼影像,則透過所建立出配對關係可以進行立體影像之重建。或者,若第一影像I1及第二影像I2為時間上連續之兩張影像,則透過所建立之配對關係可以進行移動向量的估算,以進行動態影像的重建。
請參照第2圖,其繪示本實施例影像處理方法之流程圖。以下係以上述影像處理系統100搭配一流程圖詳細說明本實施例之影像處理方法。然而,本申請案所屬技術領域中具有通常知識者均可瞭解上述影像處理系統100並非侷限於此流程圖之應用,並且此流程圖也並非侷限應用於此影像處理系統100以及此步驟順序。
首先,在步驟S101中,影像提供單元110提供第一影像及第二影像。以第3圖為例,其繪示第一影像I1及第二影像I2之示意圖,第一影像I1具有數個第一區域(例如是A11、A12、A13),每個第一區域(例如是A11、A12、A13)具有一個第一特徵點(例如是P11、P12、P13)。在各個第一區域(例如是A11)中,各個第一特徵點(例如是P11)具有極大或極小之灰階值(第3圖係以極大之灰階值為例作說明)。同樣地,第二影像I2具有數個第二區域(例如是A21、A22、A23),各個第二區域(例如是A21、A22、A23)具有一個第二特徵點(例如是P21、P22、P23)。。在各個第二區域(例如是A21)中,各個第二特徵點(例如是P21)具有極大或極小之灰階值(第3圖係以極大之灰階值為例作說明)。
第一影像I1及第二影像I2係由數行與數列的像素所組成,本實施例之第一區域(例如是A11、A12、A13)及第二區域(例如是A21、A22、A23)係為其中幾行與幾列像素所組成之矩形區域。在另一實施例中,第一區域及第二區域可以為單一行所組成之長條區域或單一列所組成之長條區域。
接著,在步驟S102中,資訊建立單元120建立各個第一特徵點之第一環狀標記。以第3圖及第4A~4B圖為例,第4A~4B圖繪示第一環狀標記C11及第二環狀標記C12之示意圖,各個第一環狀標記(例如是C11)紀錄各個第一特徵點(例如是P11)與其最為鄰近之N個(例如是3個)第一特徵點(例如是P12、P16、P17)之N個第一相對角度(例如是90度、135度、202.5度)。其中,N為大於或等於1之整數。
在第一環狀標記(例如是C11)中,這些鄰近的第一特徵點(例如是P12、P16、P17)並不一定是位於一個圓上。並且第一環狀標記(例如是C11)記錄的是這些第一特徵點(例如是P12、P16、P17)的相對角度,而不是距離。
每一第一特徵點(例如是P11)皆可以建立出一個第一環狀標記(例如是C11),而每一第一特徵點(例如是P11)都有可能被紀錄在其他第一特徵點(例如是P12)的第一環狀標記(例如是C12)內。
然後,在步驟S102中,資訊建立單元120更建立各個第二特徵點之一第二環狀標記。以第3圖及第4C圖為例,第4C圖繪示第二環狀標記C22之示意圖,各個第二環狀標記(例如是C22)紀錄各個第二特徵點(例如是P22)與其鄰近之N個(例如是3個)第二特徵點(例如是P23、P26、P27)之N個第二相對角度。第二環狀標記與第一環狀標記類似,在此不再重複敘述。
在上述步驟S102~S103中,資訊建立單元120建立了此些第一特徵點之間的一第一相對關係(本實施例之第一相對關係為各個第一特徵點的第一環狀標記)及此些第二特徵點之間的一第二相對關係(本實施例之第二相對關係為各個第二特徵點的第二環狀標記)。
接著,在步驟S104中,配對單元130比對各個第一環狀標記之N個第一相對角度與各個第二環狀標記之N個第二相對角度之一吻合數量。以第5圖為例,其繪示第一影像I1及第二影像I2之示意圖。在此步驟中,配對單元130先在第一影像I1中取一個第一特徵點(例如是P11)。在第二影像I2對應於此第一特徵點(例如是P11)之相同座標位置具有一鄰近範圍(例如是R11)。在此鄰近範圍(例如是R11)取出數個第二特徵點(例如是P21、P22、P26、P27)。其中,此些第二特徵點係依據鄰近範圍來選取,並不是依據數量來選取。所以此步驟所選取出的第二特徵點的數量可能為2個、3個甚至更多。然後,請參照第6A~6D圖,其繪示第一環狀標記C11及第二環狀標記C21、C22、C26、C27之示意圖。配對單元130一一對被選取的第一特徵點(例如是P11)之第一環狀標記(例如是C11)及第二特徵點(例如是P21、P22、P26、P27)之第二環狀標記(例如是C21、C22、C26、C27)進行比對,以比對出吻合數量。舉例來說,第一環狀標記C11之相對角度紀錄為「90度、135度、202.5度」,而第二環狀標記C21之相對角度記錄為「90度、135度、135度」,其吻合數量為「2」。
在比對過程中,配對單元130更可旋轉各個第一環狀標記或各個第二環狀標記,以最大化吻合數量。
然後,在步驟S105中,配對單元130配對吻合數量大於M之第一特徵點及第二特徵點。其中,M為大於或等於1之整數。以M為1為例,上述第一特徵點P11及第二特徵點P22即可配對。
雖然上述實施例係先在第一影像中取一個第一特徵點,接著在第二影像中取對應處的數個第二特徵點來作比對。在另一實施例中,亦可先在第二影像中取一個第二特徵點,接著在第一影像中取對應處的數個第二特徵點來作比對。或者,在另一實施例中,亦可兩種方式皆予以採用。
根據上述內容,在步驟S104~S105中,配對單元130依據第一相對關係(本實施例之第一相對關係為各個第一特徵點的第一環狀標記)及第二相對關係(本實施例之第二相對關係為各個第二特徵點的第二環狀標記),以一電腦配對了此些第一特徵點及此些第二特徵點。
接著,在步驟S106中,篩選單元140刪除未配對之此些第一特徵點及此些第二特徵點。
然後,在步驟S107中,判斷N是否小於一第一預定數值。若N小於第一預定數值,則進入步驟S108;若N不小於預定數值,則進入步驟S109。在步驟S109中,減少N之數值。也就是說,此流程係以逐漸遞減N之方式重複執行步驟S103~S106,直到N遞減至第一預定數值。
在步驟S108中,判斷M是否大於一第二預定數值。若M大於第二預定數值,則結束本流程;若M不大於第二預定數值,則進入步驟S110。在步驟S110中,增加M之數值。也就是說,此流程係以逐漸遞增M之方式重複執行步驟S103~S106,直到M遞增至第二預定數值。
綜上所述,雖然本申請案已以實施例揭露如上,然其並非用以限定技術範圍。本申請案所屬技術領域中具有通常知識者,在不脫離本申請案之精神和範圍內,當可作各種之更動與潤飾。因此,本申請案之保護範圍當視後附之申請專利範圍所界定者為準。
100...影像處理系統
110...影像提供單元
120...資訊建立單元
130...配對單元
140...篩選單元
A11、A12、A13...第一區域
A21、A22、A23...第二區域
C11、C12...第一環狀標記
C21、C22、C26、C27...第二環狀標記
I1...第一影像
I2...第二影像
S101~S110...流程步驟
P11、P12、P13、P16、P17...第一特徵點
P21、P22、P23、P26、P27...第二特徵點
R11...範圍
第1圖繪示本實施例之影像處理系統之方塊圖。
第2圖繪示本實施例影像處理方法之流程圖。
第3圖繪示第一影像及第二影像之示意圖。
第4A圖繪示一第一環狀標記之示意圖。
第4B圖繪示一第二環狀標記之示意圖。
第4C圖繪示一第二環狀標記之示意圖。
第5圖繪示第一影像及第二影像之示意圖。
第6A~6D圖繪示一第一環狀標記及四第二環狀標記之示意圖。
S101~S110...流程步驟

Claims (18)

  1. 一種影像處理方法,包括:(a)提供一第一影像及一第二影像,該第一影像具有複數個第一區域,各該第一區域具有一第一特徵點,在各該第一區域中,各該第一特徵點具有極大或極小之灰階值,該第二影像具有複數個第二區域,各該第二區域具有一第二特徵點,在各該第二區域中,各該第二特徵點具有極大或極小之灰階值;(b)建立該些第一特徵點之間的一第一相對關係及該些第二特徵點之間的一第二相對關係,其中該步驟(b)包括:(b1)建立各該第一特徵點之一第一環狀標記,各該第一環狀標記紀錄各該第一特徵點與其鄰近之N個第一特徵點之N個第一相對角度,N為大於或等於1之整數;以及(b2)建立各該第二特徵點之一第二環狀標記,各該第二環狀標記紀錄各該第二特徵點與其鄰近之N個第二特徵點之N個第二相對角度;以及(c)依據該第一相對關係及該第二相對關係,以一微處理器(microprocessor)配對該些第一特徵點及該些第二特徵點。
  2. 如申請專利範圍第1項所述之影像處理方法,其中該步驟(c)包括:(c1)比對各該第一環狀標記之N個第一相對角度與各該第二環狀標記之N個第二相對角度之一吻合數量;以及(c2)配對該吻合數量大於M之該第一特徵點及該第二特徵點,M為大於或等於1之整數。
  3. 如申請專利範圍第2項所述之影像處理方法,其中該步驟(c1)更包括旋轉各該第一環狀標記或各該第二環狀標記,以最大化該吻合數量。
  4. 如申請專利範圍第2項所述之影像處理方法,更包括:(d)刪除未配對之該些第一特徵點及該些第二特徵點。
  5. 如申請專利範圍第4項所述之影像處理方法,其中該處理方法係以逐漸遞減N之方式重複執行該步驟(b)、該步驟(c)及該步驟(d)。
  6. 如申請專利範圍第4項所述之影像處理方法,其中該處理方法係以逐漸遞增M之方式重複執行該步驟(b)、該步驟(c)及該步驟(d)。
  7. 如申請專利範圍第1項所述之影像處理方法,其中各該第一區域及各該第二區域係為複數行及複數列所組成之區域。
  8. 如申請專利範圍第1項所述之影像處理方法,其中各該第一區域及各該第二區域係為單一行所組成之區域或單一列所組成之區域。
  9. 如申請專利範圍第1項所述之影像處理方法,其中該第一影像及該第二影像分別為不同視角之一左眼影像及一右眼影像。
  10. 如申請專利範圍第1項所述之影像處理方法,其中該第一影像及第二影像分別為時間上連續之兩張影像。
  11. 一種影像處理系統,包括:一影像提供單元,係提供一第一影像及一第二影像,該第一影像具有複數個第一區域,各該第一區域具有一第一特徵點,在各該第一區域中,各該第一特徵點具有極大或極小之灰階值,該第二影像具有複數個第二區域,各該第二區域具有一第二特徵點,在各該第二區域中,各該第二特徵點具有極大或極小之灰階值;一資訊建立單元,用以建立該些第一特徵點之間的一第一相對關係及該些第二特徵點之間的一第二相對關係,其中該第一相對關係包括各該第一特徵點之一第一環狀標記及各該第二特徵點之一第二環狀標記,各該第一環狀標記紀錄各該第一特徵點與其鄰近之N個第一特徵點之N個第一相對角度,各該第二環狀標記紀錄各該第二特徵點與其鄰近之N個第二特徵點之N個第二相對角度,N為大於或等於1之整數;以及一配對單元,係依據該第一相對關係及該第二相對關係,配對該些第一特徵點及該些第二特徵點。
  12. 如申請專利範圍第11項所述之影像處理系統,其中該配對單元比對各該第一環狀標記之N個第一相對角度與各該第二環狀標記之N個第二相對角度之一吻合數量,並配對該吻合數量大於M之該第一特徵點及該第二特徵點,M為大於或等於1之整數。
  13. 如申請專利範圍第12項所述之影像處理系統,其中該配對單元更旋轉各該第一環狀標記或各該第二環狀標記,以最大化該吻合數量。
  14. 如申請專利範圍第12項所述之影像處理系統,更包括:一篩選單元,用以刪除未配對之該些第一特徵點及該些第二特徵點。
  15. 如申請專利範圍第11項所述之影像處理系統,其中各該第一區域及各該第二區域係為複數行及複數列所組成之區域。
  16. 如申請專利範圍第11項所述之影像處理系統,其中各該第一區域及各該第二區域係為單一行所組成之區域或單一列所組成之區域。
  17. 如申請專利範圍第11項所述之影像處理系統,其中該第一影像及該第二影像分別為不同視角之一左眼影像及一右眼影像。
  18. 如申請專利範圍第11項所述之影像處理系統,其中該第一影像及第二影像分別為時間上連續之兩張影像。
TW099128473A2010-08-252010-08-25影像處理方法及其系統TWI424376B (zh)

Priority Applications (2)

Application NumberPriority DateFiling DateTitle
TW099128473ATWI424376B (zh)2010-08-252010-08-25影像處理方法及其系統
US12/964,022US8553986B2 (en)2010-08-252010-12-09Method for processing image and system processing the same

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
TW099128473ATWI424376B (zh)2010-08-252010-08-25影像處理方法及其系統

Publications (2)

Publication NumberPublication Date
TW201209758A TW201209758A (en)2012-03-01
TWI424376Btrue TWI424376B (zh)2014-01-21

Family

ID=45697357

Family Applications (1)

Application NumberTitlePriority DateFiling Date
TW099128473ATWI424376B (zh)2010-08-252010-08-25影像處理方法及其系統

Country Status (2)

CountryLink
US (1)US8553986B2 (zh)
TW (1)TWI424376B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
WO2012126008A2 (en)*2011-03-172012-09-20New York UniversitySystems, methods and computer-accessible mediums for authentication and verification of physical objects
US10074034B2 (en)2013-06-142018-09-11Intel CorporationImage processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation
JP6541491B2 (ja)2015-07-292019-07-10株式会社Screenホールディングス流下判定方法、流下判定装置および吐出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20080180522A1 (en)*2007-01-302008-07-31Samsung Electronics Co., Ltd.Image processing method and apparatus
US20090002481A1 (en)*2007-06-262009-01-01Samsung Electronics Co., Ltd.Method and apparatus for generating stereoscopic image bitstream using block interleaved method
TW200925653A (en)*2007-12-032009-06-16Au Optronics CorpThree-dimensional display device and fabricating method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US4745562A (en)1985-08-161988-05-17Schlumberger, LimitedSignal processing disparity resolution
US6262737B1 (en)1998-01-302001-07-17University Of Southern California3D mesh compression and coding
US6606406B1 (en)2000-05-042003-08-12Microsoft CorporationSystem and method for progressive stereo matching of digital images
TW594594B (en)2003-05-162004-06-21Ind Tech Res InstA multilevel texture processing method for mapping multiple images onto 3D models
US7272264B2 (en)2003-09-112007-09-18International Business Machines CorporationSystem and method for hole filling in 3D models
TW201017578A (en)2008-10-292010-05-01Chunghwa Picture Tubes LtdMethod for rebuilding 3D surface model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20080180522A1 (en)*2007-01-302008-07-31Samsung Electronics Co., Ltd.Image processing method and apparatus
US20090002481A1 (en)*2007-06-262009-01-01Samsung Electronics Co., Ltd.Method and apparatus for generating stereoscopic image bitstream using block interleaved method
TW200925653A (en)*2007-12-032009-06-16Au Optronics CorpThree-dimensional display device and fabricating method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
4.Pourazad, M.T., " An H.264-based scheme for 2D to 3D video conversion", Consumer Electronics, IEEE Transactions on, Vol. 55, Issue 2, pages 742~748, May 2009*

Also Published As

Publication numberPublication date
TW201209758A (en)2012-03-01
US20120051656A1 (en)2012-03-01
US8553986B2 (en)2013-10-08

Similar Documents

PublicationPublication DateTitle
CN101908231B (zh)处理含有主平面场景的三维点云重建方法和系统
CN101673395B (zh)图像拼接方法及装置
EP3252715A1 (en)Two-camera relative position calculation system, device and apparatus
CN106651767A (zh)一种获取全景图像的方法及装置
CN106846409A (zh)鱼眼相机的标定方法及装置
CA3029590A1 (en)Method and device for performing mapping on spherical panoramic image
CN109829853A (zh)一种无人机航拍图像拼接方法
CN109495733B (zh)三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN112348863A (zh)图像对齐方法、图像对齐装置及终端设备
CN117053707A (zh)三维重建方法、装置和系统、三维扫描方法和三维扫描仪
CN113643328B (zh)标定物的重建方法、装置、电子设备及计算机可读介质
CN113436269B (zh)图像稠密立体匹配方法、装置和计算机设备
TWI424376B (zh)影像處理方法及其系統
WO2025130723A1 (zh)摄影测量方法、装置、设备及存储介质
AU2020294259B2 (en)Object association method, apparatus and system, electronic device, storage medium and computer program
CN107240149A (zh)基于图像处理的物体三维模型构建方法
CN109840885A (zh)图像融合方法及相关产品
CN104392447B (zh)一种基于灰度梯度的图像匹配方法
CN105957005B (zh)基于特征点和结构线的桥梁影像拼接方法
CN115272470A (zh)相机定位方法、装置、计算机设备和存储介质
JP7566930B2 (ja)モバイルカメラを用いたパノラマ生成
CN102903097B (zh)一种图像透视校正方法及装置
CN112785651A (zh)用于确定相对位姿参数的方法和装置
WO2021035703A1 (zh)跟踪方法和可移动平台
CN116188593A (zh)拍摄设备的镜头畸变参数确定方法、装置和计算机设备

Legal Events

DateCodeTitleDescription
MM4AAnnulment or lapse of patent due to non-payment of fees

[8]ページ先頭

©2009-2025 Movatter.jp