拍攝裝置以及圖像處理方法
拍攝裝置以及圖像處理方法
【專利摘要】本發(fā)明提供拍攝裝置以及圖像處理方法，拍攝裝置包含攝像部和圖像處理部。攝像部利用攝像元件拍攝被攝體并輸出拍攝數(shù)據(jù)，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素。圖像處理部利用校正系數(shù)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)。該圖像處理部包含：校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作為校正范圍；校正系數(shù)計(jì)算部，其根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及像素校正部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
【專利說(shuō)明】拍攝裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及將部分像素用作相位差方式的焦點(diǎn)檢測(cè)元件來(lái)檢測(cè)焦點(diǎn)狀態(tài)的、對(duì)攝 像元件的像素輸出進(jìn)行處理的拍攝裝置以及圖像處理方法。
【背景技術(shù)】
[0002] 在例如日本特許第3592147號(hào)公報(bào)中提出了與將攝像元件的部分像素用作焦點(diǎn) 檢測(cè)元件來(lái)檢測(cè)焦點(diǎn)狀態(tài)的拍攝裝置相關(guān)的技術(shù)。日本特許第3592147號(hào)的拍攝裝置將攝 像元件的部分像素設(shè)定為焦點(diǎn)檢測(cè)像素，使通過(guò)了關(guān)于攝影鏡頭的光軸中心對(duì)稱的不同光 瞳區(qū)域的被攝體光束成像于多個(gè)焦點(diǎn)檢測(cè)像素，并檢測(cè)該被攝體光束間的相位差，由此檢 測(cè)出攝影鏡頭的焦點(diǎn)狀態(tài)。
[0003] 焦點(diǎn)檢測(cè)像素的部分區(qū)域被遮光。因此，焦點(diǎn)檢測(cè)像素的像素輸出成為相比通常 的像素被減光的像素輸出。該焦點(diǎn)檢測(cè)像素中的減光量根據(jù)與焦點(diǎn)檢測(cè)像素相關(guān)的光學(xué)特 性而發(fā)生變化是已知的。因此，日本特開2010 - 62640號(hào)公報(bào)的拍攝裝置通過(guò)增益調(diào)整對(duì) 焦點(diǎn)檢測(cè)像素的像素輸出進(jìn)行校正，或者使用焦點(diǎn)檢測(cè)像素的周邊像素的像素輸出對(duì)焦點(diǎn) 檢測(cè)像素的像素輸出進(jìn)行校正。
[0004] 日本特開2010 - 62640號(hào)公報(bào)的拍攝裝置中的增益調(diào)整量根據(jù)焦點(diǎn)檢測(cè)像素中 的光量的降低量進(jìn)行設(shè)定。焦點(diǎn)檢測(cè)像素中的光量降低除了根據(jù)形成于焦點(diǎn)檢測(cè)像素的遮 光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢測(cè)像素的光的角度和像高而 不同。作為用于以沒有這些影響的方式求出增益調(diào)整量來(lái)作為校正系數(shù)的方法，考慮對(duì)焦 點(diǎn)檢測(cè)像素和通常像素的像素輸出進(jìn)行比較的方法。但是，為了用該方法高精度地求出增 益調(diào)整量，期望在焦點(diǎn)檢測(cè)像素與通常像素之間存在相關(guān)。在焦點(diǎn)檢測(cè)像素與通常像素之 間沒有相關(guān)的情況下，有時(shí)無(wú)法準(zhǔn)確地求出校正系數(shù)。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明是鑒于上述情況而完成的，其目在于提供一種在對(duì)來(lái)自具有焦點(diǎn)檢測(cè)像素 的攝像元件的像素輸出進(jìn)行處理的拍攝裝置中，能夠準(zhǔn)確地求出針對(duì)焦點(diǎn)檢測(cè)像素的校正 系數(shù)來(lái)進(jìn)行校正的拍攝裝置以及圖像處理方法。
[0006] 本發(fā)明第1方式的拍攝裝置具備：攝像部，其利用攝像元件拍攝被攝體并輸出拍 攝數(shù)據(jù)，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像 素；以及圖像處理部，其利用校正系數(shù)來(lái)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出 的像素?cái)?shù)據(jù)，所述圖像處理部包含：校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像 的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作為校正范圍；校正系數(shù)計(jì)算部，其 根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及像素校正 部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
[0007] 本發(fā)明第2方式的圖像處理方法利用校正系數(shù)對(duì)通過(guò)攝像元件得到的拍攝數(shù)據(jù) 中的從焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)進(jìn)行校正，所述攝像元件在攝像像素的一部分位置處 配置有用于進(jìn)行焦點(diǎn)檢測(cè)的所述焦點(diǎn)檢測(cè)像素，在所述圖像處理方法中，具備以下步驟：根 據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作 為校正范圍；根據(jù)從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)計(jì)算所述校正系 數(shù)；以及根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
【專利附圖】
【附圖說(shuō)明】
[0008] 圖1是示出作為本發(fā)明一個(gè)實(shí)施方式的拍攝裝置的一例的數(shù)字照相機(jī)的結(jié)構(gòu)的 框圖。
[0009] 圖2是示出了攝像元件的像素排列例的圖。
[0010] 圖3是示出圖像處理部的詳細(xì)結(jié)構(gòu)的圖。
[0011] 圖4是示出靜態(tài)圖像拍攝動(dòng)作的處理的流程圖。
[0012] 圖5是用于說(shuō)明校正范圍的圖。
[0013] 圖6A是用于說(shuō)明校正系數(shù)的計(jì)算方法例的第一圖。
[0014] 圖6B是用于說(shuō)明校正系數(shù)的計(jì)算方法例的第二圖。
[0015] 圖7是示出動(dòng)態(tài)圖像拍攝動(dòng)作的處理的流程圖。
[0016] 圖8是示出了光學(xué)條件隨時(shí)間發(fā)生變化的情況下的校正范圍的調(diào)整例的圖。
【具體實(shí)施方式】
[0017] 以下，參照【專利附圖】
].gif)
【附圖說(shuō)明】本發(fā)明的實(shí)施方式。
[0018] 圖1是示出作為本發(fā)明一個(gè)實(shí)施方式的拍攝裝置的一例的數(shù)字照相機(jī)（以下簡(jiǎn)稱 作照相機(jī)）的結(jié)構(gòu)的框圖。在圖1中，帶箭頭的實(shí)線表示數(shù)據(jù)流，帶箭頭的虛線表示控制信 號(hào)流。此外，對(duì)于圖1的照相機(jī)，例示了鏡頭更換式的照相機(jī)。但是，本實(shí)施方式的照相機(jī) 并非必須是鏡頭更換式的照相機(jī)。
[0019] 圖1所示的照相機(jī)1具有更換式鏡頭100和照相機(jī)主體200。更換式鏡頭100構(gòu) 成為可在照相機(jī)主體200上自由拆裝。更換式鏡頭100通過(guò)被安裝到照相機(jī)主體200,依照 照相機(jī)主體200的控制進(jìn)行動(dòng)作。
[0020] 更換式鏡頭100具有攝影鏡頭101、光圈103、驅(qū)動(dòng)部105、CPU (Central Processing Unit:中央處理器）107、R0M109、接口（I/F) 111。
[0021] 攝影鏡頭101是用于將來(lái)自被攝體300的像形成于攝像元件207的攝影光學(xué)系 統(tǒng)。攝影鏡頭101可以具有用于調(diào)節(jié)對(duì)焦位置的對(duì)焦鏡頭，并且也可以構(gòu)成為變焦鏡頭。光 圈103配置于攝影鏡頭101的光軸上，其口徑構(gòu)成為可變。光圈103對(duì)通過(guò)了攝影鏡頭101 的來(lái)自被攝體300的光束量進(jìn)行限制。驅(qū)動(dòng)部105根據(jù)來(lái)自CPU107的控制信號(hào)進(jìn)行攝影 鏡頭101的驅(qū)動(dòng)和光圈103的驅(qū)動(dòng)。
[0022] CPU107依據(jù)照相機(jī)主體200的CPU215的控制進(jìn)行驅(qū)動(dòng)部105的控制等。R0M109 存儲(chǔ)了攝影鏡頭101的光學(xué)信息。CPU107根據(jù)需要從R0M109讀出攝影鏡頭101的光學(xué)信 息，并將所讀出的光學(xué)信息經(jīng)由接口 111傳輸?shù)秸障鄼C(jī)主體200的CPU215。R0M109所存儲(chǔ) 的攝影鏡頭101的光學(xué)信息例如是表示攝影鏡頭101的類別的信息和攝影鏡頭101的畸變 像差息。
[0023] 照相機(jī)主體200具有機(jī)械快門201、驅(qū)動(dòng)部203、操作部205、攝像元件207、拍攝控 制電路209、模擬處理部211、模擬數(shù)字（AD)轉(zhuǎn)換部213、CPU215、圖像處理部217、焦點(diǎn)檢 測(cè)電路219、圖像壓縮解壓縮部221、顯示部223、總線225、DRAM (Dynamic Random Access Memory :動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）227、ROM (Read Only Memory :只讀存儲(chǔ)器）229和記錄介質(zhì) 231。
[0024] 機(jī)械快門201構(gòu)成為可自由開閉。機(jī)械快門201對(duì)來(lái)自被攝體300的被攝體光束 向攝像元件207的入射時(shí)間（攝像元件207的曝光時(shí)間）進(jìn)行調(diào)節(jié)。作為機(jī)械快門201，可 采用公知的焦面快門、鏡頭快門等。驅(qū)動(dòng)部203根據(jù)來(lái)自CPU215的控制信號(hào)，進(jìn)行機(jī)械快 門201的開閉控制。
[0025] 操作部205包含電源按鈕、釋放按鈕、動(dòng)態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕那樣的 各種操作按鈕和觸摸面板等各種操作部件。該操作部205檢測(cè)各種操作部件的操作狀態(tài)， 并將表示檢測(cè)結(jié)果的信號(hào)輸出到CPU215。能夠通過(guò)本實(shí)施方式的操作部205,選擇照相機(jī)1 的拍攝模式。用戶能夠通過(guò)對(duì)操作部205進(jìn)行操作，選擇靜態(tài)圖像拍攝模式和動(dòng)態(tài)圖像拍 攝模式中的任意一個(gè)作為照相機(jī)1的拍攝模式。靜態(tài)圖像拍攝模式是用于拍攝靜態(tài)圖像的 拍攝模式，動(dòng)態(tài)圖像拍攝模式是用于拍攝動(dòng)態(tài)圖像的拍攝模式。
[0026] 攝像元件207配置于攝影鏡頭101的光軸上，并且配置于機(jī)械快門201的后方、且 通過(guò)攝影鏡頭101將被攝體光束成像的位置處。攝像元件207通過(guò)將構(gòu)成像素的光電二極 管二維配置來(lái)構(gòu)成。本實(shí)施方式中的攝像元件207具有用于取得記錄和顯示用的圖像的攝 像像素和用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素。
[0027] 構(gòu)成攝像元件207的光電二極管生成與受光量對(duì)應(yīng)的電荷。由光電二極管產(chǎn)生的 電荷被蓄積到與各光電二極管連接的電容器中。讀出蓄積在該電容器中的電荷作為圖像信 號(hào)。本實(shí)施方式中的攝像元件207具有多個(gè)不同的電荷讀出方式。蓄積在攝像元件207中 的電荷依照來(lái)自拍攝控制電路209的控制信號(hào)被讀出。
[0028] 此外，在構(gòu)成像素的光電二極管的前面配置有例如拜爾排列的濾色器。拜爾排列 具有在水平方向上交替配置了 R像素和G(Gr)像素的行、以及交替配置了 G(Gb)像素和B 像素的行。
[0029] 拍攝控制電路209依照來(lái)自CPU215的控制信號(hào)設(shè)定攝像元件207的讀出方式，并 依照所設(shè)定的讀出方式控制來(lái)自攝像元件207的圖像信號(hào)的讀出。來(lái)自攝像元件207的像 素輸出（像素?cái)?shù)據(jù)）的讀出方式根據(jù)照相機(jī)1的動(dòng)作狀態(tài)進(jìn)行設(shè)定。例如，在來(lái)自攝像元件 207的像素?cái)?shù)據(jù)的讀出要求實(shí)時(shí)性的情況（例如實(shí)時(shí)取景顯示時(shí)和動(dòng)態(tài)圖像記錄時(shí)）下，為 了能夠高速進(jìn)行像素?cái)?shù)據(jù)的讀出，混合讀出來(lái)自多個(gè)同色像素的像素?cái)?shù)據(jù)進(jìn)行，或者間疏 讀出特定像素的像素?cái)?shù)據(jù)。另一方面，在相比實(shí)時(shí)性更要求畫質(zhì)的情況（例如靜態(tài)圖像的 記錄時(shí)）下，不進(jìn)行混合讀出或間疏讀出而讀出全部像素的像素?cái)?shù)據(jù)，由此維持分辨率。
[0030] 模擬處理部211依照拍攝控制電路209的控制，對(duì)從攝像元件207讀出的圖像信 號(hào)實(shí)施模擬處理。該模擬處理包含相關(guān)雙采樣處理和增益調(diào)整處理等。
[0031] 與攝像元件207、拍攝控制電路209、模擬處理部211 -起作為攝像部發(fā)揮功能的 AD轉(zhuǎn)換部213是模擬-數(shù)字轉(zhuǎn)換器，將由模擬處理部211進(jìn)行模擬處理后的圖像信號(hào)轉(zhuǎn)換 為數(shù)字形式的圖像信號(hào)（像素?cái)?shù)據(jù)）。以下，在本說(shuō)明書中，將多個(gè)像素?cái)?shù)據(jù)的集合記作拍 攝數(shù)據(jù)。
[0032] CPU215依照R0M229所存儲(chǔ)的程序進(jìn)行照相機(jī)1的整體控制。此外，CPU215經(jīng)由 接口 111與更換式鏡頭100的CPU107以可自由通信的方式連接，向CPU107輸入控制信號(hào) 來(lái)進(jìn)行更換式鏡頭100的控制。
[0033] 圖像處理部217對(duì)拍攝數(shù)據(jù)實(shí)施各種圖像處理來(lái)生成圖像數(shù)據(jù)。例如圖像處理 部217在靜態(tài)圖像的記錄時(shí)，實(shí)施靜態(tài)圖像記錄用的圖像處理來(lái)生成靜態(tài)圖像數(shù)據(jù)。同樣， 圖像處理部217在動(dòng)態(tài)圖像的記錄時(shí)，實(shí)施動(dòng)態(tài)圖像記錄用的圖像處理來(lái)生成動(dòng)態(tài)圖像數(shù) 據(jù)。并且，圖像處理部217在實(shí)時(shí)取景顯示時(shí)，實(shí)施顯示用的圖像處理來(lái)生成顯示用圖像數(shù) 據(jù)。之后將詳細(xì)說(shuō)明這樣的圖像處理部217的詳細(xì)結(jié)構(gòu)。
[0034] 焦點(diǎn)檢測(cè)電路219取得來(lái)自焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)，并根據(jù)所取得的像素?cái)?shù) 據(jù)，使用公知的相位差方式計(jì)算相對(duì)于攝影鏡頭101的對(duì)焦位置的散焦方向和散焦量。
[0035] 圖像壓縮解壓縮部221在圖像數(shù)據(jù)的記錄時(shí)，壓縮由圖像處理部217進(jìn)行圖像處 理后的圖像數(shù)據(jù)（靜態(tài)圖像數(shù)據(jù)或動(dòng)態(tài)圖像數(shù)據(jù)）。此外，圖像壓縮解壓縮部221在圖像數(shù) 據(jù)的再現(xiàn)時(shí)，對(duì)壓縮后的圖像數(shù)據(jù)進(jìn)行解壓縮。
[0036] 顯示部223是例如液晶顯示器或有機(jī)EL顯示器那樣的顯示部，且配置于例如照相 機(jī)1的背面。該顯示部223依照顯示用圖像數(shù)據(jù)顯示圖像。顯示部223在實(shí)時(shí)取景顯示或 已記錄圖像的顯示等時(shí)被使用。
[0037] 總線225與AD轉(zhuǎn)換部213、CPU215、圖像處理部217、焦點(diǎn)檢測(cè)電路219、DRAM227、 R0M229以及記錄介質(zhì)231連接，作為用于傳送在這些模塊中產(chǎn)生的各種數(shù)據(jù)的傳送路徑發(fā) 揮功能。
[0038] DRAM227是可電改寫的存儲(chǔ)器，臨時(shí)存儲(chǔ)上述拍攝數(shù)據(jù)（像素?cái)?shù)據(jù)）、記 錄用圖像數(shù)據(jù)、顯示用圖像數(shù)據(jù)、CPU215中的處理數(shù)據(jù)那樣的各種數(shù)據(jù)?？梢圆捎?SDRAM (Synchronous Dynamic Random Access Memory:同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）來(lái)用于 臨時(shí)存儲(chǔ)。R0M229是掩模ROM或閃存等非易失性存儲(chǔ)器。R0M229存儲(chǔ)了在CPU215中使用 的程序、照相機(jī)1的調(diào)整值等各種數(shù)據(jù)。本實(shí)施方式的R0M229存儲(chǔ)了用于圖像處理部217 中的像素校正處理的校正范圍信息。之后將詳細(xì)說(shuō)明校正范圍信息。記錄介質(zhì)231構(gòu)成為 被內(nèi)置或裝入到照相機(jī)1中，將記錄用圖像數(shù)據(jù)記錄為規(guī)定形式的圖像文件。
[0039] 使用圖2對(duì)攝像元件207的結(jié)構(gòu)進(jìn)行說(shuō)明。圖2是示出了攝像元件207的像素排 列例的圖。此外，在圖2的右側(cè)放大示出了部分像素。圖2是拜爾排列的例子，但濾色器的 排列不限于拜爾排列，可應(yīng)用各種排列。
[0040] 如上所述，拜爾排列的攝像元件207具有在水平方向上交替配置了 R像素和G (Gr) 像素的像素行、以及交替配置了 G(Gb)像素和B像素的像素行。換言之,在水平和垂直方向 上反復(fù)配置了在右側(cè)的放大圖中示出的Gr像素、R像素、Gb像素、B像素這4像素的組。
[0041] 在本實(shí)施方式中，在部分的攝像像素207a的位置處配置焦點(diǎn)檢測(cè)像素207b。焦 點(diǎn)檢測(cè)像素是利用遮光膜對(duì)例如左右中的任意一個(gè)區(qū)域進(jìn)行了遮光的像素。在圖2的例子 中，配置成將左半面遮光后的焦點(diǎn)檢測(cè)像素（以下稱作右開口焦點(diǎn)檢測(cè)像素）的行、和將右 半面遮光后的焦點(diǎn)檢測(cè)像素（以下稱作左開口焦點(diǎn)檢測(cè)像素）的行沿著垂直方向接近。 [0042] 在高像素?cái)?shù)的攝像元件的情況下，各個(gè)像素的面積減小，因此能夠認(rèn)為在接近配 置的像素中形成大致相同的像。因此，通過(guò)如圖2所示那樣配置焦點(diǎn)檢測(cè)像素，能夠利用成 對(duì)的圖2的A行的焦點(diǎn)檢測(cè)像素和B行的焦點(diǎn)檢測(cè)像素來(lái)檢測(cè)相位差。此外，還能夠利用 成對(duì)的C行的焦點(diǎn)檢測(cè)像素和D行的焦點(diǎn)檢測(cè)像素來(lái)檢測(cè)相位差。
[0043] 這里，在圖2的例子中，將焦點(diǎn)檢測(cè)像素中的要遮光的區(qū)域設(shè)為了左右任意一個(gè) 區(qū)域。該情況下，能夠檢測(cè)水平相位差。與此相對(duì)，還能夠通過(guò)將要遮光的區(qū)域設(shè)為上下任 意一個(gè)區(qū)域、或傾斜方向的區(qū)域，檢測(cè)垂直相位差或傾斜方向的相位差。此外，只要具有一 定程度的面積即可，遮光面積也可以不是像素區(qū)域的1/2。并且，在圖2中將焦點(diǎn)檢測(cè)像素 配置于G像素，但也可以配置于G像素以外的R像素、B像素中的任意一個(gè)像素。此外，圖2 的例子示出了通過(guò)對(duì)焦點(diǎn)檢測(cè)像素的部分區(qū)域進(jìn)行遮光來(lái)進(jìn)行光瞳分割的例子，但焦點(diǎn)檢 測(cè)像素只要能夠選擇性接收通過(guò)了攝影鏡頭101的不同光瞳區(qū)域的成對(duì)的被攝體光束中 的一方即可。因此，可以不采用對(duì)部分區(qū)域進(jìn)行遮光的結(jié)構(gòu)，而通過(guò)例如光瞳分割用的微距 鏡頭進(jìn)行光瞳分割。并且，圖2示出了沿水平方向以4像素為周期配置焦點(diǎn)檢測(cè)像素的例 子。配置焦點(diǎn)檢測(cè)像素的周期不限于特定的周期。
[0044] 焦點(diǎn)檢測(cè)像素的部分區(qū)域被遮光，因此產(chǎn)生光量的降低。該光量的降低除了根據(jù) 形成于焦點(diǎn)檢測(cè)像素上的遮光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢 測(cè)像素的光的角度和像高而不同。這樣的光量降低在圖像處理部217中被校正。
[0045] 圖3是示出圖像處理部217的詳細(xì)結(jié)構(gòu)的圖。在圖3中，對(duì)圖像處理部217以外 的模塊省略了圖示。圖像處理部217具有白平衡（WB)校正處理部2171、校正范圍確定部 2172、校正系數(shù)計(jì)算部2173、像素校正部2174、同時(shí)化處理部2175、顏色再現(xiàn)處理部2176、 亮度特性轉(zhuǎn)換部2177、邊緣強(qiáng)調(diào)處理部2178、降噪（NR)處理部2179和畸變校正部2180。
[0046] WB校正處理部2171通過(guò)以預(yù)定的增益量放大拍攝數(shù)據(jù)的各顏色成分，進(jìn)行校正 圖像的顏色平衡的白平衡校正處理。
[0047] 校正范圍確定部2172將為了在像素校正部2174中校正焦點(diǎn)檢測(cè)像素的像素輸出 而應(yīng)用的校正系數(shù)的范圍確定為校正范圍。校正系數(shù)計(jì)算部2173計(jì)算用于校正焦點(diǎn)檢測(cè) 像素的像素輸出的校正系數(shù)。校正系數(shù)根據(jù)函數(shù)計(jì)算，該函數(shù)將例如焦點(diǎn)檢測(cè)像素的坐標(biāo) (像高）和以攝像像素的像素輸出為基準(zhǔn)的焦點(diǎn)檢測(cè)像素的像素輸出對(duì)應(yīng)起來(lái)。像素校正 部2174依照由校正系數(shù)計(jì)算部2173計(jì)算出的校正系數(shù)，校正焦點(diǎn)檢測(cè)像素的像素輸出。之 后將說(shuō)明校正范圍確定部2172、校正系數(shù)計(jì)算部2173和像素校正部2174的詳細(xì)情況。
[0048] 同時(shí)化處理部2175將例如與拜爾排列對(duì)應(yīng)地經(jīng)由攝像元件207輸出的拍攝數(shù)據(jù) 等、即1個(gè)像素與1個(gè)顏色成分對(duì)應(yīng)的拍攝數(shù)據(jù)轉(zhuǎn)換為1個(gè)像素與多個(gè)顏色成分對(duì)應(yīng)的圖 像數(shù)據(jù)。顏色再現(xiàn)處理部2176進(jìn)行用于使得圖像數(shù)據(jù)的顏色再現(xiàn)恰當(dāng)?shù)母鞣N處理。作為該 處理，例如有顏色矩陣運(yùn)算處理。顏色矩陣運(yùn)算處理是對(duì)圖像數(shù)據(jù)乘以與例如白平衡模式 對(duì)應(yīng)的顏色矩陣系數(shù)的處理。另外，顏色再現(xiàn)處理部2176進(jìn)行飽和度/色相的校正。亮度 特性轉(zhuǎn)換部2177將圖像數(shù)據(jù)的亮度特性（伽馬特性）轉(zhuǎn)換成適合于顯示和記錄。邊緣強(qiáng) 調(diào)處理部2178對(duì)使用帶通濾波器等從圖像數(shù)據(jù)中提取出的邊緣信號(hào)乘以邊緣強(qiáng)調(diào)系數(shù)， 并將該結(jié)果與原來(lái)的圖像數(shù)據(jù)相加，由此強(qiáng)調(diào)圖像數(shù)據(jù)中的邊緣（輪廓）成分。NR處理部 2179使用核化（coring)處理等去除圖像數(shù)據(jù)中的噪聲成分?；冃Ｕ?180校正圖像數(shù) 據(jù)中的畸變像差。例如，畸變校正部2180通過(guò)依照用于校正畸變像差的規(guī)定的函數(shù)進(jìn)行畸 變校正前的圖像數(shù)據(jù)的坐標(biāo)轉(zhuǎn)換，對(duì)圖像數(shù)據(jù)中的畸變像差進(jìn)行校正。
[0049] 以下說(shuō)明本實(shí)施方式的拍攝裝置的動(dòng)作。圖4是示出拍攝裝置進(jìn)行的靜態(tài)圖像拍 攝時(shí)的像素校正動(dòng)作的處理的流程圖。在由用戶進(jìn)行靜態(tài)圖像拍攝執(zhí)行的指示后，CPU215 執(zhí)行用于靜態(tài)圖像拍攝的利用攝像元件207進(jìn)行的攝像（曝光）（步驟S101)。依照預(yù)先設(shè) 定的讀出方式從攝像元件207讀出通過(guò)攝像得到的圖像信號(hào)。該所讀出的圖像信號(hào)在由模 擬處理部211進(jìn)行模擬處理、并在AD轉(zhuǎn)換部213中被數(shù)字化后，作為拍攝數(shù)據(jù)被臨時(shí)存儲(chǔ) 到DRAM227中。在拍攝后，CPU215執(zhí)行利用圖像處理部217進(jìn)行的圖像處理。此時(shí)，圖像 處理部217的WB校正處理部2171從DRAM227中讀出拍攝數(shù)據(jù)并實(shí)施白平衡校正處理（步 驟 S102)。
[0050] 接著，校正范圍確定部2172取得光學(xué)信息（步驟S103)。在光學(xué)信息的取得后，校 正范圍確定部2172設(shè)定校正范圍（步驟S104)。圖5是示出校正范圍例的圖。校正范圍是 能夠根據(jù)更換鏡頭100的光學(xué)條件的變化而發(fā)生變化的校正系數(shù)的最大值和最小值。在之 后將說(shuō)明詳細(xì)情況，但本實(shí)施方式中的校正系數(shù)是焦點(diǎn)檢測(cè)像素的像素輸出與通常的攝像 像素的像素輸出之比（即焦點(diǎn)檢測(cè)像素中的光量的降低量）。該像素輸出之比除了根據(jù)形 成于焦點(diǎn)檢測(cè)像素上的遮光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢測(cè) 像素的光的角度和像高而不同。并且，入射到焦點(diǎn)檢測(cè)像素的光的角度可對(duì)應(yīng)于光學(xué)條件 (焦距、對(duì)焦位置、光圈值等）發(fā)生變化。在本實(shí)施方式中，將分別與每個(gè)更換鏡頭100的 光學(xué)條件的最大值和最小值對(duì)應(yīng)的校正系數(shù)作為校正范圍存儲(chǔ)到R0M229中。由此，能夠判 定如之后說(shuō)明那樣計(jì)算出的校正系數(shù)的可靠性。此外，在判定為計(jì)算出的校正系數(shù)的可靠 性較低時(shí)，能夠通過(guò)將校正系數(shù)調(diào)整為校正范圍內(nèi)的值，減少像素校正處理中的校正誤差。 對(duì)于校正范圍，如圖5所示那樣存儲(chǔ)與右開口焦點(diǎn)檢測(cè)像素對(duì)應(yīng)的校正范圍和與左開口焦 點(diǎn)檢測(cè)像素對(duì)應(yīng)的校正范圍兩方。這是因?yàn)樵谟议_口焦點(diǎn)檢測(cè)像素和左開口焦點(diǎn)檢測(cè)像素 中，校正系數(shù)相對(duì)于像高的變化量不同。此外，存儲(chǔ)分別與光學(xué)條件的最大值、最小值對(duì)應(yīng) 的校正系數(shù)（校正范圍）的存儲(chǔ)器并非必須是照相機(jī)側(cè)的R0M，也可以將校正系數(shù)（校正范 圍）存儲(chǔ)到更換式鏡頭100內(nèi)部的R0M109中。并且，還可以通過(guò)與更換式鏡頭100的通信 取得分別與光學(xué)條件的最大值、最小值對(duì)應(yīng)的校正系數(shù)（校正范圍）。
[0051] 在設(shè)定了校正范圍后，校正范圍確定部2172取得光學(xué)條件（步驟S105)。光學(xué)條件 是拍攝動(dòng)作時(shí)的焦距、對(duì)焦位置、光圈值等在拍攝時(shí)能夠發(fā)生變化的光學(xué)信息。然后，校正 范圍確定部2172判定是否已取得光學(xué)條件（步驟S106)。在步驟S106中判定為未能取得 光學(xué)條件的情況下，校正范圍確定部2172使處理轉(zhuǎn)移到步驟S108。在步驟S106中判定為 已取得光學(xué)條件的情況下，校正范圍確定部2172根據(jù)光學(xué)條件調(diào)整校正范圍（步驟S107)。 該調(diào)整例如通過(guò)由校正系數(shù)的最大值Max和校正系數(shù)的最小值Min加上或減去與各個(gè)光學(xué) 條件對(duì)應(yīng)的系數(shù)來(lái)進(jìn)行。例如，在步驟S104中設(shè)定的校正范圍如以下那樣表示。
[0052] 校正范圍=A+B+C
[0053] 與光圈值對(duì)應(yīng)的校正范圍：A
[0054] 與焦距對(duì)應(yīng)的校正范圍：B
[0055] 與對(duì)焦位置對(duì)應(yīng)的校正范圍：C
[0056] 例如在已取得焦距的情況下，對(duì)應(yīng)于其值而縮窄焦距的校正范圍B。例如，在將預(yù) 先確定的校正范圍的調(diào)整量設(shè)為ΛΒ時(shí)，調(diào)整后的校正范圍為B = B - ΛΒ。通過(guò)這樣的校 正范圍的調(diào)整，結(jié)果，整體的校正范圍也變窄。
[0057] 接著，校正系數(shù)計(jì)算部2173計(jì)算校正系數(shù)（步驟S108)。以下，參照?qǐng)D6A和圖6B 說(shuō)明像素函數(shù)的計(jì)算方法例。通常，焦點(diǎn)檢測(cè)像素配置于作為需要焦點(diǎn)檢測(cè)的區(qū)域、圖6A 中施加了陰影的區(qū)域（以下稱作島區(qū)域）。這里，在說(shuō)明像素函數(shù)的計(jì)算方法時(shí)，設(shè)為在島 區(qū)域中的Gr像素的位置處各配置η個(gè)右開口焦點(diǎn)檢測(cè)像素和左開口焦點(diǎn)檢測(cè)像素。此外， 如圖6Α所示，將攝像元件207的水平像高定義為X軸，并且將焦點(diǎn)檢測(cè)像素（島區(qū)域）在 水平像高方向上的開始X坐標(biāo)定義為start_x。
[0058] 在計(jì)算校正系數(shù)時(shí)，校正系數(shù)計(jì)算部2173計(jì)算與焦點(diǎn)檢測(cè)像素相鄰的兩個(gè)攝像 像素 B的像素輸出之比Dif_B。例如，在圖6B所示的右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì) 算由箭頭1示出的、攝像像素 B2的像素輸出B2與攝像像素 B3的像素輸出B3之比。因此， Dif_B由以下的（式1)給出。
[0059] Dif_B = B2/B3 (式 1)
[0060] 然后，校正系數(shù)計(jì)算部2173計(jì)算與焦點(diǎn)檢測(cè)像素同色且附近的兩個(gè)攝像像素 Gb 的像素輸出之比Dif_G。例如，在右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì)算由箭頭2示出的、 攝像像素 Gb2的像素輸出Gb2與攝像像素 Gb3的像素輸出Gb3之比。因此，Dif_G由以下 的（式2)給出。
[0061] Dif_G = Gb2/Gb3 (式 2)
[0062] 進(jìn)而，校正系數(shù)計(jì)算部2173計(jì)算焦點(diǎn)檢測(cè)像素的像素輸出與如下的攝像像素 Gr 的像素輸出之比，該攝像像素 Gr是與焦點(diǎn)檢測(cè)像素同色且與相位差的檢測(cè)方向垂直的方 向上的附近的攝像像素。例如，在右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì)算由箭頭3示出的、 右開口焦點(diǎn)檢測(cè)像素 Gr2的像素輸出Gr2與攝像像素 Grl的像素輸出Grl之比。此外，在 左開口焦點(diǎn)檢測(cè)像素 Gr3的情況下，計(jì)算由箭頭4示出的、左開口焦點(diǎn)檢測(cè)像素 Gr3的像素 輸出Gr3與攝像像素 Grl的像素輸出Grl之比。這里，圖6B的例子中的攝像像素 Grl是島 外的像素。如果并非島內(nèi)的全部Gr像素都為焦點(diǎn)檢測(cè)像素，則也可以計(jì)算與島內(nèi)的攝像像 素 Gr的像素輸出之比。然后，校正系數(shù)計(jì)算部2173計(jì)算攝像像素 Gr的像素輸出與該攝像 像素 Gr附近的兩個(gè)攝像像素 Gb的像素輸出之差的比，所述攝像像素 Gr是與焦點(diǎn)檢測(cè)像素 同色且與相位差的檢測(cè)方向垂直的方向上的附近的攝像像素。例如，在右開口焦點(diǎn)檢測(cè)像 素 Gr2的情況下，計(jì)算由箭頭5示出的、攝像像素 Grl的像素輸出與攝像像素 Gbl和攝像像 素 Gb2的像素輸出之差的比。進(jìn)而，校正系數(shù)計(jì)算部2173計(jì)算考慮到圖案變化的焦點(diǎn)檢測(cè) 像素與其附近的攝像像素的像素輸出之比Dif_pRi。Dif_pRi由以下的（式3)給出。
[0063] Dif_pRi = (Gr2/Grl)-(Gbl-Gb2)/Grl (式 3)
[0064] (式3)的第1項(xiàng)表示焦點(diǎn)檢測(cè)像素與其附近的攝像像素的像素輸出之比，第2項(xiàng) 表示圖案變化的影響程度。
[0065] 校正系數(shù)計(jì)算部2173使用Dif_B和Dif_G計(jì)算權(quán)重系數(shù)W。權(quán)重系數(shù)W是Dif_ B和Dif_G各自越接近1則其值越接近1的系數(shù)，例如以下的（式4)那樣使用高斯函數(shù)進(jìn) 行1+笪"擬甫系救W不一宙需悪儲(chǔ)田高ffi函救講行1+笪"
【權(quán)利要求】
1. 一種拍攝裝置，其具備： 攝像部，其利用攝像元件拍攝被攝體并輸出拍攝數(shù)據(jù)，所述攝像元件在攝像像素的一 部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素；以及 圖像處理部，其利用校正系數(shù)來(lái)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出的 像素?cái)?shù)據(jù)， 所述圖像處理部包含： 校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件， 確定所述校正系數(shù)的范圍作為校正范圍； 校正系數(shù)計(jì)算部，其根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校 正系數(shù)；以及 像素校正部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù) 進(jìn)行校正。
2. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述像素校正部在所述校正系數(shù)超過(guò)所述校正范圍的情況下，將所述校正系數(shù)調(diào)整到 所述校正范圍內(nèi)。
3. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述攝像元件進(jìn)行多次所述拍攝，并輸出多個(gè)拍攝數(shù)據(jù)， 所述校正范圍確定部取得分別與由所述攝像元件取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所 述攝影光學(xué)系統(tǒng)的光學(xué)條件，并根據(jù)與多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所述光學(xué)條件確定所述校 正范圍。
4. 根據(jù)權(quán)利要求3所述的拍攝裝置，其中， 所述拍攝裝置還具備對(duì)與所述攝影光學(xué)系統(tǒng)相關(guān)的信息進(jìn)行存儲(chǔ)的存儲(chǔ)部， 所述校正范圍確定部根據(jù)存儲(chǔ)在所述存儲(chǔ)部中的所述信息設(shè)定最大的校正范圍，并根 據(jù)所述多個(gè)所述光學(xué)條件和所述最大的校正范圍確定所述校正范圍。
5. 根據(jù)權(quán)利要求3所述的拍攝裝置，其中， 所述校正范圍確定部在未能取得所述光學(xué)條件的情況下對(duì)所述光學(xué)條件進(jìn)行推測(cè)，并 根據(jù)該推測(cè)出的光學(xué)條件確定所述校正范圍。
6. 根據(jù)權(quán)利要求5所述的拍攝裝置，其中， 所述校正范圍確定部根據(jù)與之前所取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的所述光學(xué)條件的變化 量，推測(cè)取得此次的拍攝數(shù)據(jù)時(shí)的光學(xué)條件。
7. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備光圈檢測(cè)部，所述光圈檢測(cè)部檢測(cè)所述攝影光學(xué)系統(tǒng)的光圈值作 為所述光學(xué)條件， 所述校正范圍確定部根據(jù)所述光圈值確定校正范圍。
8. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備焦距檢測(cè)部，所述焦距檢測(cè)部檢測(cè)所述攝影光學(xué)系統(tǒng)的焦距作為 所述光學(xué)條件， 所述校正范圍確定部根據(jù)所述焦距確定所述校正范圍。
9. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備對(duì)焦鏡頭位置檢測(cè)部，所述對(duì)焦鏡頭位置檢測(cè)部檢測(cè)所述攝影光 學(xué)系統(tǒng)的對(duì)焦鏡頭的位置， 所述校正范圍確定部根據(jù)所述對(duì)焦鏡頭的位置確定所述校正范圍。
10. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述校正系數(shù)計(jì)算部根據(jù)從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)與從位于所述焦點(diǎn)檢 測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)之比，計(jì)算所述校正系數(shù)。
11. 一種圖像處理方法，利用校正系數(shù)對(duì)通過(guò)攝像元件得到的拍攝數(shù)據(jù)中的從焦點(diǎn)檢 測(cè)像素輸出的像素?cái)?shù)據(jù)進(jìn)行校正，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn) 行焦點(diǎn)檢測(cè)的所述焦點(diǎn)檢測(cè)像素，在所述圖像處理方法中，具備以下步驟： 根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的 范圍作為校正范圍； 根據(jù)從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及 根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
12. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：在所述校正系數(shù)超過(guò)所述校正范圍的情況 下，將所述校正系數(shù)調(diào)整到所述校正范圍內(nèi)。
13. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：取得分別與多次所述拍攝對(duì)應(yīng)的所述攝影光 學(xué)系統(tǒng)的光學(xué)條件，并根據(jù)與多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所述光學(xué)條件確定所述校正范圍。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 確定所述校正范圍的步驟還包含以下步驟： 根據(jù)與所述攝影光學(xué)系統(tǒng)相關(guān)的信息設(shè)定最大的校正范圍；以及 根據(jù)所述多個(gè)光學(xué)條件和所述最大的校正范圍確定所述校正范圍。
15. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：在未能取得所述光學(xué)條件的情況下對(duì)所述光 學(xué)條件進(jìn)行推測(cè)，并根據(jù)該推測(cè)出的光學(xué)條件確定所述校正范圍。
16. 根據(jù)權(quán)利要求15所述的圖像處理方法，其中， 所述光學(xué)條件的推測(cè)包含以下步驟：根據(jù)與之前所取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的所述光 學(xué)條件的變化量，推測(cè)取得此次的拍攝數(shù)據(jù)時(shí)的光學(xué)條件。
17. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的光圈值確定校正范圍。
18. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的焦距確定所述校正范圍。
19. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的對(duì)焦鏡頭的位置確定所述校正范圍。
20. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 計(jì)算所述校正系數(shù)的步驟包含以下步驟：根據(jù)從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)與 從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)之比，計(jì)算所述校正系數(shù)。
【文檔編號(hào)】H04N9/64GK104333680SQ201410346411
【公開日】2015年2月4日 申請(qǐng)日期:2014年7月21日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】松永拓也 申請(qǐng)人:奧林巴斯株式會(huì)社
【專利摘要】本發(fā)明提供拍攝裝置以及圖像處理方法，拍攝裝置包含攝像部和圖像處理部。攝像部利用攝像元件拍攝被攝體并輸出拍攝數(shù)據(jù)，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素。圖像處理部利用校正系數(shù)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)。該圖像處理部包含：校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作為校正范圍；校正系數(shù)計(jì)算部，其根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及像素校正部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
【專利說(shuō)明】拍攝裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及將部分像素用作相位差方式的焦點(diǎn)檢測(cè)元件來(lái)檢測(cè)焦點(diǎn)狀態(tài)的、對(duì)攝 像元件的像素輸出進(jìn)行處理的拍攝裝置以及圖像處理方法。
【背景技術(shù)】
[0002] 在例如日本特許第3592147號(hào)公報(bào)中提出了與將攝像元件的部分像素用作焦點(diǎn) 檢測(cè)元件來(lái)檢測(cè)焦點(diǎn)狀態(tài)的拍攝裝置相關(guān)的技術(shù)。日本特許第3592147號(hào)的拍攝裝置將攝 像元件的部分像素設(shè)定為焦點(diǎn)檢測(cè)像素，使通過(guò)了關(guān)于攝影鏡頭的光軸中心對(duì)稱的不同光 瞳區(qū)域的被攝體光束成像于多個(gè)焦點(diǎn)檢測(cè)像素，并檢測(cè)該被攝體光束間的相位差，由此檢 測(cè)出攝影鏡頭的焦點(diǎn)狀態(tài)。
[0003] 焦點(diǎn)檢測(cè)像素的部分區(qū)域被遮光。因此，焦點(diǎn)檢測(cè)像素的像素輸出成為相比通常 的像素被減光的像素輸出。該焦點(diǎn)檢測(cè)像素中的減光量根據(jù)與焦點(diǎn)檢測(cè)像素相關(guān)的光學(xué)特 性而發(fā)生變化是已知的。因此，日本特開2010 - 62640號(hào)公報(bào)的拍攝裝置通過(guò)增益調(diào)整對(duì) 焦點(diǎn)檢測(cè)像素的像素輸出進(jìn)行校正，或者使用焦點(diǎn)檢測(cè)像素的周邊像素的像素輸出對(duì)焦點(diǎn) 檢測(cè)像素的像素輸出進(jìn)行校正。
[0004] 日本特開2010 - 62640號(hào)公報(bào)的拍攝裝置中的增益調(diào)整量根據(jù)焦點(diǎn)檢測(cè)像素中 的光量的降低量進(jìn)行設(shè)定。焦點(diǎn)檢測(cè)像素中的光量降低除了根據(jù)形成于焦點(diǎn)檢測(cè)像素的遮 光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢測(cè)像素的光的角度和像高而 不同。作為用于以沒有這些影響的方式求出增益調(diào)整量來(lái)作為校正系數(shù)的方法，考慮對(duì)焦 點(diǎn)檢測(cè)像素和通常像素的像素輸出進(jìn)行比較的方法。但是，為了用該方法高精度地求出增 益調(diào)整量，期望在焦點(diǎn)檢測(cè)像素與通常像素之間存在相關(guān)。在焦點(diǎn)檢測(cè)像素與通常像素之 間沒有相關(guān)的情況下，有時(shí)無(wú)法準(zhǔn)確地求出校正系數(shù)。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明是鑒于上述情況而完成的，其目在于提供一種在對(duì)來(lái)自具有焦點(diǎn)檢測(cè)像素 的攝像元件的像素輸出進(jìn)行處理的拍攝裝置中，能夠準(zhǔn)確地求出針對(duì)焦點(diǎn)檢測(cè)像素的校正 系數(shù)來(lái)進(jìn)行校正的拍攝裝置以及圖像處理方法。
[0006] 本發(fā)明第1方式的拍攝裝置具備：攝像部，其利用攝像元件拍攝被攝體并輸出拍 攝數(shù)據(jù)，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像 素；以及圖像處理部，其利用校正系數(shù)來(lái)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出 的像素?cái)?shù)據(jù)，所述圖像處理部包含：校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像 的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作為校正范圍；校正系數(shù)計(jì)算部，其 根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及像素校正 部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
[0007] 本發(fā)明第2方式的圖像處理方法利用校正系數(shù)對(duì)通過(guò)攝像元件得到的拍攝數(shù)據(jù) 中的從焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)進(jìn)行校正，所述攝像元件在攝像像素的一部分位置處 配置有用于進(jìn)行焦點(diǎn)檢測(cè)的所述焦點(diǎn)檢測(cè)像素，在所述圖像處理方法中，具備以下步驟：根 據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的范圍作 為校正范圍；根據(jù)從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)計(jì)算所述校正系 數(shù)；以及根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
【專利附圖】
【附圖說(shuō)明】
[0008] 圖1是示出作為本發(fā)明一個(gè)實(shí)施方式的拍攝裝置的一例的數(shù)字照相機(jī)的結(jié)構(gòu)的 框圖。
[0009] 圖2是示出了攝像元件的像素排列例的圖。
[0010] 圖3是示出圖像處理部的詳細(xì)結(jié)構(gòu)的圖。
[0011] 圖4是示出靜態(tài)圖像拍攝動(dòng)作的處理的流程圖。
[0012] 圖5是用于說(shuō)明校正范圍的圖。
[0013] 圖6A是用于說(shuō)明校正系數(shù)的計(jì)算方法例的第一圖。
[0014] 圖6B是用于說(shuō)明校正系數(shù)的計(jì)算方法例的第二圖。
[0015] 圖7是示出動(dòng)態(tài)圖像拍攝動(dòng)作的處理的流程圖。
[0016] 圖8是示出了光學(xué)條件隨時(shí)間發(fā)生變化的情況下的校正范圍的調(diào)整例的圖。
【具體實(shí)施方式】
[0017] 以下，參照【專利附圖】
【附圖說(shuō)明】本發(fā)明的實(shí)施方式。
[0018] 圖1是示出作為本發(fā)明一個(gè)實(shí)施方式的拍攝裝置的一例的數(shù)字照相機(jī)（以下簡(jiǎn)稱 作照相機(jī)）的結(jié)構(gòu)的框圖。在圖1中，帶箭頭的實(shí)線表示數(shù)據(jù)流，帶箭頭的虛線表示控制信 號(hào)流。此外，對(duì)于圖1的照相機(jī)，例示了鏡頭更換式的照相機(jī)。但是，本實(shí)施方式的照相機(jī) 并非必須是鏡頭更換式的照相機(jī)。
[0019] 圖1所示的照相機(jī)1具有更換式鏡頭100和照相機(jī)主體200。更換式鏡頭100構(gòu) 成為可在照相機(jī)主體200上自由拆裝。更換式鏡頭100通過(guò)被安裝到照相機(jī)主體200,依照 照相機(jī)主體200的控制進(jìn)行動(dòng)作。
[0020] 更換式鏡頭100具有攝影鏡頭101、光圈103、驅(qū)動(dòng)部105、CPU (Central Processing Unit:中央處理器）107、R0M109、接口（I/F) 111。
[0021] 攝影鏡頭101是用于將來(lái)自被攝體300的像形成于攝像元件207的攝影光學(xué)系 統(tǒng)。攝影鏡頭101可以具有用于調(diào)節(jié)對(duì)焦位置的對(duì)焦鏡頭，并且也可以構(gòu)成為變焦鏡頭。光 圈103配置于攝影鏡頭101的光軸上，其口徑構(gòu)成為可變。光圈103對(duì)通過(guò)了攝影鏡頭101 的來(lái)自被攝體300的光束量進(jìn)行限制。驅(qū)動(dòng)部105根據(jù)來(lái)自CPU107的控制信號(hào)進(jìn)行攝影 鏡頭101的驅(qū)動(dòng)和光圈103的驅(qū)動(dòng)。
[0022] CPU107依據(jù)照相機(jī)主體200的CPU215的控制進(jìn)行驅(qū)動(dòng)部105的控制等。R0M109 存儲(chǔ)了攝影鏡頭101的光學(xué)信息。CPU107根據(jù)需要從R0M109讀出攝影鏡頭101的光學(xué)信 息，并將所讀出的光學(xué)信息經(jīng)由接口 111傳輸?shù)秸障鄼C(jī)主體200的CPU215。R0M109所存儲(chǔ) 的攝影鏡頭101的光學(xué)信息例如是表示攝影鏡頭101的類別的信息和攝影鏡頭101的畸變 像差息。
[0023] 照相機(jī)主體200具有機(jī)械快門201、驅(qū)動(dòng)部203、操作部205、攝像元件207、拍攝控 制電路209、模擬處理部211、模擬數(shù)字（AD)轉(zhuǎn)換部213、CPU215、圖像處理部217、焦點(diǎn)檢 測(cè)電路219、圖像壓縮解壓縮部221、顯示部223、總線225、DRAM (Dynamic Random Access Memory :動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）227、ROM (Read Only Memory :只讀存儲(chǔ)器）229和記錄介質(zhì) 231。
[0024] 機(jī)械快門201構(gòu)成為可自由開閉。機(jī)械快門201對(duì)來(lái)自被攝體300的被攝體光束 向攝像元件207的入射時(shí)間（攝像元件207的曝光時(shí)間）進(jìn)行調(diào)節(jié)。作為機(jī)械快門201，可 采用公知的焦面快門、鏡頭快門等。驅(qū)動(dòng)部203根據(jù)來(lái)自CPU215的控制信號(hào)，進(jìn)行機(jī)械快 門201的開閉控制。
[0025] 操作部205包含電源按鈕、釋放按鈕、動(dòng)態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕那樣的 各種操作按鈕和觸摸面板等各種操作部件。該操作部205檢測(cè)各種操作部件的操作狀態(tài)， 并將表示檢測(cè)結(jié)果的信號(hào)輸出到CPU215。能夠通過(guò)本實(shí)施方式的操作部205,選擇照相機(jī)1 的拍攝模式。用戶能夠通過(guò)對(duì)操作部205進(jìn)行操作，選擇靜態(tài)圖像拍攝模式和動(dòng)態(tài)圖像拍 攝模式中的任意一個(gè)作為照相機(jī)1的拍攝模式。靜態(tài)圖像拍攝模式是用于拍攝靜態(tài)圖像的 拍攝模式，動(dòng)態(tài)圖像拍攝模式是用于拍攝動(dòng)態(tài)圖像的拍攝模式。
[0026] 攝像元件207配置于攝影鏡頭101的光軸上，并且配置于機(jī)械快門201的后方、且 通過(guò)攝影鏡頭101將被攝體光束成像的位置處。攝像元件207通過(guò)將構(gòu)成像素的光電二極 管二維配置來(lái)構(gòu)成。本實(shí)施方式中的攝像元件207具有用于取得記錄和顯示用的圖像的攝 像像素和用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素。
[0027] 構(gòu)成攝像元件207的光電二極管生成與受光量對(duì)應(yīng)的電荷。由光電二極管產(chǎn)生的 電荷被蓄積到與各光電二極管連接的電容器中。讀出蓄積在該電容器中的電荷作為圖像信 號(hào)。本實(shí)施方式中的攝像元件207具有多個(gè)不同的電荷讀出方式。蓄積在攝像元件207中 的電荷依照來(lái)自拍攝控制電路209的控制信號(hào)被讀出。
[0028] 此外，在構(gòu)成像素的光電二極管的前面配置有例如拜爾排列的濾色器。拜爾排列 具有在水平方向上交替配置了 R像素和G(Gr)像素的行、以及交替配置了 G(Gb)像素和B 像素的行。
[0029] 拍攝控制電路209依照來(lái)自CPU215的控制信號(hào)設(shè)定攝像元件207的讀出方式，并 依照所設(shè)定的讀出方式控制來(lái)自攝像元件207的圖像信號(hào)的讀出。來(lái)自攝像元件207的像 素輸出（像素?cái)?shù)據(jù)）的讀出方式根據(jù)照相機(jī)1的動(dòng)作狀態(tài)進(jìn)行設(shè)定。例如，在來(lái)自攝像元件 207的像素?cái)?shù)據(jù)的讀出要求實(shí)時(shí)性的情況（例如實(shí)時(shí)取景顯示時(shí)和動(dòng)態(tài)圖像記錄時(shí)）下，為 了能夠高速進(jìn)行像素?cái)?shù)據(jù)的讀出，混合讀出來(lái)自多個(gè)同色像素的像素?cái)?shù)據(jù)進(jìn)行，或者間疏 讀出特定像素的像素?cái)?shù)據(jù)。另一方面，在相比實(shí)時(shí)性更要求畫質(zhì)的情況（例如靜態(tài)圖像的 記錄時(shí)）下，不進(jìn)行混合讀出或間疏讀出而讀出全部像素的像素?cái)?shù)據(jù)，由此維持分辨率。
[0030] 模擬處理部211依照拍攝控制電路209的控制，對(duì)從攝像元件207讀出的圖像信 號(hào)實(shí)施模擬處理。該模擬處理包含相關(guān)雙采樣處理和增益調(diào)整處理等。
[0031] 與攝像元件207、拍攝控制電路209、模擬處理部211 -起作為攝像部發(fā)揮功能的 AD轉(zhuǎn)換部213是模擬-數(shù)字轉(zhuǎn)換器，將由模擬處理部211進(jìn)行模擬處理后的圖像信號(hào)轉(zhuǎn)換 為數(shù)字形式的圖像信號(hào)（像素?cái)?shù)據(jù)）。以下，在本說(shuō)明書中，將多個(gè)像素?cái)?shù)據(jù)的集合記作拍 攝數(shù)據(jù)。
[0032] CPU215依照R0M229所存儲(chǔ)的程序進(jìn)行照相機(jī)1的整體控制。此外，CPU215經(jīng)由 接口 111與更換式鏡頭100的CPU107以可自由通信的方式連接，向CPU107輸入控制信號(hào) 來(lái)進(jìn)行更換式鏡頭100的控制。
[0033] 圖像處理部217對(duì)拍攝數(shù)據(jù)實(shí)施各種圖像處理來(lái)生成圖像數(shù)據(jù)。例如圖像處理 部217在靜態(tài)圖像的記錄時(shí)，實(shí)施靜態(tài)圖像記錄用的圖像處理來(lái)生成靜態(tài)圖像數(shù)據(jù)。同樣， 圖像處理部217在動(dòng)態(tài)圖像的記錄時(shí)，實(shí)施動(dòng)態(tài)圖像記錄用的圖像處理來(lái)生成動(dòng)態(tài)圖像數(shù) 據(jù)。并且，圖像處理部217在實(shí)時(shí)取景顯示時(shí)，實(shí)施顯示用的圖像處理來(lái)生成顯示用圖像數(shù) 據(jù)。之后將詳細(xì)說(shuō)明這樣的圖像處理部217的詳細(xì)結(jié)構(gòu)。
[0034] 焦點(diǎn)檢測(cè)電路219取得來(lái)自焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)，并根據(jù)所取得的像素?cái)?shù) 據(jù)，使用公知的相位差方式計(jì)算相對(duì)于攝影鏡頭101的對(duì)焦位置的散焦方向和散焦量。
[0035] 圖像壓縮解壓縮部221在圖像數(shù)據(jù)的記錄時(shí)，壓縮由圖像處理部217進(jìn)行圖像處 理后的圖像數(shù)據(jù)（靜態(tài)圖像數(shù)據(jù)或動(dòng)態(tài)圖像數(shù)據(jù)）。此外，圖像壓縮解壓縮部221在圖像數(shù) 據(jù)的再現(xiàn)時(shí)，對(duì)壓縮后的圖像數(shù)據(jù)進(jìn)行解壓縮。
[0036] 顯示部223是例如液晶顯示器或有機(jī)EL顯示器那樣的顯示部，且配置于例如照相 機(jī)1的背面。該顯示部223依照顯示用圖像數(shù)據(jù)顯示圖像。顯示部223在實(shí)時(shí)取景顯示或 已記錄圖像的顯示等時(shí)被使用。
[0037] 總線225與AD轉(zhuǎn)換部213、CPU215、圖像處理部217、焦點(diǎn)檢測(cè)電路219、DRAM227、 R0M229以及記錄介質(zhì)231連接，作為用于傳送在這些模塊中產(chǎn)生的各種數(shù)據(jù)的傳送路徑發(fā) 揮功能。
[0038] DRAM227是可電改寫的存儲(chǔ)器，臨時(shí)存儲(chǔ)上述拍攝數(shù)據(jù)（像素?cái)?shù)據(jù)）、記 錄用圖像數(shù)據(jù)、顯示用圖像數(shù)據(jù)、CPU215中的處理數(shù)據(jù)那樣的各種數(shù)據(jù)?？梢圆捎?SDRAM (Synchronous Dynamic Random Access Memory:同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）來(lái)用于 臨時(shí)存儲(chǔ)。R0M229是掩模ROM或閃存等非易失性存儲(chǔ)器。R0M229存儲(chǔ)了在CPU215中使用 的程序、照相機(jī)1的調(diào)整值等各種數(shù)據(jù)。本實(shí)施方式的R0M229存儲(chǔ)了用于圖像處理部217 中的像素校正處理的校正范圍信息。之后將詳細(xì)說(shuō)明校正范圍信息。記錄介質(zhì)231構(gòu)成為 被內(nèi)置或裝入到照相機(jī)1中，將記錄用圖像數(shù)據(jù)記錄為規(guī)定形式的圖像文件。
[0039] 使用圖2對(duì)攝像元件207的結(jié)構(gòu)進(jìn)行說(shuō)明。圖2是示出了攝像元件207的像素排 列例的圖。此外，在圖2的右側(cè)放大示出了部分像素。圖2是拜爾排列的例子，但濾色器的 排列不限于拜爾排列，可應(yīng)用各種排列。
[0040] 如上所述，拜爾排列的攝像元件207具有在水平方向上交替配置了 R像素和G (Gr) 像素的像素行、以及交替配置了 G(Gb)像素和B像素的像素行。換言之,在水平和垂直方向 上反復(fù)配置了在右側(cè)的放大圖中示出的Gr像素、R像素、Gb像素、B像素這4像素的組。
[0041] 在本實(shí)施方式中，在部分的攝像像素207a的位置處配置焦點(diǎn)檢測(cè)像素207b。焦 點(diǎn)檢測(cè)像素是利用遮光膜對(duì)例如左右中的任意一個(gè)區(qū)域進(jìn)行了遮光的像素。在圖2的例子 中，配置成將左半面遮光后的焦點(diǎn)檢測(cè)像素（以下稱作右開口焦點(diǎn)檢測(cè)像素）的行、和將右 半面遮光后的焦點(diǎn)檢測(cè)像素（以下稱作左開口焦點(diǎn)檢測(cè)像素）的行沿著垂直方向接近。 [0042] 在高像素?cái)?shù)的攝像元件的情況下，各個(gè)像素的面積減小，因此能夠認(rèn)為在接近配 置的像素中形成大致相同的像。因此，通過(guò)如圖2所示那樣配置焦點(diǎn)檢測(cè)像素，能夠利用成 對(duì)的圖2的A行的焦點(diǎn)檢測(cè)像素和B行的焦點(diǎn)檢測(cè)像素來(lái)檢測(cè)相位差。此外，還能夠利用 成對(duì)的C行的焦點(diǎn)檢測(cè)像素和D行的焦點(diǎn)檢測(cè)像素來(lái)檢測(cè)相位差。
[0043] 這里，在圖2的例子中，將焦點(diǎn)檢測(cè)像素中的要遮光的區(qū)域設(shè)為了左右任意一個(gè) 區(qū)域。該情況下，能夠檢測(cè)水平相位差。與此相對(duì)，還能夠通過(guò)將要遮光的區(qū)域設(shè)為上下任 意一個(gè)區(qū)域、或傾斜方向的區(qū)域，檢測(cè)垂直相位差或傾斜方向的相位差。此外，只要具有一 定程度的面積即可，遮光面積也可以不是像素區(qū)域的1/2。并且，在圖2中將焦點(diǎn)檢測(cè)像素 配置于G像素，但也可以配置于G像素以外的R像素、B像素中的任意一個(gè)像素。此外，圖2 的例子示出了通過(guò)對(duì)焦點(diǎn)檢測(cè)像素的部分區(qū)域進(jìn)行遮光來(lái)進(jìn)行光瞳分割的例子，但焦點(diǎn)檢 測(cè)像素只要能夠選擇性接收通過(guò)了攝影鏡頭101的不同光瞳區(qū)域的成對(duì)的被攝體光束中 的一方即可。因此，可以不采用對(duì)部分區(qū)域進(jìn)行遮光的結(jié)構(gòu)，而通過(guò)例如光瞳分割用的微距 鏡頭進(jìn)行光瞳分割。并且，圖2示出了沿水平方向以4像素為周期配置焦點(diǎn)檢測(cè)像素的例 子。配置焦點(diǎn)檢測(cè)像素的周期不限于特定的周期。
[0044] 焦點(diǎn)檢測(cè)像素的部分區(qū)域被遮光，因此產(chǎn)生光量的降低。該光量的降低除了根據(jù) 形成于焦點(diǎn)檢測(cè)像素上的遮光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢 測(cè)像素的光的角度和像高而不同。這樣的光量降低在圖像處理部217中被校正。
[0045] 圖3是示出圖像處理部217的詳細(xì)結(jié)構(gòu)的圖。在圖3中，對(duì)圖像處理部217以外 的模塊省略了圖示。圖像處理部217具有白平衡（WB)校正處理部2171、校正范圍確定部 2172、校正系數(shù)計(jì)算部2173、像素校正部2174、同時(shí)化處理部2175、顏色再現(xiàn)處理部2176、 亮度特性轉(zhuǎn)換部2177、邊緣強(qiáng)調(diào)處理部2178、降噪（NR)處理部2179和畸變校正部2180。
[0046] WB校正處理部2171通過(guò)以預(yù)定的增益量放大拍攝數(shù)據(jù)的各顏色成分，進(jìn)行校正 圖像的顏色平衡的白平衡校正處理。
[0047] 校正范圍確定部2172將為了在像素校正部2174中校正焦點(diǎn)檢測(cè)像素的像素輸出 而應(yīng)用的校正系數(shù)的范圍確定為校正范圍。校正系數(shù)計(jì)算部2173計(jì)算用于校正焦點(diǎn)檢測(cè) 像素的像素輸出的校正系數(shù)。校正系數(shù)根據(jù)函數(shù)計(jì)算，該函數(shù)將例如焦點(diǎn)檢測(cè)像素的坐標(biāo) (像高）和以攝像像素的像素輸出為基準(zhǔn)的焦點(diǎn)檢測(cè)像素的像素輸出對(duì)應(yīng)起來(lái)。像素校正 部2174依照由校正系數(shù)計(jì)算部2173計(jì)算出的校正系數(shù)，校正焦點(diǎn)檢測(cè)像素的像素輸出。之 后將說(shuō)明校正范圍確定部2172、校正系數(shù)計(jì)算部2173和像素校正部2174的詳細(xì)情況。
[0048] 同時(shí)化處理部2175將例如與拜爾排列對(duì)應(yīng)地經(jīng)由攝像元件207輸出的拍攝數(shù)據(jù) 等、即1個(gè)像素與1個(gè)顏色成分對(duì)應(yīng)的拍攝數(shù)據(jù)轉(zhuǎn)換為1個(gè)像素與多個(gè)顏色成分對(duì)應(yīng)的圖 像數(shù)據(jù)。顏色再現(xiàn)處理部2176進(jìn)行用于使得圖像數(shù)據(jù)的顏色再現(xiàn)恰當(dāng)?shù)母鞣N處理。作為該 處理，例如有顏色矩陣運(yùn)算處理。顏色矩陣運(yùn)算處理是對(duì)圖像數(shù)據(jù)乘以與例如白平衡模式 對(duì)應(yīng)的顏色矩陣系數(shù)的處理。另外，顏色再現(xiàn)處理部2176進(jìn)行飽和度/色相的校正。亮度 特性轉(zhuǎn)換部2177將圖像數(shù)據(jù)的亮度特性（伽馬特性）轉(zhuǎn)換成適合于顯示和記錄。邊緣強(qiáng) 調(diào)處理部2178對(duì)使用帶通濾波器等從圖像數(shù)據(jù)中提取出的邊緣信號(hào)乘以邊緣強(qiáng)調(diào)系數(shù)， 并將該結(jié)果與原來(lái)的圖像數(shù)據(jù)相加，由此強(qiáng)調(diào)圖像數(shù)據(jù)中的邊緣（輪廓）成分。NR處理部 2179使用核化（coring)處理等去除圖像數(shù)據(jù)中的噪聲成分?；冃Ｕ?180校正圖像數(shù) 據(jù)中的畸變像差。例如，畸變校正部2180通過(guò)依照用于校正畸變像差的規(guī)定的函數(shù)進(jìn)行畸 變校正前的圖像數(shù)據(jù)的坐標(biāo)轉(zhuǎn)換，對(duì)圖像數(shù)據(jù)中的畸變像差進(jìn)行校正。
[0049] 以下說(shuō)明本實(shí)施方式的拍攝裝置的動(dòng)作。圖4是示出拍攝裝置進(jìn)行的靜態(tài)圖像拍 攝時(shí)的像素校正動(dòng)作的處理的流程圖。在由用戶進(jìn)行靜態(tài)圖像拍攝執(zhí)行的指示后，CPU215 執(zhí)行用于靜態(tài)圖像拍攝的利用攝像元件207進(jìn)行的攝像（曝光）（步驟S101)。依照預(yù)先設(shè) 定的讀出方式從攝像元件207讀出通過(guò)攝像得到的圖像信號(hào)。該所讀出的圖像信號(hào)在由模 擬處理部211進(jìn)行模擬處理、并在AD轉(zhuǎn)換部213中被數(shù)字化后，作為拍攝數(shù)據(jù)被臨時(shí)存儲(chǔ) 到DRAM227中。在拍攝后，CPU215執(zhí)行利用圖像處理部217進(jìn)行的圖像處理。此時(shí)，圖像 處理部217的WB校正處理部2171從DRAM227中讀出拍攝數(shù)據(jù)并實(shí)施白平衡校正處理（步 驟 S102)。
[0050] 接著，校正范圍確定部2172取得光學(xué)信息（步驟S103)。在光學(xué)信息的取得后，校 正范圍確定部2172設(shè)定校正范圍（步驟S104)。圖5是示出校正范圍例的圖。校正范圍是 能夠根據(jù)更換鏡頭100的光學(xué)條件的變化而發(fā)生變化的校正系數(shù)的最大值和最小值。在之 后將說(shuō)明詳細(xì)情況，但本實(shí)施方式中的校正系數(shù)是焦點(diǎn)檢測(cè)像素的像素輸出與通常的攝像 像素的像素輸出之比（即焦點(diǎn)檢測(cè)像素中的光量的降低量）。該像素輸出之比除了根據(jù)形 成于焦點(diǎn)檢測(cè)像素上的遮光膜的面積而不同以外，還根據(jù)遮光膜的位置、入射到焦點(diǎn)檢測(cè) 像素的光的角度和像高而不同。并且，入射到焦點(diǎn)檢測(cè)像素的光的角度可對(duì)應(yīng)于光學(xué)條件 (焦距、對(duì)焦位置、光圈值等）發(fā)生變化。在本實(shí)施方式中，將分別與每個(gè)更換鏡頭100的 光學(xué)條件的最大值和最小值對(duì)應(yīng)的校正系數(shù)作為校正范圍存儲(chǔ)到R0M229中。由此，能夠判 定如之后說(shuō)明那樣計(jì)算出的校正系數(shù)的可靠性。此外，在判定為計(jì)算出的校正系數(shù)的可靠 性較低時(shí)，能夠通過(guò)將校正系數(shù)調(diào)整為校正范圍內(nèi)的值，減少像素校正處理中的校正誤差。 對(duì)于校正范圍，如圖5所示那樣存儲(chǔ)與右開口焦點(diǎn)檢測(cè)像素對(duì)應(yīng)的校正范圍和與左開口焦 點(diǎn)檢測(cè)像素對(duì)應(yīng)的校正范圍兩方。這是因?yàn)樵谟议_口焦點(diǎn)檢測(cè)像素和左開口焦點(diǎn)檢測(cè)像素 中，校正系數(shù)相對(duì)于像高的變化量不同。此外，存儲(chǔ)分別與光學(xué)條件的最大值、最小值對(duì)應(yīng) 的校正系數(shù)（校正范圍）的存儲(chǔ)器并非必須是照相機(jī)側(cè)的R0M，也可以將校正系數(shù)（校正范 圍）存儲(chǔ)到更換式鏡頭100內(nèi)部的R0M109中。并且，還可以通過(guò)與更換式鏡頭100的通信 取得分別與光學(xué)條件的最大值、最小值對(duì)應(yīng)的校正系數(shù)（校正范圍）。
[0051] 在設(shè)定了校正范圍后，校正范圍確定部2172取得光學(xué)條件（步驟S105)。光學(xué)條件 是拍攝動(dòng)作時(shí)的焦距、對(duì)焦位置、光圈值等在拍攝時(shí)能夠發(fā)生變化的光學(xué)信息。然后，校正 范圍確定部2172判定是否已取得光學(xué)條件（步驟S106)。在步驟S106中判定為未能取得 光學(xué)條件的情況下，校正范圍確定部2172使處理轉(zhuǎn)移到步驟S108。在步驟S106中判定為 已取得光學(xué)條件的情況下，校正范圍確定部2172根據(jù)光學(xué)條件調(diào)整校正范圍（步驟S107)。 該調(diào)整例如通過(guò)由校正系數(shù)的最大值Max和校正系數(shù)的最小值Min加上或減去與各個(gè)光學(xué) 條件對(duì)應(yīng)的系數(shù)來(lái)進(jìn)行。例如，在步驟S104中設(shè)定的校正范圍如以下那樣表示。
[0052] 校正范圍=A+B+C
[0053] 與光圈值對(duì)應(yīng)的校正范圍：A
[0054] 與焦距對(duì)應(yīng)的校正范圍：B
[0055] 與對(duì)焦位置對(duì)應(yīng)的校正范圍：C
[0056] 例如在已取得焦距的情況下，對(duì)應(yīng)于其值而縮窄焦距的校正范圍B。例如，在將預(yù) 先確定的校正范圍的調(diào)整量設(shè)為ΛΒ時(shí)，調(diào)整后的校正范圍為B = B - ΛΒ。通過(guò)這樣的校 正范圍的調(diào)整，結(jié)果，整體的校正范圍也變窄。
[0057] 接著，校正系數(shù)計(jì)算部2173計(jì)算校正系數(shù)（步驟S108)。以下，參照?qǐng)D6A和圖6B 說(shuō)明像素函數(shù)的計(jì)算方法例。通常，焦點(diǎn)檢測(cè)像素配置于作為需要焦點(diǎn)檢測(cè)的區(qū)域、圖6A 中施加了陰影的區(qū)域（以下稱作島區(qū)域）。這里，在說(shuō)明像素函數(shù)的計(jì)算方法時(shí)，設(shè)為在島 區(qū)域中的Gr像素的位置處各配置η個(gè)右開口焦點(diǎn)檢測(cè)像素和左開口焦點(diǎn)檢測(cè)像素。此外， 如圖6Α所示，將攝像元件207的水平像高定義為X軸，并且將焦點(diǎn)檢測(cè)像素（島區(qū)域）在 水平像高方向上的開始X坐標(biāo)定義為start_x。
[0058] 在計(jì)算校正系數(shù)時(shí)，校正系數(shù)計(jì)算部2173計(jì)算與焦點(diǎn)檢測(cè)像素相鄰的兩個(gè)攝像 像素 B的像素輸出之比Dif_B。例如，在圖6B所示的右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì) 算由箭頭1示出的、攝像像素 B2的像素輸出B2與攝像像素 B3的像素輸出B3之比。因此， Dif_B由以下的（式1)給出。
[0059] Dif_B = B2/B3 (式 1)
[0060] 然后，校正系數(shù)計(jì)算部2173計(jì)算與焦點(diǎn)檢測(cè)像素同色且附近的兩個(gè)攝像像素 Gb 的像素輸出之比Dif_G。例如，在右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì)算由箭頭2示出的、 攝像像素 Gb2的像素輸出Gb2與攝像像素 Gb3的像素輸出Gb3之比。因此，Dif_G由以下 的（式2)給出。
[0061] Dif_G = Gb2/Gb3 (式 2)
[0062] 進(jìn)而，校正系數(shù)計(jì)算部2173計(jì)算焦點(diǎn)檢測(cè)像素的像素輸出與如下的攝像像素 Gr 的像素輸出之比，該攝像像素 Gr是與焦點(diǎn)檢測(cè)像素同色且與相位差的檢測(cè)方向垂直的方 向上的附近的攝像像素。例如，在右開口焦點(diǎn)檢測(cè)像素 Gr2的情況下，計(jì)算由箭頭3示出的、 右開口焦點(diǎn)檢測(cè)像素 Gr2的像素輸出Gr2與攝像像素 Grl的像素輸出Grl之比。此外，在 左開口焦點(diǎn)檢測(cè)像素 Gr3的情況下，計(jì)算由箭頭4示出的、左開口焦點(diǎn)檢測(cè)像素 Gr3的像素 輸出Gr3與攝像像素 Grl的像素輸出Grl之比。這里，圖6B的例子中的攝像像素 Grl是島 外的像素。如果并非島內(nèi)的全部Gr像素都為焦點(diǎn)檢測(cè)像素，則也可以計(jì)算與島內(nèi)的攝像像 素 Gr的像素輸出之比。然后，校正系數(shù)計(jì)算部2173計(jì)算攝像像素 Gr的像素輸出與該攝像 像素 Gr附近的兩個(gè)攝像像素 Gb的像素輸出之差的比，所述攝像像素 Gr是與焦點(diǎn)檢測(cè)像素 同色且與相位差的檢測(cè)方向垂直的方向上的附近的攝像像素。例如，在右開口焦點(diǎn)檢測(cè)像 素 Gr2的情況下，計(jì)算由箭頭5示出的、攝像像素 Grl的像素輸出與攝像像素 Gbl和攝像像 素 Gb2的像素輸出之差的比。進(jìn)而，校正系數(shù)計(jì)算部2173計(jì)算考慮到圖案變化的焦點(diǎn)檢測(cè) 像素與其附近的攝像像素的像素輸出之比Dif_pRi。Dif_pRi由以下的（式3)給出。
[0063] Dif_pRi = (Gr2/Grl)-(Gbl-Gb2)/Grl (式 3)
[0064] (式3)的第1項(xiàng)表示焦點(diǎn)檢測(cè)像素與其附近的攝像像素的像素輸出之比，第2項(xiàng) 表示圖案變化的影響程度。
[0065] 校正系數(shù)計(jì)算部2173使用Dif_B和Dif_G計(jì)算權(quán)重系數(shù)W。權(quán)重系數(shù)W是Dif_ B和Dif_G各自越接近1則其值越接近1的系數(shù)，例如以下的（式4)那樣使用高斯函數(shù)進(jìn) 行1+笪"擬甫系救W不一宙需悪儲(chǔ)田高ffi函救講行1+笪"
【權(quán)利要求】
1. 一種拍攝裝置，其具備： 攝像部，其利用攝像元件拍攝被攝體并輸出拍攝數(shù)據(jù)，所述攝像元件在攝像像素的一 部分位置處配置有用于進(jìn)行焦點(diǎn)檢測(cè)的焦點(diǎn)檢測(cè)像素；以及 圖像處理部，其利用校正系數(shù)來(lái)校正所述拍攝數(shù)據(jù)中的、從所述焦點(diǎn)檢測(cè)像素輸出的 像素?cái)?shù)據(jù)， 所述圖像處理部包含： 校正范圍確定部，其根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件， 確定所述校正系數(shù)的范圍作為校正范圍； 校正系數(shù)計(jì)算部，其根據(jù)位于所述焦點(diǎn)檢測(cè)像素的周邊的像素的像素?cái)?shù)據(jù)計(jì)算所述校 正系數(shù)；以及 像素校正部，其根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù) 進(jìn)行校正。
2. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述像素校正部在所述校正系數(shù)超過(guò)所述校正范圍的情況下，將所述校正系數(shù)調(diào)整到 所述校正范圍內(nèi)。
3. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述攝像元件進(jìn)行多次所述拍攝，并輸出多個(gè)拍攝數(shù)據(jù)， 所述校正范圍確定部取得分別與由所述攝像元件取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所 述攝影光學(xué)系統(tǒng)的光學(xué)條件，并根據(jù)與多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所述光學(xué)條件確定所述校 正范圍。
4. 根據(jù)權(quán)利要求3所述的拍攝裝置，其中， 所述拍攝裝置還具備對(duì)與所述攝影光學(xué)系統(tǒng)相關(guān)的信息進(jìn)行存儲(chǔ)的存儲(chǔ)部， 所述校正范圍確定部根據(jù)存儲(chǔ)在所述存儲(chǔ)部中的所述信息設(shè)定最大的校正范圍，并根 據(jù)所述多個(gè)所述光學(xué)條件和所述最大的校正范圍確定所述校正范圍。
5. 根據(jù)權(quán)利要求3所述的拍攝裝置，其中， 所述校正范圍確定部在未能取得所述光學(xué)條件的情況下對(duì)所述光學(xué)條件進(jìn)行推測(cè)，并 根據(jù)該推測(cè)出的光學(xué)條件確定所述校正范圍。
6. 根據(jù)權(quán)利要求5所述的拍攝裝置，其中， 所述校正范圍確定部根據(jù)與之前所取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的所述光學(xué)條件的變化 量，推測(cè)取得此次的拍攝數(shù)據(jù)時(shí)的光學(xué)條件。
7. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備光圈檢測(cè)部，所述光圈檢測(cè)部檢測(cè)所述攝影光學(xué)系統(tǒng)的光圈值作 為所述光學(xué)條件， 所述校正范圍確定部根據(jù)所述光圈值確定校正范圍。
8. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備焦距檢測(cè)部，所述焦距檢測(cè)部檢測(cè)所述攝影光學(xué)系統(tǒng)的焦距作為 所述光學(xué)條件， 所述校正范圍確定部根據(jù)所述焦距確定所述校正范圍。
9. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述拍攝裝置還具備對(duì)焦鏡頭位置檢測(cè)部，所述對(duì)焦鏡頭位置檢測(cè)部檢測(cè)所述攝影光 學(xué)系統(tǒng)的對(duì)焦鏡頭的位置， 所述校正范圍確定部根據(jù)所述對(duì)焦鏡頭的位置確定所述校正范圍。
10. 根據(jù)權(quán)利要求1所述的拍攝裝置，其中， 所述校正系數(shù)計(jì)算部根據(jù)從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)與從位于所述焦點(diǎn)檢 測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)之比，計(jì)算所述校正系數(shù)。
11. 一種圖像處理方法，利用校正系數(shù)對(duì)通過(guò)攝像元件得到的拍攝數(shù)據(jù)中的從焦點(diǎn)檢 測(cè)像素輸出的像素?cái)?shù)據(jù)進(jìn)行校正，所述攝像元件在攝像像素的一部分位置處配置有用于進(jìn) 行焦點(diǎn)檢測(cè)的所述焦點(diǎn)檢測(cè)像素，在所述圖像處理方法中，具備以下步驟： 根據(jù)用于在所述攝像元件上形成像的攝影光學(xué)系統(tǒng)的光學(xué)條件，確定所述校正系數(shù)的 范圍作為校正范圍； 根據(jù)從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)計(jì)算所述校正系數(shù)；以及 根據(jù)所述校正系數(shù)和所述校正范圍，對(duì)所述焦點(diǎn)檢測(cè)像素的像素?cái)?shù)據(jù)進(jìn)行校正。
12. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：在所述校正系數(shù)超過(guò)所述校正范圍的情況 下，將所述校正系數(shù)調(diào)整到所述校正范圍內(nèi)。
13. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：取得分別與多次所述拍攝對(duì)應(yīng)的所述攝影光 學(xué)系統(tǒng)的光學(xué)條件，并根據(jù)與多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的多個(gè)所述光學(xué)條件確定所述校正范圍。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 確定所述校正范圍的步驟還包含以下步驟： 根據(jù)與所述攝影光學(xué)系統(tǒng)相關(guān)的信息設(shè)定最大的校正范圍；以及 根據(jù)所述多個(gè)光學(xué)條件和所述最大的校正范圍確定所述校正范圍。
15. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：在未能取得所述光學(xué)條件的情況下對(duì)所述光 學(xué)條件進(jìn)行推測(cè)，并根據(jù)該推測(cè)出的光學(xué)條件確定所述校正范圍。
16. 根據(jù)權(quán)利要求15所述的圖像處理方法，其中， 所述光學(xué)條件的推測(cè)包含以下步驟：根據(jù)與之前所取得的多個(gè)拍攝數(shù)據(jù)對(duì)應(yīng)的所述光 學(xué)條件的變化量，推測(cè)取得此次的拍攝數(shù)據(jù)時(shí)的光學(xué)條件。
17. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的光圈值確定校正范圍。
18. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的焦距確定所述校正范圍。
19. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 確定所述校正范圍的步驟包含以下步驟：根據(jù)作為所述光學(xué)條件的所述攝影光學(xué)系統(tǒng) 的對(duì)焦鏡頭的位置確定所述校正范圍。
20. 根據(jù)權(quán)利要求11所述的圖像處理方法，其中， 計(jì)算所述校正系數(shù)的步驟包含以下步驟：根據(jù)從所述焦點(diǎn)檢測(cè)像素輸出的像素?cái)?shù)據(jù)與 從位于所述焦點(diǎn)檢測(cè)像素的周邊的像素輸出的像素?cái)?shù)據(jù)之比，計(jì)算所述校正系數(shù)。
【文檔編號(hào)】H04N9/64GK104333680SQ201410346411
【公開日】2015年2月4日 申請(qǐng)日期:2014年7月21日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】松永拓也 申請(qǐng)人:奧林巴斯株式會(huì)社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊！
1