圖像傳感器單元和系統(tǒng)的制作方法

文檔序號：10698639閱讀：678來源：國知局

圖像傳感器單元和系統(tǒng)的制作方法
【專利摘要】提供了一種圖像傳感器單元和系統(tǒng)。二維顏色信息和三維深度信息從二維像素陣列并行地獲得。二維像素陣列布置在多個行的第一組中。所述陣列的第二組的行的像素可操作為產生二維顏色信息，陣列的第三組的行的像素可操作為產生三維深度信息。第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數。以交替的方式，從第二組的行中選擇的行接收二維顏色信息，并且從第三組的行中選擇的行來接收三維深度信息。
【專利說明】
圖像傳感器單元和系統(tǒng)
[0001 ]本申請是2015年9月1日提交的第14/842,822號美國專利申請的部分繼續(xù)專利申請，并且要求于2015年4月20日提交的第62/150,252號美國臨時專利申請、于2015年6月19 日提交的第62/182，404號美國臨時專利申請、于2015年8月10日提交的第62/203，386號美國臨時專利申請、以及于2015年9月16日在美國提交的第14/856,552號專利申請的優(yōu)先權權益，每個專利申請的公開內容通過引用全部包含于此。
技術領域
[0002] 本公開總地涉及圖像傳感器。具體而言，不限制地，這里公開的具體實施例是指基于三角測量的系統(tǒng)以及使用激光器點掃描和互補金屬氧化物半導體(CMOS)圖像傳感器(也用于三維(3D)物體的二維(2D)成像)對3D物體的深度測量的方法。
【背景技術】
[0003] 三維（3D)成像系統(tǒng)正越來越多地用于廣泛多樣的應用中，諸如工業(yè)生產、視頻游戲、電腦繪圖、機器人手術、消費者顯示、監(jiān)控視頻、3D建模、房地產銷售等。
[0004] 現有的3D成像技術可以包括例如，基于渡越時間（TOF)的測距成像、立體視覺系統(tǒng) 和結構光(SL)方法。
[0005] 在TOF方法中，基于已知的光速一通過測量光信號針對圖像的每個點在照相機和 3D物體之間行進所需的往返時間，來求解至3D物體的距離。TOF照相機可以使用無掃描方法以利用每個激光或光脈沖來捕獲整個場景。TOF方法的一些示例性應用可以包括:諸如基于實時距離圖像的活動行人安全或預碰撞檢測的先進汽車應用;追蹤人諸如在視頻游戲機上與游戲互動期間的移動;在工業(yè)機器視覺中，分類物體并且?guī)椭鷻C器人發(fā)現項目（諸如在傳送帶上的項目）等。
[0006] 在立體成像或立體視覺系統(tǒng)中，彼此水平放置的兩個照相機用于獲得對場景或場景中的3D物體的兩個不同視圖。通過比較這兩個圖像，可以獲得針對3D物體的相對深度信息。立體視覺在諸如機器人學的領域十分重要，以提取關于在自主系統(tǒng)/機器人附近的3D物體的相對位置的信息。用于機器人的其他應用包括目標識別，其中，立體深度信息使得機器人系統(tǒng)分開擋住圖像部分，否則機器人不能區(qū)分兩個單獨的物體，諸如在另一個前面的一個物體，部分或完全隱藏另一個物體。3D立體顯示也用于娛樂和自動化系統(tǒng)。
[0007] 在SL方法中，物體的3D形狀可以使用投射的光圖案和用于成像的照相機來測量。在SL方法中，將已知的光的圖案(通常為網格或水平條或平行條紋的圖案)投射到場景或場景中的3D物體上。投射的圖案可以在照到3D物體的表面時而變形或移動。這種變形可以使 SL視覺系統(tǒng)計算物體的深度和表面信息。因此，將窄帶光投射到3D表面可以產生從其他透視圖與投射儀的透視圖的失真而會出現的照亮的線，并且可以用于照亮的表面形狀的幾何重建。基于SL的3D成像可以用于不同的應用，諸如，由警察機關以3D場景拍攝指紋，在生產工藝期間組件的聯機檢查，在衛(wèi)生保健中針對人體體型或人體皮膚的微觀結構的現場測量等。

【發(fā)明內容】

[0008] 一個示例性實施例提供一種方法，所述方法包括：圖像傳感器處接收至少一個物體的圖像，所述圖像傳感器包括二維(2D)像素陣列，布置在多個行的第一組中，所述陣列的第二組的行的像素可操作為產生至少一個物體的2D顏色信息，陣列的第三組的行的像素可操作為產生至少一個物體的3D深度信息，第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數；以及以交替的方式從第二組的行中選擇行來接收至少一個物體的2D顏色信息，并且從第三組的行中選擇行來接收至少一個物體的3D深度信息。
[0009] -個示例性實施例提供一種圖像傳感器單元，包括:二維(2D)像素陣列和控制器。所述2D像素陣列布置在多個行的第一組中。所述陣列的第二組的行的像素可操作為基于通過2D像素陣列接收的至少一個物體的圖像而產生2D顏色信息，陣列的第三組的行的像素可操作為產生至少一個物體的3D深度信息。第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數?？刂破鹘Y 合到2D像素陣列，以交替的方式從第二組的行中選擇行來輸出基于至少一個物體的圖像而產生的2D顏色信息，并且從第三組的行中選擇行來輸出產生的至少一個物體的3D深度信息。
[0010] 一個示例性實施例提供一種系統(tǒng)，包括:二維（2D)像素陣列、控制器和顯示器。2D 像素陣列布置在多個行的第一組的中，其中，所述陣列的第二組的行的像素可操作為基于通過2D像素陣列接收的至少一個物體的圖像而產生2D顏色信息，陣列的第三組的行的像素可操作為產生至少一個物體的3D深度信息。第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數?？刂破?結合到2D像素陣列，而以交替的方式從第二組的行中選擇行來輸出基于至少一個物體的圖像而產生的2D顏色信息，并且從第三組的行中選擇行來輸出產生的至少一個物體的3D深度信息。顯示器結合到2D像素陣列和控制器，并且可操作為基于產生的2D顏色信息來顯示至少一個物體的第一圖像，并且基于產生的3D深度信息來顯示至少一個物體的第二圖像。
【附圖說明】
[0011] 在以下部分中，將參照附圖中示出的示例性實施例來描述這里公開的主旨的方面，在附圖中：
[0012] 圖1示出根據這里公開的一個實施例的系統(tǒng)的高度簡化的局部結構；
[0013] 圖2示出根據這里公開的一個實施例的圖1中的系統(tǒng)的示例性操作結構；
[0014] 圖3描述了示出根據這里公開的一個實施例可以如何執(zhí)行3D深度測量的示例性流程圖；
[0015] 圖4是根據這里公開的一個實施例的為了 3D深度測量可以如何執(zhí)行點掃描的示例性圖示；
[0016] 圖5示出根據這里公開的一個實施例的針對掃描的光斑的示例性時間戳；
[0017] 圖6示出根據這里公開的一個實施例的圖1和圖2中的圖像傳感器的2D像素陣列的示例性電路詳情以及圖像處理單元中的相關處理電路的一部分；
[0018] 圖7A是根據這里公開的一個實施例的圖像傳感器單元的示例性結構；
[0019] 圖7B示出根據這里公開的一個實施例的用于3D深度測量的示例性⑶S+ADC單元的架構詳情；
[0020] 圖8是根據這里公開的具體實施例示出圖1和圖2的系統(tǒng)中的不同信號的示例性時序以產生在操作的3D線性模式下的基于時間戳的像素特定輸出的時序圖；
[0021] 圖9示出示例性查找表(LUT)以示出在這里公開的具體實施例中可以如何使用LUT 來確定3D深度值；
[0022] 圖10是示出根據這里公開的具體實施例的圖1和圖2的系統(tǒng)中的不同信號的示例性時序以使用操作的2D線性模式產生2D RGB圖像的時序圖；
[0023] 圖11是示出根據這里公開的具體實施例的圖1和圖2的系統(tǒng)中的不同信號的示例性時序以在操作的3D對數(log)模式下產生基于時間戳的像素特定輸出的時序圖；
[0024] 圖12描述了根據這里公開的一個實施例的圖1和圖2中的系統(tǒng)的整體結構；
[0025]圖13描述了根據這里公開的實施例同時產生并且獲得2D顏色信息和3D深度信息的過程的示例性流程圖；
[0026]圖14描述了根據這里公開的一個實施例為了 3D深度測量可以如何執(zhí)行至半透明物體的距離和至半透明物體后面的物體的距離的示例性圖示；
[0027] 圖15描述了根據這里公開的一個實施例為了 3D深度測量可以如何執(zhí)行半透明介質的深度成像的示例性圖示；以及
[0028] 圖16描述了根據這里公開的一個實施例存在多條返回路徑的情況下為了 3D深度測量可以如何執(zhí)行物體的深度成像的示例性圖示。
【具體實施方式】
[0029] 在以下【具體實施方式】中，為了提供對公開的透徹理解，闡述了各種具體的細節(jié)。然而，本領域技術人員將理解，在沒有這些具體細節(jié)的情況下也可以實現公開的方面。在其他情況下，可以不詳細描述已知的方法、程序、組件和電路以免模糊這里公開的主旨。此外，描述的方面可以實現為執(zhí)行在任意成像裝置或系統(tǒng)(包括，例如智能電話、用戶設備(UE)、膝上型計算機等）中的低電力、3D深度測量。
[0030] 對"一個實施例"或"實施例"貫穿本說明書的引用意味著，結合實施例描述的具體特征、結構或特性被包括在這里公開的至少一個實施例中。因此，貫穿本說明書在各種地方出現的短語"在一個實施例中"或"在實施例中"或"根據一個實施例"（或具有類似含義的其他短語)不必全部表示相同的實施例。如這里使用的，詞"示例性"意味著"用作示例、實例或例示"。這里描述為"示例性"的任意實施例不必解釋為優(yōu)先的或比其他實施例有利。此外，具體的特征、結構或特性可以在一個或多個實施例中以任意合適的形式結合。此外，根據本文中討論的上下文，單數形式可以包括相應的復數形式，復數形式可以包括相應的單數形式。類似地，帶有連字符的術語(例如，"二-維"、"預-確定的"、"像素-特定"等)可以偶爾與相應的非連字符版本(例如，"二維"、"預確定的"、"像素特定"等)來交換使用，大寫條目（例如，"Counter Clock"、"Row Select"、"PIX0UT"等）可以利用相應的非大寫版本（例如， "counter clock"、"row select"、"pixout"等)來交換使用。這種偶爾可交換使用不應當視為彼此不一致。
[0031] 注意，起初，術語"結合"、"有效結合"、"連接"、"電連接"以及其變型等可以在這里可交換地使用，以總地涉及以有效方式而電力地/電子連接的條件。類似地，如果第一實體將信息信號(不論包括地址、數據或控制信息）電發(fā)送(不論通過有線方法或無線方法)到第二實體，或者從第二實體接收信息信號而與這些信號的類型(模擬或數字)無關，則第一實體被認為與第二實體(或多個實體)通信。進一步注意，這里示出并討論的各種附圖（包括組件圖）僅是用于例示的目的，而不是按比例繪制。類似地，各種波形和時序圖僅是用于例示的目的。
[0032] 如這里使用的術語"第一"、"第二"用作針對它們在前面的名詞的標記，并不意味著任何類型的順序(例如，空間、時間、邏輯等），除非這里明確定義。此外，相同的附圖標記可以貫穿兩個或更多個附圖使用，以表示具有相同或類似功能的部分、組件、塊、電路、單元或模塊。然而，這種使用僅是為了簡單例示和易于描述;其并不意味著這種組件或單元的構造和結構詳情在所有的實施例中是相同的，或者這種通常引用的部分/模塊僅是實現這里公開的具體實施例的教導的方式。
[0033]這里觀察到，前面提到的3D技術具有許多缺陷。例如，基于TOF的3D成像系統(tǒng)會需要高電力以操作光學或電子快門。這些系統(tǒng)典型地在幾米到幾十米的范圍操作，但是這些系統(tǒng)的分辨率隨著短距離的測量而降低，從而使在約一米的距離內的3D成像幾乎不切實際。因此，TOF系統(tǒng)針對主要以近距離拍攝圖片的基于手機的照相機應用不是令人滿意的。 TOF傳感器也會需要具有大像素尺寸(通常大于7μπι)的特殊像素。這些像素也會易于受環(huán)境光的傷害。
[0034]立體成像方法通常僅利用網紋表面工作。由于需要匹配特征并且發(fā)現物體的圖像的立體像對之間的對應，其具有高計算復雜性。這需要高系統(tǒng)電力，其中，高系統(tǒng)電力在需要電源保護(諸如在智能電話中）的應用中不是期望的屬性。此外，立體成像需要兩個規(guī)則的、高位分辨率傳感器以及兩個透鏡，使得整個組件不適合于便攜裝置(像高價的裝置資產 (device real estate)的蜂窩電話或平板電腦）中的應用。
[0035] SL方法導致距離模糊，并且也需要高系統(tǒng)電力。針對3D深度測量，SL方法會需要具有多個圖案的圖像，所有這些圖案增大計算復雜性和功耗。此外，SL成像也會需要具有高位分辨率的規(guī)則圖像傳感器。因此，基于結構光的系統(tǒng)可能不適合于智能電話中的低成本、低電力、緊湊型圖像傳感器。
[0036]與上述3D技術相反，這里公開的具體實施例提供用于實現對便攜式電子裝置(諸如智能電話、平板電腦、UE等）的低電力、3D成像系統(tǒng)。依據這里公開的具體實施例的2D成像傳感器可以利用可見光激光器掃描來捕獲2D RGB(紅色、綠色、藍色）圖像和3D深度測量，同時在3D深度測量期間能夠抑制環(huán)境光。這里注意，盡管以下討論會頻繁地提及可見光激光器作為用于點掃描的光源并且提及2D RGB傳感器作為圖像/光捕獲裝置，但是這種提及僅是為了說明和討論一致性的目的。以下討論的可見激光器和基于RGB傳感器的示例可以在諸如智能電話、平板電腦或UE的具有照相機的低電力、消費者級別移動電子裝置中發(fā)現應用。然而，應當理解，這里公開的主旨不限于以下提及的可見激光器-基于RGB傳感器示例。更恰當地，根據這里公開的具體實施例，基于點掃描的3D深度測量和環(huán)境光抑制方法可以使用2D傳感器和激光光源（用于點掃描）的許多不同組合來執(zhí)行，諸如（但不限于）以下組合：（i)2D顏色(RGB)傳感器與可見光激光源，其中，激光源可以為紅色(R)、綠色(G)或藍色 (B)光的激光器或者產生這些光的組合的激光源；（ii)可見光激光器與具有紅外線（IR)截止濾波器的2D RGB顏色傳感器；（iii)近紅外線(NIR)激光器與2D IR傳感器；（iv)NIR激光器與2D NIR傳感器；（V)NIR激光器與2D RGB傳感器(沒有IR截止濾波器）；（Vi)NIR激光器與 2D RGB傳感器(沒有NIR截止濾波器）；（vii)2D RGB-IR傳感器與可見或NIR激光器；（viii) 2D RGBW(紅色、綠色、藍色、白色)傳感器與可見激光器或NIR激光器的任一者;等。
[0037]在3D深度測量期間，整個傳感器可以連同激光掃描而操作為二進制傳感器以重建 3D內容。在具體的實施例中，傳感器的像素尺寸可以像Ιμπι那樣小。此外，由于低位分辨率，根據這里公開的具體實施例的圖像傳感器中的模擬數字轉換器(ADC)單元可以需要比傳統(tǒng) 的3D成像系統(tǒng)中對高位分辨率傳感器的需求顯著較低的處理電力。由于需要較小處理電力，所以根據這里公開的主旨的3D成像模塊可以需要較低的系統(tǒng)電力，因此，可以非常適合于包含在低電力裝置(像智能電話)中。
[0038]在具體實施例中，這里公開的主旨利用一組線性傳感器為了 3D深度測量而使用三角測量和具有激光光源的點掃描。激光掃描平面和成像平面使用對極幾何來定位。根據這里公開的一個實施例的圖像傳感器可以使用時間戳來去除三角測量方法中的模糊，從而減少深度計算的量和系統(tǒng)電力。相同的圖像傳感器，即，圖像傳感器中的每個像素可以在通常的2D(RGB顏色或非RGB)成像模式以及3D激光掃描模式下使用。然而，在激光掃描模式下，圖像傳感器中的ADC的分辨率減小到二進制輸出（僅1比特分辨率），從而在合并圖像傳感器和相關的處理單元的芯片中改善讀出速度并且降低功耗，例如，因 ADC單元中的切換。此外，點掃描方法可以使系統(tǒng)一次采集所有測量，從而減少深度測量的潛在因素并且減少運動模糊。
[0039]正如之前提到的，在具體實施例中，整個圖像傳感器可以使用例如環(huán)境光來用于常規(guī)2D RGB顏色成像，以及使用可見激光掃描用于3D深度成像。這種相同照相機單元的兩次使用可以節(jié)省移動裝置的空間和成本。此外，在一些應用中，用于3D應用的可見激光器相比于近紅外(NIR)激光器可以對用戶眼睛安全更好。傳感器以可見光譜可以具有比NIR光譜高的量子效率，導致光源的低功耗。在一個實施例中，兩用圖像傳感器可以像規(guī)則2D傳感器一樣在用于2D成像的操作的線性模式下工作。然而，針對3D成像，傳感器可以在適度的照明條件下以線性模式工作，并且在強環(huán)境光下以對數模式工作，以通過抑制強環(huán)境光來促進可見激光源的繼續(xù)使用。此外，在NIR激光器的情況下，以及例如，如果具有RGB傳感器的采用IR截止濾波器的通帶的帶寬不足夠窄，則會需要環(huán)境光抑制。
[0040]圖1示出根據這里公開的一個實施例的系統(tǒng)15的高度簡化的局部結構。如所示出的，系統(tǒng)15可以包括成像模塊17,其中，成像模塊17結合到處理器或主機19并且與處理器或主機19通信。系統(tǒng)15也可以包括結合到處理器19的存儲器模塊(或存儲器)20,以存儲從成像模塊17接收的諸如圖像數據的信息內容。在具體的實施例中，整個系統(tǒng)15可以被包封在單集成電路（IC)或芯片中?？蛇x擇地，模塊17、19和20中的每個可以以獨立芯片來實現。此外，存儲器模塊20可以包括一個以上存儲器芯片，處理器模塊19也可以包括多個處理芯片。無論如何，關于圖1中的模塊的封裝以及以單芯片或使用多個分立的芯片如何制造或實現模塊的詳情與本討論不相關，因此，這里不提供此詳情。
[0041]系統(tǒng)15可以是依據這里公開的主旨針對2D和3D照相機應用構造的任意低電力電子裝置。系統(tǒng)15可以是便攜的或非便攜的。系統(tǒng)15的便攜版本的一些示例可以包括受歡迎的消費者電子配件，諸如(但不限于)移動裝置、蜂窩電話、智能電話、用戶設備(UE)、平板電腦、數字照相機、膝上型或臺式計算機、電子智能手表、機器對機器(M2M)通信單元、虛擬現實(VR)設備或模塊、機器人等。另一個方面，系統(tǒng)15的非便攜版本的一些示例可以包括電子游戲室中的游戲控制臺、交互式視頻終端、汽車、機器視覺系統(tǒng)、工業(yè)機器人、VR設備、車輛中駕駛員側安裝的照相機(例如，監(jiān)視駕駛員是否為醒著的）等。依據這里公開的主旨提供的3D成像功能可以在許多應用中使用，諸如(但不限于)虛擬現實設備上的虛擬現實應用、網上聊天/游戲、3D文字、使用產品的3D圖像來搜索在線或本地(基于裝置的）目錄/數據庫以獲得與產品相關的信息(例如，食品項目類的卡路里含量）、機器人以及機器視覺應用、車輛應用(諸如自動駕駛應用)等。
[0042]在這里公開的具體實施例中，成像模塊17可以包括光源22和圖像傳感器單元24。如參照以下圖2更詳細地討論，在一個實施例中，光源22可以是可見激光器。在其他實施例中，光源可以是NIR激光器。圖像傳感器單元24可以包括如圖2中所示并且也在下文討論的像素陣列和輔助處理電路。
[0043] 在一個實施例中，處理器19可以是CPU，其中CPU可以是通用微處理器。在本文討論中，為了便于討論，術語"處理器"和"CPU"可以可交換地使用。然而，應當理解，代替CPU或除了 CPU，處理器19可以包括任意其他類型的處理器，諸如（但不限于)微控制器、數字信號處理器(DSP)、圖形處理單元(GPU)、專用集成電路(ASIC)處理器等。此外，在一個實施例中，處理器/主機19可以包括可以在分布式的處理環(huán)境中有效的一個以上CPU。處理器19可以被構造為根據具體指令集架構（ISA)，諸如（但不限于）x86指令集架構（32位或64位版本）、 PowerPC? ISA、或依賴RISC(精簡指令集計算機)ISA的MIPS(不具有連鎖管道階段的微處理器）指令集架構來執(zhí)行指令并且處理數據。在一個實施例中，處理器19可以是具有除了 CHJ功能以外的功能的芯片上系統(tǒng)(SoC)。
[0044] 在具體實施例中，存儲器模塊20可以是動態(tài)隨機存取存儲器(DRAM)(諸如，但不限于同步DRAM(SDRAM))，或基于DRAM的三維堆疊（3DS)存儲器模塊(諸如，但不限于高帶寬存儲器(HBM)模塊或者混合存儲立方體(HMC)存儲器模塊）。在其他實施例中，存儲器模塊20可以是固態(tài)驅動器(SSD)、非3DS DRAM模塊、或基于任何其他半導體的存儲系統(tǒng)，諸如(但不限于)靜態(tài)隨機存取存儲器(SRAM)、相變隨機存取存儲器(PRAM或PCRAM)、電阻式隨機存取存儲器(RRAM或ReRAM)、導體橋接RAM(CBRAM)、磁RAM(MRAM)、自旋轉移力矩MRAM(STT-MRAM) 等。
[0045] 圖2示出根據這里公開的一個實施例的圖1中的系統(tǒng)15的示例性操作結構。系統(tǒng)15 可以用于獲得針對3D物體(諸如，可以是個體物體或場景(未示出）內物體的3D物體26)的深度信息(沿著Z軸）。在一個實施例中，可以基于從圖像傳感器單元24接收的掃描數據而通過處理器19來計算深度信息。在另一個實施例中，深度信息可以通過其圖像傳感器單元24自身(諸如，在圖7A的實施例中的圖像傳感器單元的情況下)來計算。在具體實施例中，深度信息可以被處理器19作為3D用戶界面的部分來使用以使得系統(tǒng)15的用戶與物體的3D圖像交互，或者使用物體的3D圖像作為系統(tǒng)15上運行的游戲或另一個應用的部分。依據這里公開的主旨的3D成像也可以用于其他目的或應用，并且基本可以應用于任意場景或3D物體。
[0046] 在圖2中，采用X軸作為沿著裝置15的前面的水平方向，Y軸是豎直方向（在該視圖中的頁面向外），Z軸在被成像的物體26的大方向上遠離裝置15延伸。為了深度測量，模塊22 和24的光軸可以平行于Z軸。其他的光學布置也可以用于實現這里描述的原理，這些可選擇的布置被認為在這里公開的主旨的范圍內。
[0047]光源模塊22可以通過與相應的虛線30和31相關聯的示例性箭頭28和29來照明如所示的3D物體26,其中，虛線30和31表示可以用于在光學視場內點掃描3D物體26的光束或光學輻射的照明路徑?？梢允褂迷谝粋€實施例中可以為通過激光控制器34操作和控制的激光光源3 3的光學福射源，來執(zhí)行物體表面的逐行點掃描。來自激光源3 3的光束在激光控制器34的控制下，經由投射光學器件35在穿過3D物體26的表面的X-Y方向上可以點掃描。點掃描可以沿著掃描線將光斑投射到3D物體的表面上，如以下參照圖4和圖5詳細描述的。投射光學器件可以是聚焦透鏡、將來自激光器33的激光束在物體26的表面上聚集為點或斑的玻璃/塑料表面、或者其他圓柱形光學元件。在圖2的實施例中，凸面結構示出為聚焦透鏡35。然而，對于投射光學器件35，可以選擇任何其他合適的透鏡設計。物體26可以放置在來自光源33的照明光被投射光學器件35聚焦為光斑的聚焦位置。因此，在點掃描中，3D物體26的表面上的點或窄區(qū)域/斑可以通過由投射光學器件35引起的聚焦光束而被順序地照明。
[0048] 在具體實施例中，光源(或照明源)33可以是二極管激光器或發(fā)射可見光的發(fā)光二極管(LED)、NIR激光器、點光源、可見光光譜中的單色照明源(諸如，白燈和單色儀的結合），或者任何其他類型的激光光源。激光器33可以固定在裝置15的外殼內的一個位置處，但是可以在X-Y方向上可旋轉。激光器33可以是X-Y可尋址的（例如，通過激光控制器34)，以執(zhí)行 3D物體26的點掃描。在一個實施例中，可見光可以基本為綠色光。來自激光源33的可見光照明可以使用鏡子(未示出）投射到3D物體26的表面上，或者點掃描可以完全無反射鏡。在具體實施例中，光源模塊22可以包括比圖2的示例性實施例中所示的組件多或少的組件。
[0049] 在圖2的實施例中，從物體26的點掃描反射的光可以沿著由箭頭36和37以及虛線 38和39所指示的收集路徑行進。光收集路徑可以攜帶在接收來自光源33的照明時從物體26 的表面反射或者通過物體26的表面散射的光子。這里應當注意，使用圖2中（在圖4和圖5中也適用）的實線箭頭和虛線對各種傳播路徑的描述僅是例示的目的。該描述不應解釋為示出任何實際的光學信號傳播路徑。實際上，照明和收集信號路徑可以與圖2中所示的不同，并且可以不像圖2中所示的清楚地定義。
[0050] 從照明的物體26接收的光可以經由圖像傳感器單元24中的收集光學器件44聚焦到2D像素陣列42的一個或多個像素上。如同投射光學器件35,收集光學器件44可以是聚焦透鏡、將從物體26接收的反射光聚集到2D陣列42中的一個或多個像素上的玻璃/塑料表面、或其他圓柱形光學元件。在圖2的實施例中，凸面結構示出為聚焦透鏡44。然而，任何其他合適的透鏡設計可以選擇為收集光學器件44。此外，為了便于說明，在圖2中（也在圖6中）僅示出3 X 3像素陣列。然而，應當理解，現代像素陣列包括成千上萬或甚至數百萬的像素。像素陣列42可以是不同的像素可以收集不同顏色的光信號的RGB像素陣列。如前所述，在具體實施例中，像素陣列42可以是任意2D傳感器，諸如具有IR截止濾波器的2D RGB傳感器、2D IR 傳感器、2D NIR傳感器、2D RGBW傳感器、2D RGB-IR傳感器等。如稍后更詳細地描述，系統(tǒng)15 可以針對物體26 (或包含物體的場景）的2D RGB顏色成像以及針對物體26的3D成像(涉及深度測量)而使用相同的像素陣列42。稍后參照圖6討論像素陣列42的附加結構詳情。
[0051] 像素陣列42可以將接收的光子轉換為相應的電信號，其中，電信號之后被相關的圖像處理單元46處理以確定物體26的3D深度圖像。在一個實施例中，圖像處理單元46可以使用三角測量用于深度測量。稍后參照圖4討論三角測量方法。圖像處理單元46也可以包括用于控制像素陣列42的操作的相關電路。在以下稍后討論的圖7A和圖7B中示出了示例性圖像處理和控制電路。
[0052]處理器19可以控制光源模塊22和圖像傳感器單元24的操作。例如，系統(tǒng)15可以具有由用戶可控制的模式開關(未示出），以從2D成像模式切換到3D成像模式。如果用戶使用模式開關選擇2D成像模式，則處理器19可以激活圖像傳感器單元24,但是由于2D成像可以使用環(huán)境光，所以可以不激活光源模塊22。另一方面，如果用戶使用模式開關選擇3D成像，則處理器19可以激活模塊22和24兩者，并且也可以觸發(fā)圖像處理單元46中重置(RST)信號的水平的變化，以從線性模式切換到成像的對數模式，例如，如果環(huán)境光太強不能通過線性模式而被抑制（如下所討論的）。從圖像處理單元46接收的處理的圖像數據可以通過處理器 19存儲在存儲器20中。處理器19也可以將用戶選擇的2D或3D圖像顯示在裝置15的顯示屏 (未示出）上。處理器19可以在軟件或固件中編程，以執(zhí)行這里描述的各種處理任務。可選擇地或此外，處理器19可以包括用于執(zhí)行處理器19的一些或全部功能的可編程硬件邏輯電路。在具體實施例中，存儲器20可以存儲程序代碼、查找表(像圖9所示的查找表以及稍后討論的）、和/或臨時計算結果，以使處理器19執(zhí)行處理器19的功能。
[0053]圖3描述了示出根據這里公開的一個實施例可以如何執(zhí)行3D深度測量的示例性流程圖50。圖3中示出的各種操作可以通過系統(tǒng)15中的單個模塊或模塊的組合或系統(tǒng)組件來執(zhí)行。在這里的討論中，僅通過示例的方式，將具體任務描述為通過具體模塊或系統(tǒng)組件來執(zhí)行。其他模塊或系統(tǒng)組件也可以適當地被構造為執(zhí)行該任務。
[0054] 在圖3中，在塊52,系統(tǒng)15(更具體地，處理器19)可以使用光源(諸如圖2中的光源模塊22)沿著掃描線執(zhí)行3D物體(諸如圖2中的物體26)的一維（ID)點掃描。作為點掃描的部分，光源模塊22可以被構造為例如，通過處理器19將一系列光斑以逐行的方式投射到3D物體26的表面上。在塊54,系統(tǒng)15中的像素處理單元46可以選擇圖像傳感器中的一行像素，諸如圖2中的2D像素陣列42。圖像傳感器42具有以形成圖像平面的2D陣列布置的多個像素，選擇的行的像素將掃描線的極線(在塊52)形成在圖像平面上。以下參照圖4提供對極幾何的簡要討論。在塊56,像素處理單元46可以被處理器46有效地構造為，使用該行的像素中的相應像素來檢測每個光斑。這里觀察到，諸如，如果從照明的斑反射的光變?yōu)楸皇占鈱W器件 44聚焦到兩個或更多個相鄰的像素上，則從照明的光斑反射的光可以被單個像素或一個以上像素檢測。另一方面，可能的是，從兩個或更多個光斑反射的光可以在2D陣列42中的單個像素處聚集。以下討論的基于時間戳方法去除因通過相同的像素對兩個不同斑成像或通過兩個不同的像素對單個斑成像而導致的關于深度計算的模糊。在塊58,作為被處理器19適當地構造的圖像處理單元46可以響應于一系列光斑(在塊52的點掃描中）中的相應光斑的像素特定檢測(在塊56)而產生像素特定輸出。因此，在塊60中，圖像處理單元46可以至少基于像素特定輸出（在塊58)和由用于投射相應光斑(在塊52)的光源使用的掃描角度，來確定至3D物體的表面上的相應光斑的3D距離(或深度）。參照圖4更詳細討論深度測量。
[0055]圖4是根據這里公開的一個實施例的為了 3D深度測量可以如何執(zhí)行點掃描的示例性圖示。在圖4中，使用描繪激光器在X方向（具有角度"β"）和Y方向（具有角度"α"）的角向運動的箭頭62和64來示出激光源33的X-Y旋轉能力。在一個實施例中，激光控制器34可以基于從處理器19接收的掃描指令/輸入來控制激光源33的X-Y旋轉。例如，如果用戶選擇3D成像模式，處理器19可以指示激光控制器34來開始面對投射光學器件35的物體表面的3D深度測量。作為反應，激光控制器34可以通過激光光源33的X-Y移動來開始物體表面的ID X-Y點掃描。如圖4中所不，激光器33可以通過沿著ID水平掃描線投射光斑來點掃描物體26的表面，其中，兩條水平掃描線Sr 66和Sr+i 68由圖4中的虛線標識。由于物體26的表面的曲率，光斑 70至73可以形成圖4中的掃描線Sr 66。為了便于描述和清楚，構成掃描線Sr+i 68的光斑未使用附圖標記來標識。激光器33可以例如在從左到右的方向上一次一個光斑地沿著行R、R+ 1等掃描物體26。R、R+1等的值是參照2D像素陣列42中的像素的行，因此，這些值是已知的。例如，在圖4中的2D像素陣列42中，使用附圖標記"75"來標識像素行R，使用附圖標記"76"來標識像素行R+1。應當理解，僅為了例示的目的，從多個像素的行中選擇行R和R+1。
[0056]包括2D像素陣列42中像素的多個行的平面可以稱為圖像平面，然而，包括掃描線 (諸如線Sr和SR+1)的平面可以稱為掃描平面。在圖4的實施例中，圖像平面和掃描平面可以使用對極幾何來定向，使得2D像素陣列42中的像素的每個行R、R+1等形成相應的掃描線S R、 Sr+1等的對極線。如果照明的斑(在掃描線上)在圖像平面上的投射可以沿著作為行R自身的線形成區(qū)別光斑，則像素的行R可以認為是相應的掃描線Sr的極線。例如，在圖4中，箭頭78 示出激光器33對光斑71的照明，而箭頭80示出光斑71被聚焦透鏡44沿著行R 75而成像或投射。盡管圖4中未示出，但是觀察到，所有的光斑70至73將通過行R中的相應像素而成像。因此，在一個實施例中，激光器33和像素陣列42的諸如位置和方位的物理布置可以，使得物體 26的表面上的掃描線中照明的光斑可以通過像素陣列42中的相應行（因此形成掃描線的對極線的像素的行）中的像素來捕獲或檢測。
[0057]應當理解，2D像素陣列42中的像素可以以行和列來布置。照明的光斑可以被像素陣列42中的相應行和列引用。例如，在圖4中，在掃描線Sr中的光斑71指定為XR,i，以表示光斑71可以通過像素陣列42中的行R和列i (Ci)來成像。列Ci由虛線82表示。其他照明的斑可以類似地標識。如前所述，從兩個或更多個光斑反射的光可以通過行中的單個像素來接收，或者可選擇地，從單個光斑反射的光可以通過一行像素中的一個以上像素來接收，均是可能的。稍后討論的基于時間戳的方法可以去除因這樣的多個或重疊投射引起的深度計算的模糊。
[0058]在圖4的例示中，具有附圖標記"84"的箭頭表示光斑71距離沿著裝置15的前面的X 軸(諸如圖2中所示的X軸)的深度或距離Z(沿著Z軸）。在圖4中，具有附圖標記"86"的虛線表示，諸如可以視為被包括在也包括投射光學器件35和收集光學器件44的豎直平面中的軸。然而，為了便于解釋三角測量方法，激光源33在圖4中示出為在X軸86上，而不是投射光學器件35上。在基于三角測量方法中，Z的值可以使用以下等式來確定：
[0059]
⑴.
[0060] 上述方程式（1)中的參數也在圖4中示出?；谘b置15的物理結構，可以預確定針對方程式（1)的右側的參數的值。在方程式（1)中，參數h是收集光學器件44與圖像傳感器42 (假設在收集光學器件44后面的豎直平面中）之間的距離(沿著Z軸）；參數d是光源33和與圖像傳感器24相關的收集光學器件44之間的偏移距離;參數q是收集光學器件44與檢測相應的光斑的像素之間的偏移距離(在圖4的示例中，檢測/成像像素 i由與光斑XR,i 71相關的列 Ci來表示）；參數Θ是光源針對考慮之中的光斑(在圖4的示例中，光斑71)的掃描角度或光束角?？蛇x擇地，參數q也可以被認為在像素陣列42的視場內的光斑的偏移。
[0061]從方程式（1)看出，僅參數Θ和q針對給定的點掃描是可變化的;其他參數h和d因裝置15的物理幾何基本是固定的。因為行R 75是掃描線Sr的極線，物體26的深度差或深度輪廓可以通過水平方向上的圖像移位來反應，如由針對正在成像的不同光斑的參數q的值來表示。如以下討論的，根據這里公開的具體實施例的基于時間戳的方法可以用于發(fā)現捕獲的光斑的像素位置與激光源33的相應掃描角度之間的對應關系。換句話說，時間戳可以表示參數q和Θ的值之間的關系。因此，根據已知的掃描角度Θ的值和成像的光斑的相應位置 (如由參數q表示的），至光斑的距離Z可以使用三角測量等式（1)來確定。
[0062] 這里觀察到，用于距離測量的三角測量的使用在相關文獻(包括，例如，Brown等人的第2011/0102763A1號美國專利公開）中被描述。在與基于三角測量的距離測量相關的 Brown公開中的討論通過引用全部包含于此。
[0063]圖5示出根據這里公開的一個實施例的針對掃描的光斑的示例性時間戳。諸如參照圖8的討論，稍后提供產生個體時間戳的額外詳情。與圖4對比，在圖5的實施例中，收集光學器件44和激光器33以偏移布置示出，以反映如圖2的實施例中所示這些部件的實際物理幾何。通過示例的方式，掃描線66與相應的光斑70至73-起在圖5中示出，其中，如上所述，相應的光斑70至73可以基于通過稀疏的激光點光源33對物體表面從左到右的點掃描來投射。因此，如所示的，可以在時間點^投射第一光斑70,可以在時間點t 2投射第二光斑71等。這些光斑可以被像素行R 75中的各個像素 90-93檢測/成像，其中，像素行R 75是如上述討論的掃描線Sr的極線。在一個實施例中，通過如果檢測到光斑的每個像素收集的電荷可以處于模擬電壓的形式，其可以輸出到圖像處理單元46用于如下所討論的像素特定深度測量。模擬像素輸出(Pixouts)由圖5中的箭頭95共同地指示。
[0064]如圖5中所示，行R中的每個檢測像素90至93可以具有相關的列號，這里為列(^至 C4。此外，從圖4看出，每個像素列C1Q = I，2,3等)具有針對等式（1)中的參數q的相關的值。因此，如果像素特定時間戳七至^針對檢測像素90至93產生(如稍后下面更詳細地討論），時間戳可以提供像素的列號的表示，因此，參數q的像素特定值。此外，在一個實施例中，因為激光器33可以被適當地控制以利用針對斑特定掃描角度Θ的預確定的值來以期望的順序照明每個斑，所以使用像素陣列42中的像素來逐個斑檢測可以使圖像處理單元46將每個時間戳與相應的照明斑"聯系在一起"，因此，與斑特定掃描角度Θ聯系在一起。因此，時間戳以針對從像素陣列42接收的每個像素特定信號的等式（1)中的參數q和Θ的值的形式，提供捕獲的激光斑的像素位置與各個掃描角度之間的對應關系。如前所討論的，如通過等式(1)中參數q的值反映的像素陣列42中的檢測到的斑的相應位置與掃描角度的值可以允許對光斑的深度確定。如此，可以產生在像素陣列42的視野中針對物體26的表面的3D深度映射。
[0065]圖6示出根據這里公開的一個實施例的圖1和圖2中的圖像傳感器24的2D像素陣列 42的示例性電路詳情以及圖像處理單元46中的相關處理電路的一部分。如前所述，僅為了便于說明，像素陣列42示出為具有布置為3X3陣列的9個像素100-108;實際上，像素陣列可以包括多行和多列中的成千上萬或數百萬個像素。在一個實施例中，每個像素100-108可以具有如圖6所示的相同結構。在圖6的實施例中，2D像素陣列42包括每個像素是四晶體管鉗位光電二極管(Four Transistor Pinned Photo-diode，4T PPD)像素的互補金屬氧化物半導體(CMOS)陣列。為了便于說明，僅像素108的構成電路元件利用附圖標記來標注。像素108 以下討論的操作的同樣應用于其他像素101-107,因此，這里不描述每個個體像素的操作。 [0066]如所示出的，4T PPD像素108(以及類似的其他像素101-107)可以包括鉗位光電二極管(PPD) 110和如所示出連接的四個N溝道金屬氧化物半導體場效應晶體管(匪OS) 111-114。晶體管111可以操作為傳輸柵極(TG)、浮置擴散(FD)晶體管。明顯地，4T PH)像素108可以操作如下：首先，PF1D 110可以將入射光子轉換為電子，從而將光輸入信號轉換為電荷域中的電信號。然后，傳輸柵極111可以被"關閉"以將所有的光子產生的電子從PPD 110傳輸到浮置擴散。因此，為了便于后續(xù)處理和測量，電荷域中的信號被轉換為電壓域。浮置擴散處的電壓可以稍后使用晶體管114作為pixout信號傳輸到模擬數字轉換器(ADC)，并且針對后續(xù)處理轉換為適當的數字信號。以下參照圖8、圖10和圖11的討論來提供像素輸出 (PIXOUT)產生和處理的更多詳情。
[0067] 在圖6的實施例中，圖像處理單元46中的行解碼器/驅動器116示出為提供三個不同的信號以控制像素陣列42中的像素的操作來產生列特定pixout信號117-119。在圖5的實施例中，輸出95可以共同地表示這些PIXOUT信號117-119。行選擇(RSEL)信號可以被稱為選擇適當行的像素。在一個實施例中，要選擇的行是被激光源33投射的（光斑的）當前掃描線的極線。行解碼器/驅動器116可以例如從處理器19經由行地址/控制輸入126而接收要選擇的行的地址或控制信息。在當前討論中，假設行解碼器/驅動器116選擇像素中包括像素108 的行。像素陣列42中像素的每個行中的諸如晶體管114的晶體管可以連接到如所示的各個 RSEL線122-124。重置(RST)信號可以施加到選擇的行中的像素，以將這些像素重置為預確定的高電壓電平。每個行特定RST信號128-130在圖6中示出，并且參照圖8、圖10和圖11中的波形更詳細地說明。每個像素中的諸如晶體管112的晶體管可以接收如所示的各個RST信號。傳輸(TX)信號可以稱為開始針對后續(xù)處理傳輸的像素特定輸出電壓(PIXOUT)。每個行特定TX線132-134在圖6中示出。諸如晶體管111的傳輸柵極晶體管可以接收如圖6中所示的各個TX信號。
[0068]如前所述，在這里公開的具體實施例中，圖像傳感器單元24中的2D陣列42和其余剩余的組件可以用于2D RGB(或非RGB)成像以及3D深度測量。因此，如圖6中所示，圖像傳感器單元24可以包括像素列單元138,其中，像素列單元138包括針對相關雙采樣(CDS)以及列特定ADC(在2D和3D成像期間，每列像素要使用一個ADC)的電路。像素列單元138可以接收并且處理PIXOUT信號117-119,以產生通過其可以產生2D圖像或者通過其可以獲得3D深度測量的數字數據輸出（Dout)信號140。像素列單元138也可以在PIXOUT信號117-119的處理期間接收參考輸入142和斜坡輸入(ramp input)143。下面稍后提供單元138的操作的更多詳情。在圖6的實施例中，列解碼器單元145被示出為結合到像素列單元138。列解碼器145可以針對要選擇的列連同給出的行選擇(RSEL)信號，而從例如處理器19接收列地址/控制輸入 147。列選擇可以是連續(xù)的，從而使得從通過相應的RSEL信號選擇的行中的每個像素連續(xù)接收像素輸出。處理器19可以知道光斑的當前投射的掃描線，因此，可以提供適當的行地址輸入以選擇形成當前掃描線的極線的像素的行，并且也可以提供適當的列地址輸入以使得像素列單元138能夠接收來自選擇的行中的個體像素的輸出。
[0069]對于根據這里公開的主旨的2D和3D成像，盡管這里的討論主要側重于圖6中所示的4T PPD像素設計，但是在其他實施例中的像素陣列42中可以使用不同類型的像素。例如，在一個實施例中，像素陣列42中的每個像素可以是省略傳輸柵極晶體管(像圖6中4T PH)設計中的晶體管111)的3T像素。在其他實施例中，IT像素或2T像素也可以使用。在另一個實施例中，像素陣列中的每個像素可以具有共享晶體管像素結構，其中，晶體管和讀出電路可以在兩個或更多個相鄰像素之中被共享。在共享的晶體管像素結構中，每個像素可以具有至少一個光電二極管和一個傳輸柵極晶體管;其他晶體管可以在兩個或更多個像素之中被共享。這種共享的晶體管像素的一個示例是5個晶體管用于2個像素的2共享（I X 2)的2.5Τ像素，導致2.5Τ/像素結構。可以在像素陣列42中使用的共享晶體管像素的另一個示例是4個像素共享讀出電路的IX 4的4共享的像素，但是每個像素具有至少一個光電二極管和一個 TX(傳輸柵極)晶體管。除了這里列出的像素結構以外的其他像素結構可以根據這里公開的主旨適當地實現2D和3D成像。
[0070]圖7Α是根據這里公開的一個實施例的圖像傳感器單元(諸如圖6中的圖像傳感器單元24)的示例性結構。為了簡潔起見，這里僅提供圖7Α中架構的簡要討論;稍后參照圖8、圖10和圖11提供更多相關的操作詳情。如所示的，圖7Α中的圖像傳感器單元24可以包括行解碼器單元149和行驅動器單元150,其中，行解碼器單元149和行驅動器單元150兩者共同組成圖6中的行解碼器/驅動器116。盡管圖7Α中未示出，但行解碼器單元149可以從例如處理器19接收行地址輸入(如同圖6中示出的輸入126)，并且解碼該輸入以使得行驅動器單元 150能夠將適當的RSEL、RST和TX信號提供給由行解碼器149選擇/解碼的行。行驅動器單元 150也可以從例如處理器19接收控制信號（未示出），以構造行驅動器150來施加針對RSEL、 RST和TX信號的適當電壓電平。在圖7Α中的圖像傳感器單元24中，列ADC單元153可以表示圖 6中的像素列單元138。為了便于說明，在圖7Α中，來自行驅動器150的諸如RSEL、RST和TX信號的各種行特定驅動器信號使用單個附圖標記"155"來共同地表示。類似地，所有的列特定像素輸出（PIXOUT)(像圖6中的PIXOUT信號117-119)使用單個附圖標記"157"來共同表示。列ADC單元153可以接收PIXOUT信號157和參考輸入142(來自參考信號產生器159)以及斜坡信號143,以產生針對像素的列通過相應的列特定ADC的像素特定輸出。稍后參照圖10更詳細地討論2D成像。在一個實施例中，ADC單元153可以包括針對CDS的電路(如在圖6中的像素列單元138的情況下），以產生作為像素的重置水平與接收的信號水平之差的⑶S輸出（未示出）。在具體的實施例中，3D深度值可以與2D圖像結合以產生物體的3D圖像。
[0071] 列ADC單元153可以包括2D陣列42中每個像素列的單獨ADC。每個列特定ADC可以接收各個斜坡輸入143(來自斜坡信號產生器163)連同PIXOUT信號157。在一個實施例中，斜坡信號產生器163可以基于從參考信號產生器159接收的參考電壓電平來產生斜坡輸入143。 ADC單元153中的每個列特定ADC可以處理接收的輸入以產生相應的數字數據輸出(Dout)信號140 ^DC單元153可以從列解碼器145接收關于要讀出并且發(fā)送到Dout總線140的列ADC輸出的信息，并且也可以接收關于針對給出的行來選擇以接收適當像素輸出的列的信息。盡管圖7A中未示出，但是列解碼器單元145可以接收來自例如處理器19的列地址輸入(像圖6 中的輸入147)，并且解碼該輸入以使得列ADC單元153能夠選擇適當的像素列。在圖7A的實施例中，解碼的列地址信號使用附圖標記"165"來共同標識。
[0072]來自ADC單元的數字數據輸出140可以通過數字處理塊167來處理。在一個實施例中，針對2D RGB成像模式，每個ADC特定數據輸出140可以是基本對應于由各個像素收集的實際光子電荷的多位數值。另一方面，在3D深度測量模式中，每個ADC特定數據輸出140可以是表示在各個像素檢測到相應的光斑時的時間點的時間戳值。稍后更詳細討論根據這里公開的主旨的該時間戳方法。數字處理塊167可以包括：電路，提供時序產生；圖像信號處理 (ISP)，諸如針對2D成像模式的數據輸出140的處理;針對3D成像模式的深度計算;等。在這方面，數字處理塊167可以結合到接口單元168以將處理后的數據作為例如輸出170來提供，以使得處理器19能夠將2D RGB/非RGB圖像或3D物體26的3D深度圖像繪制在裝置15的顯示屏(未示出）上。接口單元168可以包括針對支持數字處理塊167中的時序產生功能的時鐘信號的產生的鎖相回路(PLL)。此外，接口單元168也可以包括移動行業(yè)處理器接口（MIPI)，其中，移動行業(yè)處理器接口針對由數字塊167產生的數據對裝置15中的其他組件或電路元件提供行業(yè)標準硬件和軟件接口。MIPI規(guī)范支持寬范圍的移動產品，并且提供針對移動裝置的照相機、顯示屏、電源管理、電池接口等的規(guī)范。MIPI標準化接口可以獲得移動裝置的外圍組件(諸如智能電話的照相機或顯示屏）與移動裝置的應用處理器(可以不來自與提供外圍組件的供應商(或銷售商)相同的供應商)之間的改進的可操作性。
[0073]在圖7A的實施例中，在3D測量模式下，時間戳校準單元171示出為結合到列ADC單元153,以將適當的校準信號172提供給個體列特定ADS，使每個列特定ADC單元能夠產生表示像素特定時間戳值的輸出。參照圖8更詳細地討論該時間戳方法。
[0074]圖7B示出根據這里公開的一個實施例的用于3D深度測量的示例性⑶S+ADC單元 175的架構詳情。為了便于討論，單元175可以在下面稱為"ADC單元"，然而，應當理解，除了 ADC功能，單元175也可以包括⑶S功能。CDS單元的簡化版本使用圖7B中的電容器176來表示。在一個實施例中，2D像素陣列42中的像素的每個列可以具有列特定的、與ADC單元175類似的單斜ADC單元。因此，在圖6的實施例中，在像素列單元138中可以存在3個ADC單元，即，每列一個ADC。如圖所示，圖7B的實施例中的ADC 175可以包括與二進制計數器181和線存儲器單元183串聯連接的兩個運算跨導放大器(0TAH77和179。為了便于說明，在圖7B中僅示出了輸入到OTA 177和179的反向（-)和非反向（+ )電壓，而未示出偏置輸入和電源連接。應當理解，OTA是差分輸入電壓產生輸出電流的放大器。因此，OTA可以認為是電壓控制的電流源。偏置輸入可以用于提供電流或電壓來控制放大器的跨導。第一 OTA 177可以從CDS單元 176接收來自諸如圖6中的像素108的像素的PIXOUT電壓的CDS版本，其中，所述像素是使用從列解碼器145接收的列號而在激活的行中選擇的。pixout信號的CDS版本可以稱為"PIX_ CDS"信號。OTA 177也可以從斜坡信號產生器163(圖7A)接收Vramp電壓143。如果pixout電壓157下降到低于Vramp電壓143，則OTA 177可以產生輸出電流，如以下參照圖8討論的。OTA 177的輸出可以在被施加到二進制計數器181之前被第二OTA 179過濾。在一個實施例中，二進制計數器181可以是接收時鐘（Clk)輸入185的10位波紋計數器，并且基于在通過由第一 0 T A 17 7產生的輸出電流觸發(fā)的預確定的時間期間計數的時鐘周期來產生時間戳值18 6。在圖7A的實施例的情況下，Clk輸入185可以是裝置15中的系統(tǒng)范圍時鐘、由PLL單元168產生的圖像傳感器特定時鐘、或其他時鐘產生器(未示出）。像素特定時間戳值186可以根據像素的列號（列#)而存儲在線存儲器183中，并且隨后作為Dout信號140輸出到數字處理塊167。可以從圖7A中所示的列解碼器單元145接收列號輸入165。
[0075]在具體的實施例中，RGB顏色模式可以用于移動裝置(諸如圖1和圖2中的裝置15) 上圖像的傳感、表現和顯示。在RGB顏色模式中，具有三原色(紅色、綠色和藍色）的光信號可以以各種方式加在一起，以在最終的圖像中產生廣泛的顏色。CDS方法可以用于2D RGB成像而以允許去除不期望的偏移的方式來測量電子值，諸如像素/傳感器輸出電壓。例如，可以在像ADC單元175的每個列特定ADC單元中采用CDS單元(像CDS單元176)來執(zhí)行相關雙采樣。在CDS中，像素的輸出可以測量兩次，一次在已知的條件下，一次在未知的條件下。然后，可以將從未知條件測量的值減去從已知條件測量的值，以產生具有已知的關于被測量的物理量的值，即，表示圖像信號的像素特定部分的光電子電荷。使用CDS，在每個整合周期結束時，可以通過從像素的信號電壓去除像素的參考電壓(諸如在重置之后的像素的電壓)來降低噪聲。因此，在CDS中，在像素的電荷作為輸出被傳輸之前，重置值被采樣。從像素的電荷被傳輸之后的值"扣除"參考值。
[0076] 這里觀察到，在具體的實施例中，ADC單元175可以用于2D成像以及3D深度測量兩者。然而，針對這種共享結構的所有輸入未在圖7B中示出。在共享使用的情況下，相應的 Vramp信號針對2D成像也可以不同。
[0077]圖8是根據這里公開的具體實施例示出圖1和圖2的系統(tǒng)15中的不同信號的示例性時序以產生在操作的3D線性模式下的基于時間戳的像素特定輸出的時序圖。如前所述，在具體實施例中，相同的圖像傳感器24中的所有像素可以用于2D以及3D成像。然而，3D深度測量可以根據環(huán)境光的水平而使用3D線性模式或3D對數模式來執(zhí)行。如以下參照圖11更詳細地描述，如果需要環(huán)境光抑制，則3D對數模式可以用于深度測量。然而，圖8的討論涉及與3D 線性模式相關的時序波形。
[0078]簡要地，如前面參照圖4和圖5討論的，3D物體26可以被激光光源33沿著像素陣列 42的行R 75來一次一個斑地點掃描，其中，基于與掃描線Sr 66相關的相應極線R是已知的。在掃描一行之后，掃描操作隨著另一行而重復。如果激光器投射到下一個斑，則之前投射的光斑可以通過行R中的相應像素來成像。來自行R中的所有像素的像素特定輸出可以被讀出到數字處理塊167(圖7A)中的深度處理電路/模塊。
[0079]為了產生像素特定輸出，相應的行可以利用RSEL信號而必須被首先選擇。在圖8的情況下，假設圖6中的行解碼器/驅動器116通過如圖8中所示將RSEL信號122斷言為"高"水平而選擇包括像素106-108的像素的行。因此，所有的像素106-108被一起選擇。為了便于討論，對于也在圖6和圖7中示出的信號、輸入或輸出，在圖8中使用相同的附圖標記。首先，選擇的行中的所有像素106-108可以使用RST線128而被重置為高電壓。像素的"重置"水平可以表示不存在相應的光斑的像素特定檢測。在根據這里公開的一個實施例的3D線性模式下，RST信號可以從高水平釋放預確定的時間，以促進通過像素106-108接收的光電子的累積（integration)從而獲得相應的像素輸出（PIXOUT)信號117-119,其中，PIXOUT信號117-119中的兩個在圖8中示出并且稍后下文中討論。PIX0UT1信號119表示通過像素108向相應的ADC單元提供的輸出，并且使用具有圖案的斷續(xù)線來示出。PIX0UT2信號 118表示通過像素107向相應的ADC單元提供的輸出，并且使用具有圖案"..............."的虛線來示出。另一個方面，在根據這里公開的一個實施例的3D對數模式下，RST信號可以在如稍后下文討論的像素輸出的產生期間針對選擇的行保持高水平。這里應當注意，在一個實施例中，其他RST線，即，像圖6中的線129-130，可以針對未選擇的行保持高水平或"接通"以防止高光溢出（blooming)。這里應當注意，嚴格地說，圖8中的PIXOUT信號118和119(以及圖 10和圖11中類似的pixout信號)在作為PIX_CDS信號施加到在各個列特定ADC單元(諸如圖 7B中的ADC單元175)中的第一 OTA (像圖7B中的OTA 177)之前，可以通過CDS單元(例如，圖7B 中的⑶S單元176)稍微地修改。然而，為了簡單說明并且便于討論，圖8、圖10和圖11中的 PIXOUT信號視為各個PIX_CDS信號（未示出）的代表，并且認為已經直接"輸入"到各個OTA 177。
[0080]在重置之后，如果像素中的光電二極管接收入射亮度，諸如從投射到3D物體26的表面上的光斑反射的光中的光電子，則光電二極管可以產生相應的光電流。通過像素的入射光的檢測可以稱為"0N事件"，而入射光的強度減小可以產生"OFF事件"。響應于ON事件產生的光電流可以從初始的重置水平減小像素輸出電壓(PIXOUT)。因此，像素起變換器的作用以將接收的亮度/光信號轉換為相應的有關電的（模擬）電壓，其在圖6、圖8、圖10和圖11 中通常被稱為PIXOUT信號。每個像素可以被個體地讀出，并且在一個示例性實施例中以激光源投射相應的光斑的順序而被讀出。模擬Pixout信號可以通過相應的列ADC轉換為數值。在2D成像模式下，ADC可以起模擬數字轉換器的作用并且產生多比特輸出。然而，如以下討論的，在3D深度測量模式下，ADC可以起時間數字轉換器的作用，并且產生表示在通過像素檢測到光斑時的時刻的時間戳值。
[0081]再次參照圖8,在像素重置完成之后(具有RST 128高水平），與像素106-108相關的列ADC也可以在RST釋放之前重置。然而，傳輸(TX)信號132可以始終保持高水平。ADC可以使用公共ADC重置信號或個體ADC特定重置信號來重置。在圖8的實施例中，公共ADC_RST信號 192示出為已經暫時地斷言（為高水平）以重置列ADC單元153(圖7A)中的列特定ADC(像ADC 175)。在一個實施例中，ADC可以在像素重置之后，重置為預確定的二進制值，諸如二進制 "〇"或其他已知數字。在圖8中，針對與像素108和107相關的ADC的這些重置值分別通過信號 ADC0UT1 (或ADC輸出"A"）中的"字段" 194和ADC0UT2(或ADC輸出"B"）中的"字段" 195示出。這里注意，這里使用術語"字段"僅為了在討論圖8、圖10和圖11中示出的ADC輸出時方便起見。應當理解，ADC輸出實際上可以不同時包括所有的這種"字段"，但是可以是根據用于ADC信號處理的當前階段的特定數值，即，如果ADC重置，則輸出可以是二進制"0"，如果觸發(fā)ADC以計數時鐘脈沖，則輸出可以為在圖8和圖11中的3D深度測量的情況下的計數值。如果ADC用于2D顏色成像(如在圖10的情況下），則輸出可以是表示圖像信號的多位值。因此，圖8、圖10 和圖11中的ADC輸出信號僅利用該"字段"來描述，以示出ADC在向最后輸出的前進中可以內部產生的不同數值。在圖8中，附圖標記"197"用于指的是表示與像素108相關的ADC的輸出的ADC0UT1信號，附圖標記"198"用于指的是表示與像素107相關的ADC的輸出的ADC0UT2信號。當各個ADC在存儲器讀出期間被列解碼器選擇時，輸出197和198中的每個可以表現為 Dout信號140(圖6和圖7)。在被重置之前，ADC輸出197和198可以具有未知的值，如通過字段 199和200中的符號"X"所表示的。
[0082I 在ADC重置之后，在像素重置信號128和ADC重置信號192被釋放之后，可以通過使斜坡輸入(Vramp) 143取消斷言(de-assert)為預定義的電壓電平而啟用預確定的閾值。在圖8的實施例中，RAMP輸入143對所有的列特定ADC是共同的，從而向每個ADC提供相同的 Vramp電壓。然而，在其他實施例中，不同的Vramp可以通過單獨的、ADC特定斜坡輸入而施加到兩個或更多個ADC。此外，在具體實施例中，Vramp閾值可以是可編程的參數，使得其為期望的變量。在閾值(RAMP信號）啟用之后，像素特定ADC可以在開啟二進制計數器(像圖7B中的計數器181)之前等待相應像素的"0N事件"。
[0083]在3D深度測量模式下，每個ADC可以產生單比特輸出（表示二進制"0"或"1"），與2D 成像模式的情況的多比特輸出（以下討論)截然相反。因此，在RGB傳感器的情況下，通過RGB 像素陣列42中的像素接收的任何顏色信息可以被有效地忽略。在不存在由像素檢測的任何入射光的情況下，相應的ADCOUT信號可以保持處于二進制"0"值。因此，沒有任何ON事件的列可以繼續(xù)具有針對它們的各個ADCOUT信號的數值"0"（或其他已知數字）。然而，如前所述，如果像素被入射光擊中，則像素的PIXOUT線可以從重置水平開始下垂，如圖8中的 PIX0UT1和PIX0UT2信號的向下斜坡所示。假設從首先接收電荷的像素開始讀取像素電荷，則這種讀取可以以例如圖5中所示的行中的最右側像素開始而以最左側像素結束，在圖5 中，h是最先的時間點，t4是最晚的時間點。因此，在圖8的實施例中，像素108的輸出 (PIX0UT1)可以在像素107的輸出（PIX0UT2)之前被讀取。逐漸下垂的PIX0UT1-達到Vramp 閾值143，單比特ADC0UT1就可以從二進制"0"跳轉到二進制"Γ。然而，代替輸出比特"Γ，相應的ADC可以記錄比特從"0"跳轉到"Γ時的時間。換句話說，與像素108相關的ADC通過開啟 ADC中的二進制計數器可以起時間數字轉換器的作用，如ADC0UT1中"up count(加計數)"字段202所示。在"up count"期間，ADC中的計數器可以對CLK信號185中的時鐘脈沖進行計數，所述時鐘脈沖可以施加到例如圖7B中所示的每個ADC。計數的時鐘脈沖通過圖8中的計數器時鐘1信號204來示出，計數的值(在"up count"字段中）可以提供為針對像素108的像素特定輸出。對于通過像素107收集的電荷，類似的計數可以發(fā)生在與像素107相關的ADC處，如圖8中的計數器時鐘2信號205所示。像素特定計數值(在"up count"字段207中）通過各個 ADC提供為針對像素107的像素特定輸出。在掃描一行中的所有像素之后，可以對另一行重復逐個像素電荷收集操作，同時來自之前掃描的行的輸出被讀出到數字塊167中的深度計算單元。
[0084] 每個ADC輸出可以有效地表示的各個時間戳值，所述各個時間戳值提供由激光光源33照明的物體表面上的光斑的通過像素檢測的時間顯示。時間戳可以被認為捕獲針對像素的光到達時間。在一個實施例中，可以根據從ADC單元接收的計數值(計數的時鐘脈沖的值），通過數字處理塊167產生針對檢測的光斑的時間戳值。例如，數字塊167可以通過使計數值與內部系統(tǒng)時間或其他參考時間有關聯來產生時間戳。時間戳在接收結束時產生，因此，可以不必表示在通過光源投射相應的光斑時的精確時間。然而，時間戳值可以使數字塊 167能夠在時間標記的光斑之中建立時間相關性，從而使數字塊167以通過時間相關性指定的時間方向順序來確定至時間標記的光斑的距離，即，至最先照明的光斑的距離被首先確定等，直到至最后照明的光斑的距離確定為止。在一個實施例中，時間戳方法也可以促進解決可能由相同像素上成像的多個光斑引起的模糊，如稍后討論。
[0085] 諸如在經過預確定的時間段之后再次斷言斜坡信號143時，所有基于ADC的計數器可以同時停止。在圖8中，標記針對像素電荷累積的預確定的時間段的結尾的斜坡信號143 的過渡由虛線210表示。RSEL 122和RST 128信號也可以與斜坡信號143的水平變化(在線 210處)基本同時過渡它們的狀態(tài)。在一個實施例中，所有基于ADC的計數器可以在線210處重置。在另一個實施例中，所有基于ADC的計數器可以在選擇用于讀取像素電荷的像素的下一行之前的任何時間重置。盡管在一行中像素的掃描結束時重置ADC計數器，但是針對像素陣列42中的每個像素的時間戳值由于時間戳值與可以保持全局性和持續(xù)運轉的內部系統(tǒng) 時間或時間的其他參照源的關系建立，而可以保持有區(qū)別的。
[0086] 在圖8的實施例中，諸如像素 107的后掃描的像素可以具有比先掃描的像素(諸如像素 108)小的ADC輸出。因此，如所示的，ADC0UT2可以具有比ADCOUT1少的計數值(或少數的計數時鐘脈沖）?？蛇x擇地，例如，在另一個實施例中，后掃描的像素可以具有比先掃描的像素大的ADC輸出，如果每個ADC特定計數器在重置像素時開始計數，并且在檢測到"ON事件" 時(諸如在像素的P i xout信號下垂到給定的閾值(Vramp)以下時)停止計數。
[0087] 這里，注意，圖6、圖8、圖10和圖11中不出的電路和波形是基于具有每個列加計數器的單斜ADC。然而，應當理解，時間戳方法可以根據設計選擇而利用加或減計數器來實現。此外，也可以使用具有全局計數器的單斜ADC。例如，在一個實施例中，代替使用個體的基于列的計數器，全局計數器(未示出）可以被所有的列ADC共享。在這種情況下，ADC可以被構造為使得，如果基于列的比較器單元(未示出）檢測到"0N事件"，例如在基于列的比較器單元首先感測到各個像素 Pixout信號下垂到斜坡閾值143以下時，則每個ADC中的列存儲器(像圖7B中的線存儲器183)可以鎖存全局計數器的輸出，以產生適當的ADC特定輸出。
[0088] 盡管圖8中未示出，但是可以通過以與暗電流的速度相同的速度來減小Vramp閾值而去除暗電流偏移。暗電流可以是流過諸如光電二極管的光敏裝置的相對小電流，即使沒有光子進入裝置。在圖像傳感器中，暗電流可以引起收集的電荷中的噪聲或不期望的人工現象。暗電流可以由像素中的缺陷引起，并且可以具有像光電流一樣的效果。因此，由于暗電流，而導致即使不存在光(或不存在通過像素接收的光），像素輸出也仍然減小。因此，在電荷收集期間，如果從右到左掃描行中的像素，例如，如圖5中的行75的情況所示以及參照圖8討論，左側上的像素可以積累比右側上的像素更多的暗電流。因此，為了防止由于暗電流而導致的任何錯誤事件的登記，預確定的斜坡閾值(Vramp)可以通過暗電流隨著像素的行增大的速率來降低/調整，以補償因暗電流而導致的像素輸出的降低的水平。在一個實施例中，這種調整后的閾值然后可以用于像素以比較像素的PIXOUT信號的水平。因此，閾值電壓的值(Vramp)針對每個ADC可以是可變的并且個體可編程的。在一個實施例中，與特定ADC 相關的所有像素可以具有相同的Vramp值。在另一個實施例中，每個像素可以具有在相應的 ADC中可編程的像素特定Vramp值。
[0089] 這里觀察到，如果沿著物體的表面掃描一行光斑，則在相同的像素上可以成像來自掃描的物體的兩個或更多個不同的斑。斑可以在相同的掃描線上或可以在相鄰的掃描線上。如果穿過物體的表面掃描多個斑，則這種疊置成像會消極地影響光斑與像素 ON事件的相關性，因此會導致深度測量的模糊。例如，從上述等式（1)看出，深度測量與掃描角度(Θ) 和成像光斑的像素位置（由等式（1)中的參數q給出）有關。因此，如果掃描角度針對給定的光斑不是正確地已知的，則深度計算會是錯誤的。類似地，如果兩個或更多個光斑具有相同的q值，則深度計算也會變得模糊。根據這里公開的具體實施例的基于時間戳方法可以用于維持捕獲的光斑的像素位置與激光源的相應的掃描角度之間的正確相關性。也就是說，時間戳可以表示參數q和Θ的值之間的關聯。因此，如果兩個斑從數據輸出的視角位于相同的像素或列上，則時間戳方法中的時間數字轉換可以使成像系統(tǒng)（即，數字處理塊167(圖7B)) 建立這兩個斑之間的時間相關性，以識別哪一個光斑在時間上首先被接收。這種相關性在不使用時間戳的系統(tǒng)(諸如前述的立體視覺系統(tǒng)或使用結構光方法的系統(tǒng)）中可能不是容易的。結果，這種系統(tǒng)可以需要執(zhí)行許多數據搜索和像素匹配，以解決對應問題。
[0090] 在一個實施例中，如果多個光斑通過相同的像素成像，則可以比較這些光斑的時間戳以識別最先接收的光斑，并且可以僅針對該光斑計算距離，同時忽略相同像素處所有后續(xù)接收的光斑。因此，在該實施例中，最先接收的光斑的時間戳可以視為針對相應像素的像素特定輸出?？蛇x擇地，在另一個實施例中，可以針對時間上最后接收的最后光斑來計算距離，同時忽略通過同一像素成像的所有其他光斑。不論哪種情況，對于深度計算，在第一或最后光斑之間接收的任意光斑可以被忽略。由光源投射的光斑的掃描時間可以給出為t (0)，t(l)，...，t(n)，其中t(i+l)-t(i) = d(t)(常數）。像素/列輸出可以給定為作為針對ON 事件的時間戳的a(0)，a(l)，. . .，a(n)，并且a(i)-直在t(i)之后，但是在a(i+l)之前。如果 a(i)和a(k)(i矣k)恰巧與同一像素/列相關，則僅它們的一個可以如上所述被保存，以去除深度計算的任何模糊?；趻呙钑r間與輸出時間（由時間戳表示)之間的時間關系，諸如數字塊167的處理單元可以計算出哪一個輸出點丟失了。盡管處理單元不能夠恢復丟失的位置，但是根據有效輸出點的深度計算可以足以提供物體的可接受的3D深度輪廓。這里注意，在一個實施例中，兩個不同的像素使同一光斑的各個部分成像也是可能的。在此實施例中，基于來自這兩個像素的時間戳輸出的值的緊密度，處理單元可以推斷單個光斑可能已經通過兩個不同的像素來成像。為了解決任何的模糊，處理單元可以使用時間戳來發(fā)現各個位置值q的平均，并且使用等式(1)中的q的平均值來計算針對該共享的光斑的3D深度。
[0091] 圖9示出示例性查找表(LUT)215以示出在這里公開的具體實施例中可以如何使用 LUT來確定3D深度值。基于LUT的方法可以代替上述討論的使用等式1的基于三角測量的即時(on the fly)深度計算來使用。LUT 215列出針對掃描線Sr的參數0、q和Z。這些參數之中的關系由等式（1)給出。LUT 215可以利用針對多條掃描線的這些參數的值而預先填入，其中，多條掃描線其中僅一條(掃描線Sr)在圖9中示出。預先填入的LUT 215可以存儲在系統(tǒng) 存儲器20(圖1和圖2)中、處理器19的內部存儲器（未示出）中、或者數字處理塊167(圖7A) 中。首先，為了填入LUT 215,沿著掃描線Sr的光斑可以以參考距離?"例如，1米)并且使用特定掃描角度Q1來投射。這些Zjpe 1的預確定的值可以用在等式（1)中，以獲得相應值，其中，將表示針對掃描線Sr成像的斑應當出現在其處的列/像素。ZdPe i的不同值可以用于獲得相應值。如果針對掃描線Sr上的光斑的Z1的實際值與預定值之間存在△ Z差，則相應的列/像素應當移動A q。因此，必要時可以調整LUT 215中的值。這樣，針對每條掃描線 Sr，LUT 215可以使用三角測量等式（1)而預先填入作為θ?和qi的函數的深度值Zi。如上所述，預先填入的LUT可以存儲在裝置15中。在操作期間，針對用戶選擇的3D物體上投射的光斑的掃描線上的每個光斑的S i和qi的實際值可以用作對LUT(像LUT 215)的輸入，以查找相應的值Z1。處理器19或數字塊167可以被構造為執(zhí)行該查找。因此，在具體實施例中，物體的 3D輪廓可以通過對已經使用三角測量校準過的LUT進行插值而產生。
[0092] 從上述討論觀察到，根據這里公開的具體實施例的使用三角測量的基于時間戳的 3D深度測量使ADC操作為具有僅單比特的低分辨率的二進制比較器，從而明顯較少地消耗 ADC中的切換電源，因此，節(jié)約系統(tǒng)電力。另一方面，傳統(tǒng)的3D傳感器中的高比特分辨率ADC 會需要更多的處理電力。此外，相比于需要顯著的處理電力來搜索和匹配像素數據以解決模糊的傳統(tǒng)成像方法，基于時間戳的模糊求解也可以節(jié)省系統(tǒng)電力。因為由于所有點掃描光斑的成像/檢測在單個成像步驟中而可以一次執(zhí)行所有的深度測量，所以延遲也減少了。在具體實施例中，像素陣列中的每個像素可以是單個存儲像素，因此可以尺寸上制作成像1 微米(μπι)那么小。在單個存儲像素設計中，每個像素僅存在一個光電二極管和一個結電容器(像圖6中的晶體管111)以積累并且存儲光電子。另一個方面，具有一個光電二極管以及存儲不同時間達到的光電子的多個電容器的像素不能減小到這么小的尺寸。因此，按照這里公開的具體實施例的具有小傳感器的低電力3D成像系統(tǒng)可以促進移動應用(諸如，但不限于，智能電話或平板中的照相機)的易于實現。
[0093] 如前所述，根據這里公開的一個實施例，同樣的圖像傳感器(諸如圖1和圖2中的圖像傳感器單元24)可以用于2D成像和3D深度測量兩者。這種雙模式圖像傳感器可以是例如，移動電話、智能電話、膝上型計算機或平板電腦上的照相機系統(tǒng)的部分，或者是工業(yè)機器人或VR設備中的照相機系統(tǒng)的部分。在具體實施例中，存在裝置上的模式開關以使用戶在傳統(tǒng)的2D照相機模式或使用如上所述的深度測量的3D成像模式之間進行選擇。在傳統(tǒng)的2D照相機模式下，在具體實施例中，用戶可以捕獲場景的彩色(RGB)圖像或者快照、或場景內的特定3D物體。然而，在3D模式下，用戶能夠基于以前述方法執(zhí)行基于點掃描的深度測量的照相機系統(tǒng)來產生物體的3D圖像。在這兩種模式中，從總體上看可以使用同一圖像傳感器來實現期望的成像。也就是說，圖像傳感器中的每個像素可以用于2D成像或3D成像的任一個應用。
[0094] 圖10是示出根據這里公開的具體實施例的圖1和圖2的系統(tǒng)15中的不同信號的示例性時序以使用操作的2D線性模式產生2D圖像的時序圖230。這里注意，2D圖像可以是在環(huán) 境光照明條件下的場景的RGB圖像或場景中的3D物體，其中，環(huán)境光照明可以包括照相機閃光燈或其他類似組件(未示出）的偶爾使用。然而，與圖8和圖11中的3D成像相關的實施例對比，在圖10的實施例中2D成像的情況下可以不存在通過激光光源33(圖2)的任何照明。圖10 中示出的許多信號也在圖8中示出。鑒于圖8的前述詳細討論，這里僅討論圖10的突出方面。這里注意，圖10中所示的控制信號RSEL、RST、TX、RAMP和ADC_RST是針對包括圖6中的像素 106-108的像素的行，因此，為了便于討論，使用與圖8中使用的附圖標記相同的附圖標記來標識這些信號，盡管圖8和圖10中信號的波形和時序不同。此外，圖10中的圖示針對單個像素，即，圖6中的像素108。因此，圖10中的PIXOUT信號119、計數器時鐘信號（Counter Clock signal )204以及AD⑶UT信號197使用與圖8中相應的信號PIX0UT1、Counter Clockl和 ADC0UT1相同的附圖標記來示出。像素輸出19通過線性積分由像素108在預確定的時間段內收集的光電子而產生。如前所述，在像素108的情況下圖10的討論仍然適用于與像素陣列42 中其他像素相關的相應信號。
[0095]如前所述，在具體實施例中，每個列特定ADC(諸如圖7B中的ADC單元175)可以是單斜ADC。如在圖8的情況下，同一行中的像素可以一起并選擇和重置，如圖10中RSEL信號122 和RST信號128所示。列ADC也可以使用公共ADC_RST信號192來重置。在圖10中，與像素108相關的ADC的重置狀態(tài)由ADCOUT信號197中的字段234來表示。在像素108和相應的ADC被重置之后，針對Vramp信號143的閾值或參考電壓電平可以通過電壓電平236而如所示地啟用。然后，ramp從該電壓電平236斜降，以使ADC單元的比較器偏移數字化(如AD⑶UT信號197中的字段238給定的）。在一個實施例中，計數器時鐘204中的時鐘脈沖可以用于產生計數值作為偏移238。時鐘脈沖可以計數從Vramp信號143到達閾值水平236的時刻，直到其下降到像素輸出(這里，PIXOUT信號119)的重置水平為止。在下文中，各個傳輸(TX)線132可以被脈沖調整以觸發(fā)光電二極管110上積累的電荷傳輸到浮置擴散晶體管111用于讀出。在斷言TX脈沖的同時，Vramp信號143可以上升到閾值水平236,并且像素特定ADC中的計數器(諸如圖7B中的計數器181)可以利用由字段240表示的反向偏移值來初始化。反向偏移值240可以表示偏移值238的負數。在TX脈沖132被取消斷言之后，針對像素108的ADC單元可以開始使接收的像素信號（PIXOUT)數字化，直到Vramp閾值143降到PIXOUT信號119的水平。該操作通過 ADCOUT信號197中的"up count"字段242來示出。計數值242可以是基于計數器時鐘204的時鐘脈沖，并且可以表示包括偏移計算(在字段238處)和針對像素108的圖像信號的像素特定部分的組合值，如使用附圖標記243所示。ADC單元中的比較器(未示出）可以將字段238處數字化的比較器偏移值與"up count"值242進行比較。因此，在一個實施例中，RGB圖像信號 244可以通過在字段240和242中添加 ADC值來獲得，從而從"up count"字段242中的組合值 (偏移+信號)有效地去除偏移值238。
[0096]圖10中所示的操作可以針對像素陣列42中的每個像素來執(zhí)行。每個列ADC可以以來自基于ADC計數器(諸如圖7B中的計數器181)的多比特輸出的形式而產生相應的RGB圖像信號。多比特輸出（像圖10中的附圖標記244的輸出）會需要有效地表示圖像信號的顏色內容。來自列ADC單元153的ADC的RGB圖像信號輸出可以共同地由Dout信號140(圖7A和圖7B) 來表示，其中，Dout信號140被數字塊167處理以經由MIPI接口 168來呈現場景的2D彩色圖像。
[0097] 圖10中所示的2D成像和相關波形的其他詳情可以從2011年8月2日發(fā)行的第7， 990,304B2號Lim等人的美國專利獲得。與這里公開的主旨相關的第7,990,304號美國專利中的2D成像相關的討論通過引用全部包含于此。
[0098] 圖11是示出根據這里公開的具體實施例的圖1和圖2的系統(tǒng)15中的不同信號的示例性時序以在操作的3D對數(log)模式下產生基于時間戳的像素特定輸出的時序圖250。如前所述，3D深度測量可以根據環(huán)境光的水平而使用3D線性模式或3D對數模式來執(zhí)行。此外，在3D深度測量期間，3D物體(諸如圖2中的3D物體26)可以通過環(huán)境光以及來自激光掃描的可見光(或其他光，諸如NIR光)來照明。因此，如果環(huán)境光太強而不能通過3D線性模式抑制，則3D對數模式可以用于深度測量。鑒于基于CDS成像從最終的圖像信號去除偏移或其他噪聲，針對圖10中描述的2D成像相關的波形，可以不需要對數模式。然而，在根據這里公開的具體實施例的3D深度測量的情況下，強環(huán)境光可以在點掃描期間與來自激光光源的光干涉。在操作的3D線性模式下，這種干涉可以覆蓋或抑制從點掃描的光斑反射的可見/NIR光，因此會導致從光斑接收的光的錯誤檢測。因此，在具體實施例中，如果環(huán)境光的強度被感測為在預確定的照度水平(或強度閾值）（諸如l〇〇〇〇(l〇k)l UX)之上，則期望抑制由環(huán)境光引起的像素電荷。這種環(huán)境光抑制可以使用圖11中所示的操作的3D-log模式來完成。
[0099] 如上所述，在圖8、圖10和圖11中使用相同的附圖標記以表示類似命名的信號（或具有類似功能的信號)并且也便于討論。然而，應當理解，圖8、圖10和圖11中示出的信號涉及成像的具體模式。因此，例如，如果用戶選擇操作的2D彩色成像模式，則圖10中所示的時序圖230示出其中所示的信號之中的具體關系。然而，圖8和圖11中類似命名的信號涉及操作的3D成像模式，因此可以具有不同的時序關系。此外，即使在圖8和圖11之間，因為圖8涉及操作的3D線性模式，而圖11涉及操作的3D-log模式，所以一些信號可以在波形方面不同。鑒于圖8的上述詳細討論，這里僅討論圖11的突出方面。與圖8-樣，圖11中的時序圖250也與圖6中的像素107和108有關。然而，圖11的討論仍然適用于像素陣列42中的所有其他像素。
[0100] 在3D線性模式下，像素特定輸出可以通過線性積分由像素在預確定的時間段收集的光電子而產生。因此，在線性模式下，像素的輸出電壓在給定的時間段內正比于收集/積累的全部光子。然而，在3D-log模式下，像素特定輸出可以正比于，在預確定的時間段期間由像素在檢測到來自3D物體反射的激光時產生的瞬時光電流的自然對數。算術上，由光電二極管(諸如圖6中的PPD 110)產生的光電流可以通過以下關系來表示： Vph
[_/<，， P)
[0102] 其中，Iph是二極管的光電流，Vph是穿過二極管的電壓，Vt是熱電壓。因此，可以使 Vph以及各個像素輸出（PIXOUT)正比于瞬時二極管電流Iph的自然對數，諸如如果期望環(huán)境光抑制。如前所述，如果做完線性積分，則嚴重的環(huán)境光會限制光子收集。因此，在該情況下，使用3D-log模式的瞬時光電流的感測會是更期望的。
[0103] 在具體實施例中，裝置15可以包括環(huán)境光傳感器(未示出）。處理器19或數字塊167 就可以被構造為，只要用戶選擇3D成像模式，則感測環(huán)境光強度以確定是使用3D線性模式還是3D-log模式。在一個實施例中，環(huán)境光水平可以基本與RSEL信號的斷言(assertion)同時地被感測，其中，RSEL信號可以表示從點掃描的光斑反射的光的成像的開始。在另一個實施例中，環(huán)境光水平可以基本與通過激光源開始可見光點掃描同時地被感測?；诃h(huán)境光的水平，處理器19或數字塊167可以選擇深度測量的3D線性模式或3Dlog模式的一者。在另一個實施例中，環(huán)境光水平在3D深度測量期間可以周期且連續(xù)地被感測。在此情況下，操作的3D模式在進行成像操作期間或之前的任意時間，可以從線性切換到對數，反之亦然。
[0104]現在參照圖11的實施例，看出，在3D對數模式下，行特定RST信號128可以被斷言 (或接通"高水平"），并且在產生像素輸出的整個周期的期間針對選擇的行可以保持高水平/斷言。相反，在圖8的3D線性模式下，RST信號128可以被首先斷言(或接通"高水平"），以重置行中的像素為預確定的電壓電平，但是稍后在光電子的線性積分期間斷開(或取消斷言）。然而，TX信號132可以被保持為高水平，類似于圖8的3D線性模式的情況。因此，在具體實施例中，RST信號的適當水平可以用于選擇線性模式和對數模式。在對數模式下，在一個實施例中，在與像素107和108相關的ADC使用ADC_RST信號192重置之后，ADC可以首先采樣環(huán)境水平，使得ADC在接收信號時適當地說明像素輸出（PIXOUT)信號的信號水平。在重置 ADC之后，RAMP閾值143可以啟用，ADC計數器可以進入"等待狀態(tài)"，以等待"0N事件"在各個像素處發(fā)生。如果像素接收入射光(從投射的光斑反射的光），則像素的PIXOUT信號可以開始下垂。與圖8中的線性下降相反，圖11中的PIXOUT信號118和119可以分別展現出短的、瞬時的下降252和253,其反映了通過各個像素的反射的可見光的檢測而產生的瞬時光電流。如果PIXOUT信號118和119達到預確定的Vramp閾值143，則ADC計數器可以開始計數。所有的計數器可以在針對電荷積分的預確定的時間結束之后同時停止，如通過RAMP信號143過渡到"高水平"狀態(tài)給出并且如虛線255所示。計數的值分別由針對像素108和107的ADC0UT1的數據字段257以及ADC0UT2信號的數據字段259表示。對數模式下的計數值可以不同于線性模式下的計數值，因此，不同的附圖標記用于圖8和圖11中的ADCOUT信號中的"up count"字段。如在圖8的情況下，后掃描的像素可以具有比先掃描的像素更小的針對ADC輸出的計數值。
[0105] 如之前參照圖8所述，代替每列加計數器，遞減計數器可以用于圖10和圖11的實施例中的ADC單元。類似地，基于全局計數器的方法可以代替?zhèn)€體ADC特定計數器來實現。
[0106] 因此，如上所述，對于日常的2D成像以及3D深度測量，根據這里公開的主旨可以使用相同的圖像傳感器（以及相應像素陣列中的所有像素）。在2D模式下，傳感器可以在線性模式下工作為規(guī)則的2D傳感器。然而，在3D深度測量期間，傳感器可以在適度的環(huán)境光下以線性模式操作，但是在強環(huán)境光下可以切換為信號檢測的對數模式，以能夠使用可見（或 NIR)光源。因此，這里討論的成像方法可以與現有的2D傳感器設計兼容，因為相同的4T PH) 像素可以用于2D和3D成像。這使得傳感器設計為尺寸小(具有較小的像素）、更全能、低電力下可操作。這些屬性，反過來，節(jié)省針對包括這樣的圖像傳感器的移動裝置的空間以及成本。此外，在消費者移動裝置和某些其他應用中，針對3D深度測量的可見光激光器(除了環(huán) 境光以外）的使用可以比傳統(tǒng)的近紅外(NIR)傳感器對眼睛安全更好。在可見光譜中，傳感器可以具有比NIR光譜高的量子效率，導致光源的低功耗(其反過來節(jié)省移動裝置的電力）。
[0107] 這里公開的一個示例性實施例包括2D像素陣列，其中，2D彩色圖像信息和3D深度信息同時獲得，以提供完全同步地幀速率、顏色的相位、深度和視角。在一個示例性實施例中，彩色圖像信息和3D深度信息以交錯或交替型方式從2D像素陣列的行中輸出。即，彩色圖像信息從第一選擇的行輸出，隨后從同一行輸出深度信息，然后彩色圖像信息從下一個選擇的行輸出，隨后從同一個下一行輸出深度信息，等?？蛇x擇地，深度信息從第一選擇的行輸出，隨后從同一行輸出彩色圖像信息，然后深度信息從下一個選擇的行輸出，隨后從同一個下一行輸出彩色圖像信息等。
[0108] 根據這里公開的主旨，圖1、圖2、圖6、圖7A和圖7B中描述的示例性實施例可以包括 2D像素陣列，其中，2D彩色圖像信息和3D深度信息同時獲得，以提供完全同步的幀速率、顏色的相位(phase of color)、深度和視角。在一個示例性實施例中，圖像傳感器單元24包括布置在多個行中的二維(2D)像素陣列，其中，陣列的每個像素與陣列的其他像素基本相同。在另一個示例性實施例中，存在陣列中的不與陣列的其他像素基本相同的一個或多個像素。在一個示例性實施例中，陣列的行可操作為產生如這里描述的被成像的物體的2D顏色信息，并且可操作為產生如這里描述的物體的3D深度信息。在另一個示例性實施例中，陣列的一個或多個行可操作為產生2D顏色信息和3D深度信息兩者，陣列的其他行可以操作為產生2D顏色信息或3D深度信息的一者，而不是兩種類型的信息。在另一個示例性實施例中，針對2D顏色信息和/或3D深度信息掃描的具體行可以比2D像素陣列的行的總數少。在一個示例性實施例中，同時產生2D顏色信息和3D深度信息不需要幀緩沖器，因為不需要輸出信息的數字信號處理，信號在被獲取之后很快輸出。
[0109] 圖13描述了根據這里公開的實施例同時產生并且獲得2D顏色信息和3D深度信息的過程300的示例性流程圖。圖13中示出的各種操作可以通過單個模塊或模塊的組合或者例如系統(tǒng)15中的系統(tǒng)組件來執(zhí)行。在這里的討論中，僅通過示例的方式，特定的任務描述為通過特定模塊或系統(tǒng)組件來執(zhí)行。其他模塊或系統(tǒng)組件可以適當地被構造為也執(zhí)行該任務。
[0110] 處理在塊301開始。在塊302中，系統(tǒng)15(或更具體而言，處理器19)可以沿著2D像素陣列42(圖2中的附圖標記42)的第一行，執(zhí)行物體(諸如物體26(圖2))的2D彩色圖像捕獲。在一個示例性實施例中，第一行可以是2D像素陣列42的第一物理行(對應于例如圖6中描繪的第一行或最后一行）。在另一個示例性實施例中，第一行可以不同于2D像素陣列的第一物理行(對應于例如圖6中描繪的第一行或最后一行）。在一個示例性實施例中，彩色圖像信息從2D像素陣列42中讀出，如結合圖6描述的。
[0111]在塊303，系統(tǒng)15可以使用諸如圖2中的光源模塊22的光源，來沿著掃描線執(zhí)行3D 物體(諸如圖2中的物體26)的一維（ID)點掃描。在一個示例性實施例中，選擇的掃描線對應于第二行，其中，第二行可以對應于塊302中針對彩色圖像信息而掃描的同一行。在另一個示例性實施例中，選擇的掃描線對應于第二行，其中，第二行可以不對應于塊302中針對彩色圖像信息而掃描的同一行。從2D像素陣列42中讀出3D深度信息，如結合圖6描述的。在一個示例性實施例中，塊302和303的順序可以顛倒。
[0112]在塊304中，系統(tǒng)15確定是否2D像素陣列的所有行已經被掃描用于彩色圖像信息和3D深度信息兩者。如果否，則過程進行到塊305,在塊305,對應于彩色圖像信息掃描的行和3D深度信息掃描的行的索引遞增(或遞減可以根據情況而定），過程返回塊302。在從同一行獲得2D顏色信息和3D深度信息的示例性實施例中，索引可以是相同的索引。在從不同的行獲得2D顏色信息和3D深度信息的示例性實施例中，索引可以是不同的。在塊304中，如果確定2D像素陣列的所有行已經被掃描用于彩色圖像信息和3D深度信息兩者，則流程繼續(xù)到過程結束的塊306。
[0113]在輸出2D顏色信息的行的數量大于輸出3D深度信息的行的數量的一個示例性實施例中，彩色圖像信息的選擇的行的數量可以以交錯或交替型的方式針對每行的3D深度信息來輸出。
[0114] 在一個示例性實施例中，相同的行R(或列C)可以被掃描多次，以適當地調整從激光光源輸出的點照明的時序和/或強度（即，調整激光脈沖的時序），所以更好地符合行中每個具體像素的響應時間以及投影光學器件35(圖2)的機械特性。這種技術可以用于校準成像模塊17(圖1)。
[0115] 圖14描述了根據這里公開的一個實施例為了 3D深度測量可以如何執(zhí)行至半透明物體401 (諸如玻璃）的距離和至半透明物體401后面的物體402的距離的示例性圖示。在圖 14中，X-Y可尋址的光源403 (諸如激光光源)通過半透明物體401來點掃描物體402。來自半透明物體401的反射404和來自物體402的反射405穿過透鏡406,并且分別被2D像素陣列的行R中的像素407和408檢測。兩個檢測的反射407和408信息將具有基本相同的時間戳，并且如這里討論的，可以確定兩者反射的輸出深度。
[0116] 圖15描述了根據這里公開的一個實施例為了 3D深度測量可以如何執(zhí)行半透明介質501(諸如霧、雨等）的深度成像的示例性圖示。當X-Y可尋址光源403(諸如激光光源）點掃描半透明介質501時，反射504將穿過透鏡506,2D像素陣列的行R中的一系列像素507將被激活為將具有基本相同的時間戳。介質501的厚度可以基于如這里公開的時間戳來確定。
[0117] 圖16描述了根據這里公開的一個實施例存在多條返回路徑的情況下為了 3D深度測量可以如何執(zhí)行物體601的深度成像的示例性圖示。當X-Y可尋址的光源602(諸如激光光源）點掃描有光澤的物體601時，雜散反射603可以從另一個物體604返回。在這種情況下，雜散反射603將很可能不在被掃描的行R的極平面內，因此，將不被檢測為來自點掃描指向的物體601的反射605。
[0118] 圖12描述了根據這里公開的一個實施例的圖1和圖2中的系統(tǒng)15的整體結構。這里，為了便于參考和討論，在圖1和圖12中，針對相同的系統(tǒng)組件/單元使用相同的附圖標記。
[0119] 如前所述，成像模塊17可以包括圖2、圖6、圖7A、圖7B和圖13的示例性實施例中示出的硬件，以根據這里公開的主旨完成2D成像和3D深度測量。處理器19可以被構造為與大量的外部裝置相接合。在一個實施例中，成像模塊17可以起輸入裝置的作用，將數據輸入即以像素事件數據(諸如圖7A中的處理的數據輸出170)提供給處理器19以進一步處理。處理器19也可以接收來自可以是系統(tǒng)15的一部分的其他輸入裝置(未示出）的輸入。這種輸入裝置的一些示例包括計算機鍵盤、觸摸板、觸摸屏、操縱桿、物理或虛擬"可點擊按鈕"、和/或計算機鼠標/定點裝置。在圖12中，處理器19示出為結合到系統(tǒng)存儲器20、外圍存儲單元 265、一個或多個輸出裝置267以及網絡接口單元268。在圖12中，顯示單元被示出為輸出裝置267。在一些實施例中，輸出裝置267可以包括觸摸屏顯示器。在一個實施例中，系統(tǒng)15可以包括一個以上示出裝置的實例。系統(tǒng)15的一些示例包括計算機系統(tǒng)（臺式或膝上型）、平板電腦、移動裝置、蜂窩電話、視頻游戲單元或操縱臺、機器對機器(M2M)通信單元、機器人、汽車、虛擬顯示設備、無狀態(tài)"薄"客戶系統(tǒng)、車輛記錄儀或后視鏡照相機系統(tǒng)、或者任何其他類型的計算或數據處理裝置。在各種實施例中，圖12中示出的所有組件可以殼裝在單個外殼中。因此，系統(tǒng)15可以被構造為獨立的系統(tǒng)或任何其他適合的形狀系數。在一些實施例中，系統(tǒng)15可以被構造為客戶端系統(tǒng)，而不是服務器系統(tǒng)。
[0120] 在具體實施例中，系統(tǒng)15可以包括一個以上處理器(例如，呈分布式處理結構）。如果系統(tǒng)15是多處理器系統(tǒng)，則可以存在一個以上處理器19的示例，或者可以存在經由它們各自的接口（未示出）結合到處理器19的多個處理器。處理器19可以是芯片上系統(tǒng)（SoC)和/ 或可以包括一個以上中央處理單元(CPU)。
[0121] 如前所述，系統(tǒng)存儲器20可以是基于任何半導體的存儲系統(tǒng)，諸如（但不限于） 01^1、51^1、？狀1、1?狀1、081?艦、]\?艦、51'1'-]\1狀1等。在一些實施例中，存儲器單元20可以包括至少一個3DS存儲器模塊連同一個或多個非3DS存儲器模塊。非3DS存儲器可以包括雙倍數據速率或雙倍數據速率2、3或4同步動態(tài)隨機存取存儲器(DDR/DDR2/DDR3/DDR4SDRAM)、或 Rambus?DRAM、閃存、各種類型的只讀存儲器(ROM)等。此外，在一些實施例中，系統(tǒng)存儲器20可以包括多個不同類型的半導體存儲器，與單一類型的存儲器相反。在其他實施例中，系統(tǒng)存儲器20可以是非易失性數據存儲介質。
[0122] 在各種實施例中的外圍存儲單元265可以包括支持磁性、光學、磁光或固態(tài)存儲介質，諸如硬盤、光盤(諸如緊湊型盤(CD)或數字通用光盤(DVD))、非易失性隨機存取存儲器 (RAM)裝置等。在一些實施例中，外圍存儲單元265可以包括許多復雜的存儲裝置/系統(tǒng)，諸如磁盤陣列（其可以處于適合的RAID(獨立磁盤冗余陣列）結構）或存儲區(qū)域網絡（SAN)AF 圍存儲單元265可以經由標準外圍接口（諸如小型計算機系統(tǒng)接口（SCSI)接口、光纖通道接口、.Firewire?:(IEEE 1394)接口、基于外圍組件接口Express(PCI Express?)標準的接口、基于通用串行總線(USB)協議的接口或其他適合的接口）而結合到處理器19。各種這樣的存儲裝置可以是非暫時數據存儲介質。
[0123] 顯示單元267可以是輸出裝置的示例。輸出裝置的其他示例包括圖形/顯示裝置、計算機屏幕、報警系統(tǒng)、CAD/CAM(計算機輔助設計/計算機輔助加工)系統(tǒng)、視頻游戲站、智能電話顯示屏、或任何其他類型的數據輸出裝置。在一些實施例中，輸入裝置(諸如成像模塊17)和輸出裝置(諸如顯示單元267)可以經由I/O或外圍接口而結合到處理器19。
[0124] 在一個實施例中，網絡接口268可以與處理器19通信，以使得系統(tǒng)15能夠結合到網絡(未示出）。在另一個實施例中，網絡接口268可以一起不存在。網絡接口268可以包括用于將系統(tǒng)15連接到網絡的任何適合的裝置、媒體和/或協議內容，無論有線或無線。在各種實施例中，網絡可以包括局域網（LAN)、廣域網(WAN)、有線或無線以太網、電信網絡或其他適當類型的網絡。
[0125] 系統(tǒng)15可以包括板上電源單元270,以將電力提供給圖12中所示的各種系統(tǒng)組件。電源單元270可以接收電池或者可以連接到AC電源插座。在一個實施例中，電源單元270可以將太陽能轉換為電能。
[0126] 在一個實施例中，成像模塊17可以與插入任何個人計算機(PC)或膝上型計算機的高速接口（諸如，但不限于，通用串行總線2.0或3.0(USB 2.0或3.0)接口或之上的）結合。非易失性、計算機可讀數據存儲介質(諸如，但不限于系統(tǒng)存儲器20)或外圍數據存儲單元(諸如CD/DVD)可以存儲程序編碼或軟件。處理器19和/或成像模塊17中的數字處理塊167(圖 7A)可以被構造為執(zhí)行程序編碼，從而裝置15可以操作為執(zhí)行如上文中討論的2D成像和3D 深度測量，諸如前面參照圖1至圖11和圖13至圖16討論的操作。程序編碼或軟件可以是專有軟件或開源軟件，其在通過適當的處理實體(諸如處理器19和/或數字塊167)執(zhí)行時可以使得處理實體能夠捕獲使用它們的精確定時的像素事件，處理它們，以各種格式繪制它們，并且以2D和/或3D的格式顯示它們。如前所述，在某些實施例中，成像模塊17中的數字處理塊 167可以在像素輸出數據被發(fā)送到處理器19以進一步處理和顯示之前執(zhí)行像素事件信號的一些處理。在其他實施例中，處理器19也可以執(zhí)行數字塊167的功能，在這種情況下，數字塊 167可以不是成像模塊17的部分。
[0127] 在前面的描述中，為了說明和非限制的目的，闡述了具體詳情(諸如具體的架構、波形、接口、技術等）以提供公開的技術的透徹理解。然而，對本領域技術人員將明顯的是，公開的技術可以在脫離這些具體細節(jié)的其他實施例中實現。即，本領域技術人員將能夠設計盡管這里未明確描述或示出但是體現公開的技術的原理的各種布置。在某些情況下，省略已知的裝置、電路和方法的詳細描述，以不利用不必要的細節(jié)而模糊公開的技術的描述。這里列舉公開的技術的原理、方面和實施例以及其特定示例的所有表述意圖包括結構及其等同功能兩者。此外，期望這種等同物包括當前已知的等同物以及未來發(fā)展的等同物(諸如，與結構無關，執(zhí)行同樣的功能而發(fā)展的任何元件)兩者。
[0128] 因此，例如，本領域技術人員將理解，這里的框圖（例如，在圖1和圖2中）可以表示說明的電路的概念視圖或采用技術的原理的其他功能單元。類似地，將理解圖3中的流程圖表示可以基本由處理器(例如，圖12中的處理器19和/或圖7A中的數字塊167)執(zhí)行的各種處理。通過示例的方式，這種處理器可以包括通用處理器、專用處理器、傳統(tǒng)處理器、數字信號處理器(DSP)、多個微處理器、與DSP核相關的一個或多個微處理器、控制器、微控制器、專用集成電路(ASIC)、現場可編程門陣列(FPGA)電路、任何其他類型的集成電路（IC)、和/或狀態(tài)機。上述在圖1至圖11和圖13至圖16的背景下描述的功能中的一些或全部也可以由硬件和/或軟件中的這種處理器來提供。
[0129] 如果這里公開的主旨的某些方面需要基于軟件的處理，這種軟件或程序代碼可以存在于計算機可讀數據存儲介質中。如前所述，這種數據存儲介質可以是外圍存儲265的部分，或者可以是處理器19的內部存儲器(未示出）或系統(tǒng)存儲器20的部分。在一個實施例中，處理器19或數字塊167可以執(zhí)行在這種介質上存儲的指令，以執(zhí)行基于軟件的處理。計算機可讀數據存儲介質可以是包括通過通用計算機或上述處理器執(zhí)行的計算機程序、軟件、固件或微碼的非暫時性數據存儲介質。計算機可讀存儲介質的示例包括R〇M、RAM、數碼寄存器、高速緩沖存儲器、半導體存儲器裝置、磁性媒體(諸如內置硬盤、磁帶、可移動磁盤）、磁光介質和光學媒體(諸如CD-ROM盤和DVD)。
[0130] 包括根據這里公開的主旨的方面的這種成像模塊的成像模塊17或系統(tǒng)15的可選擇實施例可以包括負責提供附加功能的附加組件，其中，附加功能包括上述確定的任意功能和/或依據這里公開的主旨必須支持解決方法的任何功能。盡管特征和元件在具體組合中描述如上，但是每個特征或元件可以沒有其他特征和元件或者以有或沒有其他特征的各種組合而單獨使用。如前所述，這里討論的各種2D和3D成像功能可以以存儲在計算機可讀數據存儲介質(上述)上的編碼指令或微碼的形式通過硬件(諸如電路硬件)和/或能夠執(zhí)行軟件/固件的硬件的使用來提供。因此，將這種功能和示出的功能塊理解為硬件實施和/或計算機實施，因此機器實施。
[0131] 上文描述了同樣的圖像傳感器（即，圖像傳感器中的所有像素)可以用于捕獲3D物體的2D圖像以及物體的3D深度測量的系統(tǒng)和方法。圖像傳感器可以是移動裝置(諸如，但不限于智能電話）中的照相機的部分。激光源可以用于使用光斑來點掃描物體的表面，然后，光斑可以被圖像傳感器中的像素陣列檢測以使用三角測量產生物體的3D深度輪廓。在3D模式，激光器可以沿著掃描線將一系列光斑投射到物體的表面上。照明的光斑可以使用像素陣列中的一行像素來檢測，使得行形成掃描線的極線。檢測的光斑可以被時間標記，以去除三角測量中的任何模糊，因此，減少深度計算的量和系統(tǒng)電力。時間戳也可以提供捕獲的激光斑的像素位置和激光光源的各個掃描角度之間的對應關系，以使用三角測量確定深度。 2D模式下的圖像信號可以由圖像傳感器中來自ADC單元的多比特輸出表示，但是ADC單元可以產生僅二進制輸出以產生用于3D深度測量的時間戳值。為了抑制強環(huán)境光，圖像傳感器可以以與3D線性模式相對的3D對數模式操作。
[0132] 如本領域技術人員將意識到的，這里描述的創(chuàng)新性概念可以在申請的廣泛的范圍中修改和改變。因此，專利的主旨的范圍不應限制于上述任何具體的示例性教導，而由權利要求限定。
【主權項】
1. 一種圖像傳感器單元，所述圖像傳感器單元包括：二維像素陣列，布置在多個行的第一組中，所述陣列的第二組的行的像素可操作為基于通過二維像素陣列接收的至少一個物體的圖像而產生二維顏色信息，所述陣列的第三組的行的像素可操作為產生所述至少一個物體的三維深度信息，第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數；以及控制器，結合到二維像素陣列，以交替的方式從第二組的行中選擇行來輸出基于所述至少一個物體的圖像而產生的二維顏色信息，并且從第三組的行中選擇行來輸出產生的所述至少一個物體的三維深度信息。2. 根據權利要求1所述的圖像傳感器單元，其中，從第二組的行中選擇的行是與從第三組的行中選擇的行相同的行。3. 根據權利要求1所述的圖像傳感器單元，其中，從第二組的行中選擇的行與從第三組的行中選擇的行不同。4. 根據權利要求1所述的圖像傳感器單元，其中，三維深度信息包括與所述至少一個物體的掃描行的斑對應的三角測量信息。5. 根據權利要求4所述的圖像傳感器單元，其中，三維深度信息以由從第三組的行中選擇的行的像素產生的光電子的線性積分為基礎。6. 根據權利要求4所述的圖像傳感器單元，其中，三維深度信息以由從第三組的行中選擇的行的像素產生的光電子的對數積分為基礎。7. 根據權利要求4所述的圖像傳感器單元，其中，三角測量信息包括針對掃描行的斑的時間戳信息。8. 根據權利要求4所述的圖像傳感器單元，還包括照明掃描行的斑的激光光源。9. 根據權利要求8所述的圖像傳感器單元，其中，激光光源包括可見激光光源、近紅外激光光源、點光源、單色照明源、X-Y可尋址激光光源、以及基于微機電系統(tǒng)的激光掃描儀中的一者。10. -種系統(tǒng)，包括：二維像素陣列，布置在多個行的第一組中，所述陣列的第二組的行的像素可操作為基于通過二維像素陣列接收的至少一個物體的圖像而產生二維顏色信息，所述陣列的第三組的行的像素可操作為產生所述至少一個物體的三維深度信息，第一組的行包括第一行數，第二組的行包括等于或小于第一行數的第二行數，第三組的行包括等于或小于第二行數的第三行數；控制器，結合到二維像素陣列，以交替的方式從第二組的行中選擇行來輸出基于所述至少一個物體的圖像而產生的二維顏色信息，并且從第三組的行中選擇行來輸出產生的所述至少一個物體的三維深度信息；以及顯示器，結合到二維像素陣列和控制器，所述顯示器是運轉著的以基于產生的二維顏色信息來顯示所述至少一個物體的第一圖像，并且基于產生的三維深度信息來顯示所述至少一個物體的第二圖像。11. 根據權利要求10所述的系統(tǒng)，其中，三維深度信息包括與所述至少一個物體的掃描行的斑對應的三角測量信息，其中，三角測量信息包括針對掃描行的斑的時間戳信息。12. 根據權利要求11所述的系統(tǒng)，其中，三維深度信息以由從第三組的行中選擇的行的像素產生的光電子的線性積分為基礎。13. 根據權利要求11所述的系統(tǒng)，其中，三維深度信息以由從第三組的行中選擇的行的像素產生的光電子的對數積分為基礎。14. 根據權利要求11所述的系統(tǒng)，還包括照明掃描行的斑的激光光源，其中，激光光源包括可見激光光源、近紅外激光光源、點光源、單色照明源、X-Y可尋址激光光源以及基于微機電系統(tǒng)的激光掃描儀中的一者。15. 根據權利要求10所述的系統(tǒng)，其中，顯示器包括觸摸屏顯示器。16. 根據權利要求15所述的系統(tǒng)，其中，系統(tǒng)包括移動通信裝置的部分。
【文檔編號】H04N13/02GK106067968SQ201610247794
【公開日】2016年11月2日
【申請日】2016年4月20日公開號201610247794.0, CN 106067968 A, CN 106067968A, CN 201610247794, CN-A-106067968, CN106067968 A, CN106067968A, CN201610247794, CN201610247794.0
【發(fā)明人】伊利亞·奧夫相尼科夫, 王一兵, 格雷戈里·瓦力戈爾斯奇, 張強
【申請人】三星電子株式會社

完整全部詳細技術資料下載