用于處理多個(gè)輸入的方法和裝置制造方法
【專利摘要】提供了一種在具有與外部交互的接口的裝置中處理多個(gè)輸入的方法和裝置。所述方法包括：從接口的一個(gè)中檢測(cè)第一用戶輸入；響應(yīng)于第一用戶輸入來執(zhí)行功能；從接口的另一個(gè)中接收第二用戶輸入或者系統(tǒng)輸入；以及響應(yīng)于第二用戶輸入或者系統(tǒng)輸入來改變功能的屬性。
【專利說明】用于處理多個(gè)輸入的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及一種用于處理多個(gè)輸入的方法和裝置，更具體地，涉及一種用于響應(yīng)于同時(shí)發(fā)生的多個(gè)輸入來執(zhí)行功能的方法和裝置。
【背景技術(shù)】
[0002]便攜式終端通常用于無線語音呼叫和信息交換。隨著新技術(shù)的發(fā)展，現(xiàn)在便攜式終端提供各種服務(wù)和功能。諸如，便攜式終端已經(jīng)被開發(fā)為能夠提供各種服務(wù)的多媒體設(shè)備，諸如電話簿、游戲、短信息、電子郵件、叫醒服務(wù)、音樂播放器、日程管理、數(shù)碼相機(jī)和無線因特網(wǎng)。
[0003]此外，語音識(shí)別技術(shù)正在迅速發(fā)展，其不僅將語音轉(zhuǎn)換成文本并識(shí)別文字，而且識(shí)別類似于人類語音的內(nèi)容。這樣的語音識(shí)別技術(shù)被應(yīng)用到各種終端，諸如智能手機(jī)、智能電視機(jī)、平板電腦等。終端可以響應(yīng)于輸入信息、特別是語音信息而執(zhí)行各種功能(諸如，照相、因特網(wǎng)連接、音樂播放、導(dǎo)航服務(wù)等)。
[0004]當(dāng)前，便攜式終端提供了諸如觸摸屏和麥克風(fēng)的各種輸入設(shè)備來作為接口，以用作與用戶交互的輸入。也就是說，用戶可以通過觸摸屏利用觸摸輸入來控制便攜式終端。此外，用戶可以通過麥克風(fēng)利用語音輸入來控制便攜式終端。也就是說，傳統(tǒng)的便攜式終端的單獨(dú)地處理用戶的輸入。特別是，傳統(tǒng)的便攜式終端分別處理除了語音輸入之外的輸入。因此，在便攜式終端中具有各種類型的輸入設(shè)備可能是低效率的。

【發(fā)明內(nèi)容】

[0005]已經(jīng)做出本發(fā)明以至少解決上述問題和缺點(diǎn)，并且至少提供下面描述的優(yōu)點(diǎn)。因此，本發(fā)明的一個(gè)方面是提供一種方法和裝置，其用于提供在其中可以組合地使用兩個(gè)或更多個(gè)輸入方法的環(huán)境。換句話說，提供了一種用于處理同時(shí)從不同輸入接口輸入的多個(gè)輸入的方法和裝置。
[0006]本發(fā)明的另一個(gè)方面是提供一種方法和裝置，其能夠從自麥克風(fēng)輸入的語音信息中識(shí)別用戶的意圖，并且準(zhǔn)確地將用戶的意圖反映到由除了麥克風(fēng)之外的接口執(zhí)行的功能上。
[0007]根據(jù)本發(fā)明的一個(gè)方面，一種在具有用于與外部環(huán)境交互的接口的裝置中處理多個(gè)輸入的方法包括:檢測(cè)來自接口中的一個(gè)的第一用戶輸入；響應(yīng)于第一用戶輸入來執(zhí)行功能；檢測(cè)來自接口中的另一個(gè)的第二用戶輸入或系統(tǒng)輸入；以及響應(yīng)于第二用戶輸入或系統(tǒng)輸入來改變功能的屬性。
[0008]根據(jù)本發(fā)明的另一個(gè)方面，一種用于處理多個(gè)輸入的裝置包括:用于與外部環(huán)境進(jìn)行交互的接口 ；以及用于控制接口的控制器，其中，所述控制器檢測(cè)來自接口中的一個(gè)的第一用戶輸入，響應(yīng)于第一用戶輸入來執(zhí)行功能，檢測(cè)來自接口中的另一個(gè)的第二用戶輸入或系統(tǒng)輸入，以及響應(yīng)于第二用戶輸入或系統(tǒng)輸入來改變功能的屬性。【專利附圖】

【附圖說明】
[0009]結(jié)合附圖，從以下的詳細(xì)描述中，本發(fā)明的方面、特征、和優(yōu)點(diǎn)將變得更加明顯，在附圖中:
[0010]圖1是示出根據(jù)本發(fā)明的實(shí)施例的、用于處理多個(gè)輸入的裝置的框圖；
[0011]圖2是示出根據(jù)本發(fā)明的實(shí)施例的、處理多個(gè)輸入的方法的流程圖；
[0012]圖3中的(a)_ (e)是示出根據(jù)本發(fā)明的實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例；
[0013]圖4是示出根據(jù)本發(fā)明的實(shí)施例的、改變功能的屬性的方法的流程圖；
[0014]圖5示出根據(jù)本發(fā)明的實(shí)施例的、計(jì)算需要校正的部分的方法；
[0015]圖6中的(a)_ (b)是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例；
[0016]圖7中的(a)_ (b)是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例；以及
[0017]圖8是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例?！揪唧w實(shí)施方式】
[0018]將參考附圖來詳細(xì)地說明本發(fā)明的實(shí)施例。在整個(gè)附圖中，使用相同的附圖標(biāo)記來指代相同或類似部件。并入本文的公知的功能和結(jié)構(gòu)的詳細(xì)描述可以被省略，以避免模糊本發(fā)明的主題。
[0019]根據(jù)本發(fā)明的用于處理多個(gè)輸入的方法和裝置可被應(yīng)用于多媒體設(shè)備，諸如智能電話機(jī)、平板電腦、筆記本電腦、臺(tái)式電腦、電視機(jī)、導(dǎo)航系統(tǒng)和視頻電話機(jī)。另外，該方法和裝置也可被應(yīng)用于與多媒體設(shè)備組合的設(shè)備(例如，具有通信功能和觸摸屏的冰箱)。
[0020]在本發(fā)明中，“輸入”是來自用于與外部環(huán)境交互的各種接口的信息輸入，并且可以包括用戶輸入和系統(tǒng)輸入。具體而言，“用戶輸入”是通過用戶接口(例如，觸摸屏、麥克風(fēng)、傳感器單元、鍵盤輸入單元等)中的一個(gè)而輸入到設(shè)備的用戶輸入信息，并且包括使用手持部件(例如，用戶的手或筆等)的對(duì)于觸摸屏的用戶姿勢(shì)、通過麥克風(fēng)輸入的語音信息、在傳感器單元中感測(cè)的運(yùn)動(dòng)信息等。在此，運(yùn)動(dòng)信息包括用戶的運(yùn)動(dòng)信息。用戶的運(yùn)動(dòng)信息可以是由照相機(jī)(圖像傳感器)拍攝的手部運(yùn)動(dòng)、臉部運(yùn)動(dòng)、或眼睛運(yùn)動(dòng)。另外，如果裝置是便攜式終端，則運(yùn)動(dòng)信息可以包括設(shè)備的運(yùn)動(dòng)信息。設(shè)備的運(yùn)動(dòng)信息可以包括根據(jù)便攜式終端的用戶晃動(dòng)的、在加速度傳感器中感測(cè)的設(shè)備的加速度信息。
[0021]在本發(fā)明中，系統(tǒng)輸入是與設(shè)備的外部環(huán)境相關(guān)的信息。在這里，外部環(huán)境可以廣泛地包括自然環(huán)境的通信環(huán)境。例如，與自然環(huán)境相關(guān)的信息可包括外部亮度、溫度、濕度、速度、位置和便攜終端的移動(dòng)方向等。另外，與通信環(huán)境相關(guān)的信息可包括與終端連接的無線通信網(wǎng)絡(luò)信息一諸如LTE、3G、W1-Fi和藍(lán)牙一以及通過有線線路連接的外部設(shè)備的屬性信息。
[0022]在本發(fā)明中，從用戶的角度來看，輸入可以根據(jù)輸入是否是由用戶產(chǎn)生的而被劃分為用戶輸入和系統(tǒng)輸入。從設(shè)備的角度來看，輸入可以基于輸入的產(chǎn)生位置而被劃分為用戶輸入和系統(tǒng)輸入。例如，在觸摸屏中產(chǎn)生的輸入可以是用戶輸入，并且在亮度傳感器中產(chǎn)生的輸入可以是系統(tǒng)輸入。[0023]根據(jù)本發(fā)明的方法和裝置可以處理同時(shí)產(chǎn)生的多個(gè)輸入。特別地，根據(jù)本發(fā)明的方法和裝置可以響應(yīng)于第二用戶輸入或系統(tǒng)輸入來改變由第一用戶輸入執(zhí)行的功能的屬性。例如，所述方法和裝置響應(yīng)于筆觸摸而在屏幕上顯示筆跡。此時(shí)，如果檢測(cè)到用戶的語音“紅色”，則根據(jù)本發(fā)明的方法和裝置將筆跡的顏色改變?yōu)榧t色。此外，根據(jù)本發(fā)明的方法和裝置可以將筆跡的顏色校正為紅色。
[0024]圖1是示出根據(jù)本發(fā)明的實(shí)施例的、用于處理多個(gè)輸入的裝置100的框圖。
[0025]參照?qǐng)D1，裝置100包括觸摸屏110、鍵輸入單元120、存儲(chǔ)單元130、無線通信單元140、音頻處理單元150、揚(yáng)聲器(SPK)、麥克風(fēng)(MIC)、傳感器單元160和控制器170，并且還可以包括照相機(jī)180。
[0026]觸摸屏110包括觸摸面板111和顯示面板112，以提供用于與用戶交互的用戶接口。觸摸面板111可以被放置在顯示面板112上。具體而言，觸摸面板111可以被實(shí)現(xiàn)為放置在顯示面板112上的附加(add-on)類型、單元上(on-cell)類型、或者插入到顯示面板112中的單元內(nèi)(in-cell)類型。
[0027]觸摸面板111響應(yīng)于觸摸面板111上的用戶姿勢(shì)而產(chǎn)生模擬信號(hào)(例如,觸摸事件)，且A/D轉(zhuǎn)換(模擬到數(shù)字轉(zhuǎn)換)模擬信號(hào)并且將轉(zhuǎn)換后的信號(hào)發(fā)送到控制器170?？刂破?70從發(fā)送的觸摸事件中檢測(cè)用戶姿勢(shì)。即，控制器170通過檢測(cè)觸摸點(diǎn)、觸摸的移動(dòng)距離、觸摸的移動(dòng)方向、觸摸的速度和觸摸的壓力等來控制組件。
[0028]觸摸屏111可以是集成觸摸面板，其包括感測(cè)手姿勢(shì)的手觸摸面板Illa和感測(cè)筆姿勢(shì)的筆觸摸面板111b。在這里，手觸摸面板Illb可以是電容類型，其不僅通過用戶的手部姿勢(shì)來產(chǎn)生觸摸事件，而且可以通過其他物體(諸如，由可改變電容值的導(dǎo)電性材料制成的物體)來產(chǎn)生觸摸事件。即，在手觸摸面板Illa中，不僅可以通過用戶的手來產(chǎn)生觸摸事件，而且可以通過其它物體來產(chǎn)生觸摸事件。手觸摸面板Illa不限于電容型，而是可以是電阻型、紅外線型或超聲波型。筆觸摸面板Illb可以是電磁感應(yīng)型。因此，筆觸摸面板11 Ib通過用于觸摸以形成磁場(chǎng)的專門制造的鐵筆來產(chǎn)生觸摸事件。
[0029]如上所述，對(duì)于觸摸屏110的用戶姿勢(shì)根據(jù)觸摸輸入部件被大致劃分為手姿勢(shì)和筆姿勢(shì)。如上所述，在手觸摸面板Illa中感應(yīng)手姿勢(shì)，并且在筆觸摸面板Illb中感應(yīng)筆姿勢(shì)。
[0030]用戶姿勢(shì)被劃分為觸摸和與手持部件不相關(guān)的觸摸姿勢(shì)。此外，觸摸姿勢(shì)可以包括輕擊、雙擊、長(zhǎng)擊、拖動(dòng)、拖放、輕拂、按壓等。在此，觸摸是使用觸摸輸入部件(例如，手指或鐵筆)來接觸屏幕的一個(gè)點(diǎn)的操作，輕擊是利用觸摸輸入部件觸摸一個(gè)點(diǎn)，然后將觸摸輸入部件的觸摸從該點(diǎn)移除，而沒有移動(dòng)觸摸輸入部件的操作，雙擊是在一個(gè)點(diǎn)上連續(xù)執(zhí)行輕擊操作兩次的操作，長(zhǎng)擊是觸摸一個(gè)點(diǎn)達(dá)相對(duì)長(zhǎng)的時(shí)間，然后將觸摸輸入部件的觸摸從該點(diǎn)移除，而沒有移動(dòng)觸摸輸入部件的操作，拖動(dòng)是在已經(jīng)觸摸了某個(gè)點(diǎn)的狀態(tài)下沿預(yù)定方向移動(dòng)觸摸輸入部件的操作，拖放是拖動(dòng)然后移除觸摸輸入部件的操作，并且輕拂是相對(duì)于拖動(dòng)來說快速地移動(dòng)輸入部件然后移除觸摸的操作。按壓是利用觸摸輸入部件觸摸一個(gè)點(diǎn)并且推動(dòng)該點(diǎn)的操作。即，“觸摸”是其中維持與觸摸屏的接觸的狀態(tài)，并且“觸摸姿勢(shì)”是從觸摸(開始觸摸)到移除觸摸(結(jié)束觸摸)的觸摸的移動(dòng)。通過包括壓力傳感器，觸摸面板可以感測(cè)觸摸點(diǎn)處的壓力。感測(cè)到的輸入信息被發(fā)送到控制器170，并且控制器170基于所感測(cè)的壓力信息來區(qū)分觸摸與按壓。[0031]顯示面板112將來自控制器170的圖像數(shù)據(jù)輸入轉(zhuǎn)換成模擬信號(hào)，并且在控制器170的控制下顯示信號(hào)。即，顯示面板112根據(jù)裝置100的使用來顯示各種屏幕，諸如鎖定屏幕、主頁屏幕、應(yīng)用(應(yīng)用)屏幕和鍵盤屏幕。鎖定屏幕可以被定義為當(dāng)顯示面板112被開啟時(shí)在顯示面板112上顯示的圖像。如果檢測(cè)到用于釋放鎖定的觸摸姿勢(shì)，則控制器170將所顯示的圖像改變?yōu)橹黜撈聊换驊?yīng)用執(zhí)行屏幕等。主頁屏幕可以被定義為包括與多個(gè)應(yīng)用相對(duì)應(yīng)的多個(gè)應(yīng)用圖標(biāo)的圖像。
[0032]如果通過用戶選擇多個(gè)應(yīng)用中的一個(gè)(例如，輕擊一個(gè)圖標(biāo))，則控制器170執(zhí)行相應(yīng)的應(yīng)用(例如，因特網(wǎng)、文檔書寫、聊天、文本傳輸?shù)?，并且在顯示面板112上顯示執(zhí)行屏幕。顯示面板112可以顯示屏幕中的一個(gè)來作為背景，并且可以在背景中疊加另一屏幕作為前景。例如，顯示面板112可以顯示應(yīng)用執(zhí)行屏幕，并且可以在應(yīng)用執(zhí)行屏幕上顯示小鍵盤。
[0033]此外，顯示面板112可以在控制器170的控制下顯示多個(gè)屏幕。例如，顯示面板112可以在觸摸屏110的第一屏幕區(qū)域上顯示小鍵盤，并且可以在觸摸屏110的第二屏幕區(qū)域上顯示通過小鍵盤輸入的消息。
[0034]顯示面板112可以由液晶顯示器(IXD)、有機(jī)發(fā)光二極管(OLED)或有源矩陣有機(jī)發(fā)光二極管(AMOLED)來形成。
[0035]鍵輸入單元120包括用于接收數(shù)字或字母信息并且設(shè)置各種功能的多個(gè)鍵。這樣的鍵可以包括方向鍵、側(cè)鍵和快捷鍵等。鍵輸入單元120產(chǎn)生與用戶設(shè)置和裝置的功能控制相關(guān)的鍵事件，并且向控制器170發(fā)送所產(chǎn)生的鍵事件。鍵事件可以包括電源開/關(guān)事件、音量調(diào)整事件以及屏幕開/關(guān)事件?？刂破?70響應(yīng)于鍵事件來控制上述組件。另外，鍵輸入單元120可以包括包含多個(gè)鍵的QWERTY小鍵盤、3*4小鍵盤、4*3小鍵盤等。如果觸摸面板被支持為全觸摸屏類型，則鍵輸入單元120可包括用于屏幕開/關(guān)、裝置開/關(guān)或音量調(diào)節(jié)的一個(gè)或多個(gè)側(cè)鍵。另外，鍵輸入單元120的鍵可以被稱為硬鍵，并且在觸摸屏110上顯示的鍵可以被稱為軟鍵。
[0036]在控制器170的控制下，存儲(chǔ)單元130可以存儲(chǔ)在裝置中產(chǎn)生的數(shù)據(jù)(例如，文本消息、拍攝的圖像)或通過無線通信單元140而從外部接收的數(shù)據(jù)(例如，文本消息、電子郵件)。存儲(chǔ)單元130可以存儲(chǔ)鎖定屏幕、主頁屏幕、小鍵盤等。存儲(chǔ)單元130可存儲(chǔ)用于裝置的操作的各種設(shè)置值(例如，屏幕亮度、在觸摸發(fā)生時(shí)是否有振動(dòng)、屏幕是否自動(dòng)旋轉(zhuǎn)、背景圖像等)。
[0037]存儲(chǔ)單元130可以包括用于引導(dǎo)裝置100的操作的操作系統(tǒng)、通信程序、圖形處理程序、顯示控制程序、用戶接口程序、用戶識(shí)別程序、人工智能程序、嵌入式應(yīng)用和第三方應(yīng)用等。
[0038]通信程序包括允許通過無線通信單元140而與外部設(shè)備進(jìn)行通信的命令。圖形處理程序包含各種軟件組件(例如，用于轉(zhuǎn)換圖像格式、調(diào)整要顯示的圖形的大小、渲染、以及確定背光單元的亮度等的模塊)，以處理將被顯示在觸摸屏上的圖形圖像。在這里，圖形圖像可以包括文本、網(wǎng)頁、圖標(biāo)、圖片、視頻以及動(dòng)畫等。此外，圖形處理程序可以包括軟件編解碼器223。用戶接口程序包括與用戶接口相關(guān)的各種軟件組件。
[0039]諸如，用戶識(shí)別程序可以包括語音識(shí)別程序和面部識(shí)別程序。語音識(shí)別程序從語音數(shù)據(jù)中檢測(cè)語音特征信息(例如，音色、頻率、分貝等)。語音識(shí)別程序?qū)⑺鶛z測(cè)的語音特征信息與預(yù)先存儲(chǔ)的一個(gè)或更多個(gè)語音特征信息集進(jìn)行比較，并且根據(jù)比較結(jié)果來識(shí)別用戶是誰。另外，語音識(shí)別程序可以包括語音-文本(STT)功能，以用于將語音數(shù)據(jù)轉(zhuǎn)換成文本。面部識(shí)別程序從由照相機(jī)180拍攝的圖像中識(shí)別用戶的面部。具體而言，面部識(shí)別程序從圖像數(shù)據(jù)中提取面部信息，將所提取的面部信息與一個(gè)或者多個(gè)面部信息集進(jìn)行比較，并且基于比較結(jié)果來識(shí)別用戶是誰。此外，除了語音識(shí)別程序和面部識(shí)別程序之外，可以通過各種程序(例如，虹膜掃描、靜脈識(shí)別、指紋掃描等)來執(zhí)行用戶識(shí)別。
[0040]人工智能程序是用于根據(jù)語音或圖像數(shù)據(jù)來識(shí)別用戶的意圖的程序。例如，人工智能程序可以包括:自然語言處理引擎；用于根據(jù)語音數(shù)據(jù)來識(shí)別和處理上下文；用戶姿勢(shì)運(yùn)動(dòng)識(shí)別引擎，用于根據(jù)圖像數(shù)據(jù)來識(shí)別用戶的姿勢(shì)運(yùn)動(dòng)的趨勢(shì)；推斷引擎，用于基于所識(shí)別的上下文來推斷用戶的意圖；以及對(duì)話引擎，用于基于所識(shí)別的上下文或者用戶運(yùn)動(dòng)來與用戶對(duì)話。
[0041]術(shù)語“嵌入式應(yīng)用”是指基本上安裝在裝置100中的應(yīng)用。例如，嵌入式應(yīng)用可以是瀏覽器、電子郵件、即時(shí)信使等。如已經(jīng)知道的，術(shù)語“第三方應(yīng)用”是指從在線市場(chǎng)下載并安裝在裝置100中的應(yīng)用，并且存在各種第三方應(yīng)用。這樣的第三方應(yīng)用可以被自由安裝和刪除。
[0042]無線通信單元140在控制器170的控制下執(zhí)行語音呼叫、視頻呼叫或數(shù)據(jù)通信。為此，無線通信單元140可以包括:無線頻率發(fā)送單元，用于上變頻并放大所發(fā)送的信號(hào)的頻率；以及無線頻率接收單元，用于低噪聲放大并下變頻所接收的信號(hào)的頻率。此外，無線通信單元140可以包括移動(dòng)通信模塊(例如，第三代移動(dòng)通信模塊、3.5代移動(dòng)通信模塊或第四代移動(dòng)通信模塊)、數(shù)字廣播模塊(例如，DMB模塊)和本地通信模塊(例如，W1-Fi模塊和藍(lán)牙模塊)。
[0043]音頻處理單元150與揚(yáng)聲器(SPK)和麥克風(fēng)(MIC)組合，并且執(zhí)行語音識(shí)別、語音復(fù)制、數(shù)字記錄、和用于電話功能的音頻信號(hào)的輸入及輸出。也就是說，音頻處理單元150通過揚(yáng)聲器(SPK)輸出音頻信號(hào)，并且執(zhí)行用于通過麥克風(fēng)(MIC)來接收音頻信號(hào)的輸入的功能。音頻處理單元150從控制器170接收音頻數(shù)據(jù)，將所接收的音頻數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)(D/A轉(zhuǎn)換)，并且通過揚(yáng)聲器(SPK)輸出模擬信號(hào)。音頻處理單元150接收來自麥克風(fēng)(MIC)的模擬信號(hào)，將所接收的模擬信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)(A/D轉(zhuǎn)換)，并且將音頻數(shù)據(jù)提供給控制器170。揚(yáng)聲器(SPK)將從音頻處理單元150接收到的模擬信號(hào)轉(zhuǎn)換為聲波并且輸出聲波。麥克風(fēng)(MIC)將從人類或其他聲源傳播的聲波轉(zhuǎn)換成模擬信號(hào)。
[0044]傳感器單元160檢測(cè)狀態(tài)變化，諸如傾斜變化、亮度變化、加速度變化，并且將所檢測(cè)的變化發(fā)送到控制器170。傳感器單元160可以由各種傳感器構(gòu)成，并且在控制器170的控制下，傳感器檢測(cè)裝置100以及電源的狀態(tài)變化?？梢酝ㄟ^將傳感器集成在一個(gè)芯片上或者通過傳感器的分離芯片來實(shí)現(xiàn)傳感器單元160。具體而言，傳感器單元160可以包括加速度傳感器。加速度傳感器測(cè)量關(guān)于X軸、y軸和z軸分量中的每個(gè)的加速度。加速度傳感器可以包括陀螺儀傳感器，并且如果在裝置中沒有運(yùn)動(dòng)，則可以測(cè)量重力加速度。例如，如果觸摸屏110朝向上側(cè)而被放置在xy平面上(例如，正z軸方向)，則由傳感器單元160檢測(cè)的重力加速度的X軸分量和y軸分量可以是Om/sec2，并且z軸分量可以是+9.Sm/Sec20如果觸摸屏110被翻轉(zhuǎn)，則X軸分量和y軸分量可以是Om/sec2，并且z軸分量可以是-9.8m/sec2。如果裝置100中存在運(yùn)動(dòng)，則加速度傳感器檢測(cè)作為裝置100的動(dòng)力學(xué)加速度和重力加速度的總和的加速度。
[0045]控制器170控制裝置100的整體操作以及裝置100的內(nèi)部組件之間的信號(hào)流，并且處理數(shù)據(jù)。另外，控制器170控制到內(nèi)部組件的電力提供。
[0046]控制器170可包括中央處理單元(CPU)和圖形處理單元(GPU)。如公知地，CPU是計(jì)算機(jī)系統(tǒng)的核心控制單元，用于執(zhí)行數(shù)據(jù)計(jì)算和比較，并且分析及執(zhí)行命令等。GPU是圖形控制單元，用于執(zhí)行與圖形相關(guān)數(shù)據(jù)的計(jì)算和比較，并且分析和執(zhí)行命令。CPU和GPU可以被集成到由兩個(gè)或者更多個(gè)單獨(dú)的核(例如，四核)形成的單個(gè)集成電路的一個(gè)封裝中。此外，CPU和GPU可以被集成到一個(gè)集成芯片(片上系統(tǒng)(SoC))中。此外，CPU和GPU可以被封裝成多層。另外，包括CPU和GPU的配置可被稱為作為應(yīng)用處理器(AP)。
[0047]根據(jù)本發(fā)明的多輸入處理可以在CPU的至少一個(gè)核中執(zhí)行。另外，在多輸入處理中，圖形相關(guān)功能可以在GPU中執(zhí)行。例如，GPU的至少一個(gè)核響應(yīng)于觸摸姿勢(shì)來執(zhí)行指示筆跡的功能。當(dāng)然，根據(jù)本發(fā)明的多輸入處理可以在GPU和CPU 二者中執(zhí)行。在下面將具體描述根據(jù)本發(fā)明的控制器170的功能。
[0048]控制器170包括語音識(shí)別單元。語音識(shí)別單元從通過音頻處理單元150自麥克風(fēng)(MIC)輸入的語音信息中檢測(cè)語音特征信息(例如，音色、頻率、分貝等)，將所檢測(cè)的語音特征信息與預(yù)先存儲(chǔ)的一個(gè)或更多個(gè)語音特征信息集進(jìn)行比較，并且根據(jù)比較結(jié)果來識(shí)別用戶是誰。此外，控制器170可以包括面部識(shí)別單元。面部識(shí)別單元從來自照相機(jī)180的圖像數(shù)據(jù)輸入中提取面部信息，將所提取的面部信息與預(yù)先存儲(chǔ)的一個(gè)或更多個(gè)面部信息集進(jìn)行比較，并且根據(jù)比較結(jié)果來識(shí)別用戶是誰?？刂破?70可以僅僅向識(shí)別的用戶授予控制授權(quán)。也就是說，控制器170可以僅當(dāng)識(shí)別出聲音或面部時(shí)才進(jìn)行響應(yīng)。此外，語音識(shí)別單元可以將來自輸入語音信息的語音的特征信息轉(zhuǎn)換成文本，并且根據(jù)輸入語音信息來識(shí)別用戶的意圖(例如，諸如“更厚”和“紅色”的某些關(guān)鍵字，或上下文)。此外，面部識(shí)別單元可以根據(jù)圖像數(shù)據(jù)來識(shí)別用戶運(yùn)動(dòng)的趨勢(shì)。語音識(shí)別單元和面部識(shí)別單元中的至少一個(gè)可以被包括在外部服務(wù)器上而不是在裝置100的內(nèi)部。
[0049]照相機(jī)180在控制器170的控制下拍攝目標(biāo)，并且將所拍攝的目標(biāo)輸出到控制器170。具體而言，照相機(jī)180包括用于將從圖像傳感器輸入的電信號(hào)轉(zhuǎn)換成圖像數(shù)據(jù)(A/D轉(zhuǎn)換)的圖像信號(hào)處理器(ISP)，并且將圖像數(shù)據(jù)輸出到控制器170。照相機(jī)180的ISP可以包括:顯示控制模塊，用于將圖像數(shù)據(jù)處理為預(yù)覽圖像(例如，調(diào)整分辨率以適合觸摸屏的屏幕大小)，并且將預(yù)覽圖像輸出到控制器170 ;以及編碼模塊，用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼(例如，將數(shù)據(jù)壓縮為MPEG格式)并且將編碼數(shù)據(jù)輸出到控制器170。控制器170可以在觸摸屏110上顯示預(yù)覽圖像。此外，控制器170可以在存儲(chǔ)單元130中存儲(chǔ)編碼視頻。
[0050]另外，根據(jù)數(shù)字設(shè)備的融合趨勢(shì)，可以以各種方式對(duì)裝置100進(jìn)行修改，因此，并沒有將所有這樣的修改在此列出。根據(jù)本發(fā)明的裝置100可以進(jìn)一步包括沒有在上面提到的組件，諸如GPS模塊、振動(dòng)電機(jī)、照相機(jī)、硬件編解碼器、通過有線線路來與外部設(shè)備(例如，個(gè)人計(jì)算機(jī)等)連接的有線通信單元。另外，本發(fā)明的裝置100的一些組件可以從上述結(jié)構(gòu)中省略，或者可以由其他組件取代。
[0051]圖2和圖3分別是示出根據(jù)本發(fā)明的實(shí)施例的、處理多個(gè)輸入的方法的流程圖和
屏幕示例。
[0052]參照?qǐng)D2，在步驟210中，控制器170檢測(cè)來自用戶接口中的一個(gè)的第一用戶輸入。例如，第一用戶輸入可以是在其中正執(zhí)行用于使用手持部件(例如，手或筆)來進(jìn)行書寫、繪制或者繪畫的程序的情況下，手持部件在觸摸屏上的運(yùn)動(dòng)。具體地，如圖3中所示，觸摸屏110顯示主頁屏幕310?？刂破?70檢測(cè)到在主頁屏幕310中對(duì)于備忘錄書寫程序的選擇(例如，使用筆320雙擊備忘錄書寫程序的圖標(biāo)311)(參見圖3中的(a))。
[0053]控制器170響應(yīng)于備忘錄書寫程序的選擇，在觸摸屏110上顯示備忘錄書寫屏幕330。控制器170檢測(cè)在備忘錄書寫屏幕330上的第一用戶輸入，例如，筆320的移動(dòng)。
[0054]在步驟220中，控制器170響應(yīng)于第一用戶輸入來執(zhí)行功能。例如，在圖3中的(b)中示出用于顯示與筆320的移動(dòng)相對(duì)應(yīng)的“SELAB”的功能。在此，與諸如筆320的手持部件相對(duì)應(yīng)的功能不限于書寫，并且可以是與圖形工作相關(guān)的功能，諸如繪制、繪畫和擦除。在此，擦除是去除由書寫、繪制、繪畫等造成的筆跡或者圖畫的功能。
[0055]在步驟230中，控制器170確定是否已經(jīng)檢測(cè)到第二用戶輸入或系統(tǒng)輸入。在此，第二用戶輸入可以已經(jīng)在除了已經(jīng)產(chǎn)生第一用戶輸入的用戶接口以外的接口中產(chǎn)生。例如，在觸摸屏Iio中產(chǎn)生第一用戶輸入，而在麥克風(fēng)(MIC)和傳感器單元160中的一個(gè)中產(chǎn)生第二用戶輸入。此外，可以在除了已經(jīng)產(chǎn)生第一用戶輸入的用戶接口以外的地方產(chǎn)生系統(tǒng)輸入。如上所述，在本發(fā)明中，系統(tǒng)輸入是與裝置的外部環(huán)境(例如，自然環(huán)境或通信環(huán)境)有關(guān)的信息。因此，系統(tǒng)輸入可以已經(jīng)在傳感器單元160中或者在無線通信單元140等中產(chǎn)生。
[0056]如果檢測(cè)到第二用戶輸入和系統(tǒng)輸入中的至少一個(gè)，則在步驟240中控制器170響應(yīng)于檢測(cè)到的輸入來改變由第一用戶輸入執(zhí)行的功能的屬性。例如，如果功能是書寫，則改變書寫的屬性。例如，參照?qǐng)D3中的(C)、(d)和(e)，如果用戶輸入是說出“紅色的線、更厚的線”的語音，貝1J控制器170響應(yīng)于語音輸入來改變筆跡“software center (軟件中心)”的屬性。即，控制器170將字母的顏色改變?yōu)榧t色，并且將字母變厚。如果檢測(cè)到例如外部亮度的變化的系統(tǒng)輸入(諸如，當(dāng)前檢測(cè)的外部亮度大于20Klus (室外))，則控制器將字母的顏色變得更亮，并且將背景(即，備忘錄書寫屏幕330)變得相對(duì)較暗。
[0057]另外，可以事先指定用于改變功能的第二用戶輸入和系統(tǒng)輸入。例如可以在環(huán)境設(shè)置屏幕中通過用戶來設(shè)置該指定。在此，環(huán)境設(shè)置屏幕是用于設(shè)置裝置100的用戶環(huán)境，諸如聲音、亮度、背景屏幕、網(wǎng)絡(luò)等的屏幕。另外，該指定可以由制造公司來設(shè)置，或者用戶進(jìn)行的改變可能是不可以的。如上所述，如果功能是圖形相關(guān)工作，則第二用戶輸入被指定為語音輸入，并且系統(tǒng)輸入可以被指定為外部亮度的變化。
[0058]如果第二用戶輸入是語音輸入，則控制器170需要時(shí)間來處理語音信息，以便識(shí)別用戶的意圖。在此，通過麥克風(fēng)(MIC)從音頻處理單元150輸入語音信息，并且該處理通過分析語音信息(例如，將語音信息轉(zhuǎn)換成文本等)來識(shí)別用戶的意圖。這樣的處理可以在服務(wù)器中執(zhí)行。也就是說，無線通信單元140從控制器170接收包括語音信息的語音識(shí)別請(qǐng)求，并向語音識(shí)別服務(wù)器發(fā)送消息。語音識(shí)別服務(wù)器處理語音信息，并且向裝置100發(fā)送包括處理結(jié)果(即，用戶的意圖)的響應(yīng)消息。在其中用戶的意圖未被反映達(dá)語音處理時(shí)間的狀態(tài)中可以執(zhí)行功能(諸如，書寫)。例如，參照?qǐng)D3中的(c)- (e)，用戶給出如上所述的“紅色的線，更厚的線”的語音命令，其意圖在于在寫入“SELAB”之后，將字跡變得更厚且為紅色。用戶可以與語音命令一起同時(shí)書寫“software center”。此時(shí)，“software”的“soft”部分可能沒有反映用戶的意圖。也就是說，用戶可以在書寫字母的同時(shí)給出用于改變字母的屬性的語音命令。因此，在已經(jīng)執(zhí)行的功能中可能存在應(yīng)該反映用戶的意圖的需要校正的部分(即，沒有反映用戶的意圖的部分)。步驟240可以包括這樣的校正過程(下面的圖4)。
[0059]圖4是示出根據(jù)本發(fā)明實(shí)施例的、改變功能的屬性的方法的流程圖。圖5示出了根據(jù)本發(fā)明的實(shí)施例的、計(jì)算需要校正的部分的方法。圖4和圖5的描述假設(shè)如下情形:即在觸摸屏110上繪制線的同時(shí)，給出用于改變線的屬性的語音命令。
[0060]參照?qǐng)D4，在步驟410中，控制器170分析所檢測(cè)的語音信息，并且識(shí)別用戶的意圖。具體而言，參照?qǐng)D5，控制器170檢測(cè)語音的起始點(diǎn)tl。此后，控制器170檢測(cè)語音的終止點(diǎn)t2。通過分析該部分tl-t2的語音信息，控制器170識(shí)別用戶的意圖。在此，對(duì)用戶的意圖的識(shí)別可以在作為外部設(shè)備的語音識(shí)別服務(wù)器中處理，而不是如上所述在控制器170中。此后，控制器170根據(jù)用戶的意圖來改變繪制的線的屬性。例如，在控制器170的控制下，觸摸屏110將線變厚并且顯示加厚的線。此時(shí)，用戶打算將線變?yōu)楦竦狞c(diǎn)為tl，但是用戶的意圖實(shí)際被應(yīng)用的時(shí)間點(diǎn)為t3。也就是說，根據(jù)用戶的意圖，該線應(yīng)該自用戶繪制線的時(shí)間點(diǎn)11開始被加厚，但是由于處理所花費(fèi)的時(shí)間，僅僅自時(shí)間點(diǎn)t3開始應(yīng)用加厚。這樣的差異可以通過下面所述的過程來校正。
[0061]在步驟420中，控制器170確定已經(jīng)執(zhí)行的功能是否需要校正?？刂破?70檢測(cè)來自觸摸屏110的觸摸姿勢(shì)的輸入，并且如果檢測(cè)到通過音頻處理單元150從麥克風(fēng)(MIC)的語音信息的輸入，則確定需要校正。也就是說，如果同時(shí)檢測(cè)到第一用戶輸入(用戶姿勢(shì))和第二用戶輸入(語音信息)(例如，其中用戶在同一時(shí)間繪制線并且給出語音命令的情況)，則控制器170可確定對(duì)于已經(jīng)通過用戶的輸入而執(zhí)行的功能需要進(jìn)行校正。在完成觸摸事件的產(chǎn)生之后，如果產(chǎn)生語音信息(例如，在用戶完成繪制該線，并且在之后給出用于設(shè)置將被執(zhí)行的功能的屬性的語音命令)，可以確定對(duì)于已經(jīng)執(zhí)行的功能(即，繪制線)不需要進(jìn)行校正。
[0062]如果需要校正，則在步驟430中，控制器170計(jì)算已經(jīng)執(zhí)行的功能中的需要被校正的部分。例如，參考圖5，控制器170檢測(cè)作為用戶的起始點(diǎn)的時(shí)間點(diǎn)tl，并且檢測(cè)作為在識(shí)別用戶的意圖之后加以應(yīng)用的時(shí)間點(diǎn)的t3。另外，控制器170從繪制的線中確定從tl到t3繪制的部分為需要被校正的部分。
[0063]在步驟440中，控制器170在需要校正(S卩，將線加厚)的部分中反映用戶的意圖。例如，控制器170控制需要校正的部分按照t3之后的加厚的線的厚度而被顯示得更厚?？刂破?70可以控制該部分，以被顯示為朝向線繪制方向而逐漸加厚。在顏色校正的情況下，控制器170向需要校正的部分應(yīng)用在t3之后所應(yīng)用的線顏色?？刂破?70可以向需要校正的部分應(yīng)用tl之前的線顏色和t3之后的線顏色的混合色(作為紅色和藍(lán)色的混合色的紫色)。因此，基于所識(shí)別的用戶的意圖，除了厚度和顏色之外，控制器170可以校正需要校正的部分的圖形屬性，諸如亮度和透明度。
[0064]圖6是示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例。
[0065]參照?qǐng)D6所示，控制器170檢測(cè)到在備忘錄書寫屏幕610中筆620的移動(dòng)。控制器170根據(jù)筆620的移動(dòng)來控制要顯示的線。如果所顯示的線變?yōu)殚]合曲線630，則如圖6中的(a)所示，則控制器170控制在閉合曲線630內(nèi)要被顯示的顏色(例如，藍(lán)色)?？刂破?70檢測(cè)通過音頻處理單元150來自麥克風(fēng)(MIC)的語音信息的輸入?？刂破?70分析輸入的語音信息，并且識(shí)別用戶的意圖(例如，將閉合曲線630的形狀改變?yōu)闄E圓形)。根據(jù)用戶的意圖，控制器170控制閉合曲線630以被改變?yōu)闄E圓形640并且被顯示(參見圖6中的(b))。
[0066]圖7是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的、處理多個(gè)輸入的方法的屏幕示例。
[0067]參照?qǐng)D7，控制器170從備忘錄書寫屏幕710中檢測(cè)筆720的移動(dòng)?？刂破?70根據(jù)筆720的移動(dòng)來控制要被顯示的線。如果所顯示的線是閉合曲線730，則如圖7中的(a)所示，控制器170控制要被顯示的閉合曲線730內(nèi)的顏色(例如，藍(lán)色)?？刂破?70檢測(cè)來自傳感器單元160的運(yùn)動(dòng)信息的輸入。例如，如果用戶搖動(dòng)裝置100，則傳感器單元160產(chǎn)生相應(yīng)的運(yùn)動(dòng)信息，并且發(fā)送所產(chǎn)生的信息到控制器170。控制器170使用所檢測(cè)的運(yùn)動(dòng)信息來計(jì)算速度。另外，如果所計(jì)算的速度超過已存儲(chǔ)的閾值，則確定所檢測(cè)的運(yùn)動(dòng)信息是用于請(qǐng)求將封閉曲線的形狀改變?yōu)闄E圓形的用戶輸入。根據(jù)該確定，控制器170控制閉合曲線730以被改變?yōu)闄E圓形并且被顯示(參見圖7中的(b))。此外，用于確定所檢測(cè)的運(yùn)動(dòng)信息是否是用于請(qǐng)求將封閉曲線的形狀改變?yōu)闄E圓形的用戶輸入的元素可以包括除了速度之外的元素(例如，移動(dòng)方向、移動(dòng)距離等)。這樣的元素可以在環(huán)境設(shè)置中由用戶來設(shè)置。
[0068]圖8是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的處理多個(gè)輸入的方法的屏幕示例。圖8假設(shè)其中用戶在觸摸屏上110繪制線的情況。
[0069]參照?qǐng)D8，控制器170從觸摸屏110上檢測(cè)手持部件(例如，手或筆)的移動(dòng)?？刂破?70根據(jù)所檢測(cè)的手持部件的移動(dòng)來控制將要被顯示的線?？刂破?70可以檢測(cè)來自傳感器單元160的系統(tǒng)輸入(例如，垂直振動(dòng))?？刂破?70根據(jù)系統(tǒng)輸入來計(jì)算速度，并且如果所計(jì)算的速度超過已經(jīng)存儲(chǔ)的閾值，則確定系統(tǒng)輸入是用戶的非預(yù)期輸入。根據(jù)該確定，控制器170確定被執(zhí)行達(dá)在其期間已檢測(cè)系統(tǒng)輸入的時(shí)間段的功能(諸如，畫線)為需要校正的部分，并且基于在系統(tǒng)輸入被檢測(cè)之前和之后所執(zhí)行的功能來校正該需要校正的部分。例如，如圖8所示，控制器170校正由于裝置100的垂直振動(dòng)而彎曲的線，以使其被校正為是直的，并且顯示如圖8中所示的線。此外，用于確定系統(tǒng)輸入是否是用戶的非預(yù)期輸入的元素可以包括除了速度以外的元素(例如，移動(dòng)方向、移動(dòng)距離等)。
[0070]如上所述，本發(fā)明提供了一種用于處理同時(shí)輸入的多個(gè)輸入的方法和裝置。在此，多個(gè)輸入可以是通過不同的用戶接口輸入的用戶輸入。另外，多個(gè)輸入可以包括用戶輸入和系統(tǒng)輸入。另外，本發(fā)明提供了一種用于校正不反映用戶的意圖的功能的方法和裝置。另外，本發(fā)明提供了一種用于校正根據(jù)用戶的非預(yù)期的系統(tǒng)輸入而執(zhí)行的功能的方法和裝置。
[0071]如上所述，根據(jù)本發(fā)明，可以向用戶提供其中可以組合并使用兩個(gè)或更多個(gè)輸入方法的環(huán)境。另外，根據(jù)本發(fā)明，可以從自麥克風(fēng)輸入的語音信息中識(shí)別用戶的意圖，并且用戶的意圖可以被設(shè)置為在由另一個(gè)輸入所執(zhí)行的功能上被精確的反映。
[0072]本發(fā)明的上述方法可以通過各種計(jì)算機(jī)部件而被實(shí)現(xiàn)為可執(zhí)行的程序命令形式，并且可以被記錄在計(jì)算機(jī)可讀記錄介質(zhì)中。在這種情況下，計(jì)算機(jī)可讀記錄介質(zhì)可以包括程序命令、數(shù)據(jù)文件、以及單獨(dú)的數(shù)據(jù)結(jié)構(gòu)或它們的組合。同時(shí)，記錄在記錄介質(zhì)中的程序命令可以被專門設(shè)計(jì)或者被配置為用于本發(fā)明，或者其可以是在將使用的計(jì)算機(jī)軟件領(lǐng)域中的普通技術(shù)人員已知的。計(jì)算機(jī)可讀記錄介質(zhì)包括:諸如硬盤、軟盤或磁帶的磁介質(zhì)；諸如壓縮盤只讀存儲(chǔ)器(CD-ROM)或數(shù)字多功能盤(DVD)的光學(xué)介質(zhì)；諸如可光讀磁盤的磁光介質(zhì)；以及存儲(chǔ)和執(zhí)行程序命令的諸如ROM、RAM和閃速存儲(chǔ)器的硬件裝置。此外，程序命令包括由編譯器產(chǎn)生的機(jī)器語言代碼，以及通過使用解釋器而由計(jì)算機(jī)可執(zhí)行的高級(jí)語言代碼。上述硬件設(shè)備可以被配置為如至少一個(gè)軟件模塊來進(jìn)行操作，以執(zhí)行本發(fā)明的操作。
[0073]雖然上文中詳細(xì)地描述了本發(fā)明的實(shí)施例，但應(yīng)該清楚理解的是，對(duì)于本領(lǐng)域的技術(shù)人員而言，在此教導(dǎo)的本發(fā)明的基本發(fā)明構(gòu)思的許多變化和修改將仍然落入在所附的權(quán)利要求中所定義的本發(fā)明的精神和范圍中。
【權(quán)利要求】
1.一種在具有用于與外部交互的接口的裝置中處理多個(gè)輸入的方法，所述方法包括: 從接口的一個(gè)中檢測(cè)第一輸入； 響應(yīng)于第一輸入來執(zhí)行功能； 從接口的另一個(gè)中接收第二輸入；以及 響應(yīng)于第二輸入來改變所述功能的屬性。
2.根據(jù)權(quán)利要求1所述的方法，其中檢測(cè)第一輸入包括從作為接口中的一個(gè)的觸摸屏中檢測(cè)用戶姿勢(shì)，其中執(zhí)行功能包括響應(yīng)于用戶姿勢(shì)來執(zhí)行與圖形工作相關(guān)的功能，并且其中檢測(cè)第二輸入包括從作為接口的一個(gè)的麥克風(fēng)中檢測(cè)語音信息。
3.根據(jù)權(quán)利要求2所述的方法，其中，圖形工作是書寫、繪制、繪畫和擦除中的一個(gè)。
4.根據(jù)權(quán)利要求3所述的方法，其中，改變功能的屬性包括: 通過分析語音信息來識(shí)別用戶的意圖； 確定對(duì)于已經(jīng)執(zhí)行的圖形工作是否需要校正； 如果需要校正，則計(jì)算在已經(jīng)執(zhí)行的圖形工作中的需要校正的部分；及將用戶的意圖反映到需要校正的部分上。
5.根據(jù)權(quán)利要求4所述的方法，其中，確定是否需要校正包括:如果同時(shí)檢測(cè)到用戶姿勢(shì)和語音信息則確定在已經(jīng)執(zhí)行的圖形工作中需要校正。
6.根據(jù)權(quán)利要求5所述的方法，其中，計(jì)算需要校正的部分包括:在需要校正的部分中包括已經(jīng)執(zhí)行的圖形工作中被執(zhí)行達(dá)識(shí)別用戶的意圖所花費(fèi)的時(shí)間段的部分。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述第一輸入是第一用戶輸入，并且所述第二輸入是第二用戶輸入和系統(tǒng)輸入中的一個(gè)。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述第一用戶輸入是用戶姿勢(shì)、通過麥克風(fēng)輸入的語音信息以及在傳感器單元中感測(cè)的運(yùn)動(dòng)信息中的一個(gè)， 其中，所述第二用戶輸入是用戶姿勢(shì)、通過麥克風(fēng)輸入的語音信息以及在傳感器單元中感測(cè)的運(yùn)動(dòng)信息中的另一個(gè)，以及 其中，所述系統(tǒng)輸入是與裝置的外部環(huán)境相關(guān)的信息。
9.一種用于處理多個(gè)輸入的裝置，所述裝置包括: 接口，用于與外部環(huán)境交互；以及 控制器，用于控制接口， 其中，控制器從接口的一個(gè)中檢測(cè)第一輸入，響應(yīng)于第一輸入來執(zhí)行功能，從接口的另一個(gè)中檢測(cè)第二輸入，并且響應(yīng)于第二輸入來改變所述功能的屬性。
10.根據(jù)權(quán)利要求9所述的裝置，其中，接口至少包括觸摸屏和麥克風(fēng)，并且 其中，控制器響應(yīng)于從觸摸屏檢測(cè)到的用戶姿勢(shì)來執(zhí)行與圖形工作相關(guān)的功能，并且如果從麥克風(fēng)檢測(cè)到語音信息，則控制器改變圖形工作的屬性。
11.根據(jù)權(quán)利要求10所述的裝置，其中，觸摸屏包括用于感測(cè)手姿勢(shì)的手觸摸面板、用于感測(cè)筆姿勢(shì)的筆觸摸面板以及顯示面板。
12.根據(jù)權(quán)利要求11所述的裝置，其中，圖形工作是通過筆姿勢(shì)或者手姿勢(shì)進(jìn)行的書寫、繪制、繪圖和擦除中的一個(gè)。
13.根據(jù)權(quán)利要求12所述的裝置，其中，控制器通過分析語音信息來識(shí)別用戶的意圖，確定對(duì)于已經(jīng)執(zhí)行的圖形工作是否需要校正，并且如果需要校正，則控制器從圖形工作中計(jì)算需要校正的部分，且在需要校正的部分上反映用戶的意圖。
14.根據(jù)權(quán)利要求13所述的裝置，其中，如果同時(shí)檢測(cè)到用戶姿勢(shì)和語音信息，則控制器確定對(duì)于已經(jīng)執(zhí)行的圖形工作需要校正。
15.根據(jù)權(quán)利要求14所述的裝置，其中，需要校正的部分包括已經(jīng)執(zhí)行的圖形工作中被執(zhí)行達(dá)識(shí)別用戶的意圖所花費(fèi)的時(shí)間段的部分。
16.根據(jù)權(quán)利要求12所述的裝置，其中所述第一輸入是第一用戶輸入，并且其中所述第二輸入是第二用戶輸入和系統(tǒng)輸入中的一個(gè)。
17.根據(jù)權(quán)利要求16所述的裝置，進(jìn)一步包括: 無線通信單元，其能夠連接到語音識(shí)別服務(wù)器， 其中，控制器控制無線通信單元來將包括語音信息的語音識(shí)別請(qǐng)求消息發(fā)送到無線通信單元，通過無線通信單元從語音識(shí)別服務(wù)器接收包括處理語音信息的結(jié)果的響應(yīng)消息，確定對(duì)于已經(jīng)執(zhí)行的圖形工作是否需要校正，如果需要校正則從圖形工作中計(jì)算需要校正的部分，并且將結(jié)果反映到需`要校正的部分上。
【文檔編號(hào)】G06F3/041GK103529934SQ201310264276
【公開日】2014年1月22日 申請(qǐng)日期:2013年6月28日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】鄭皓元, 金雨睦, 金泰亨, 崔允貞 申請(qǐng)人:三星電子株式會(huì)社