B分項計畫：嵌入式繪圖軟體基礎技術研發（主持人
賴尚宏教授）
子計畫1：繪圖模型成像技術以及擴增實境應用（清大賴尚宏教授、張智星教授）
[1] 輪廓法三維重建系統
本項目將利用輪廓法進行三維重建，我們在輪廓法已經有豐富經驗及一些方法，我們過去的方法包含在單張影像中加入鏡子，或是以轉盤得到數張物體不同角度的影像，這一些方法的特色是我們並不用事先對相機校正也不需要求出不同角度物體影像的對應，僅需由輪廓的切線即可以求出相機的內外部參數。然而這些方法要推廣到嵌入式裝置上，不同物體影像可能是由人手持不同角度獲得，而非如轉盤系統於一個圓周上運動，預計發展一個能自動被偵測且具有方向性的指標提供額外相機與物件的相對角度關係，整個系統將不再有圓周運動限制的系統，而卻能保持以輪廓為主之三維重建法中不需要抽取特徵點對應的優勢。[2] 於GPU實作語音辨識之重要演算法
現有語音辨識之比對方法，例如線性伸縮、動態規劃、快速傅立葉轉換等，需要將輸入訊號進行分割，並對每一片段進行重複且大量的計算。由於對於每一片段之計算指令相同，故相當適合使用SIMD之方式，將研究實作這些演算法分散至GPU的各個核心計算，以達最佳化之目的。[3] 三維姿態估計、物件與場景之互動
在擴增實境或與場景的互動應用中，傳統方式主要在偵測人工標記如圖 13的ARTag，在最近幾個擴增實境比賽中的優勝者多以偵測一塊大塊平面的標記達到場景的定位，我們預計於此項目突破常規，對場景影像進行分析，這樣在無人工標記的場景下，仍可以達到場景姿態估計與互動。進而使軟體開發者能有更寬廣的想像空間進行他們的應用。藉由繪圖處理器對於影像計算的加速，我們將加速這些場景姿態估計中所需要的大量運算。為了測試三維姿態估計與場景互動，本項目將先以內建的物件進行測試，待最後階段再加入三維重建系統產生之三維模型。[4] 於GPU實作英語以及華語聲調辨識
用GPU來實作Viterbi Search、使用GPU來實作英語以及華語語音辨識之各項前處理、語音辨識之技術，係以事先建立統計模型，針對語音片段進行相似程度的計算，而以維特比搜尋法，來找出最佳可能。於本項目中，將提出並實做一個方法，可將各項必要之前處理，以及相似程度評估之部分，進行分散計算後整合，以進行加速。[5] 物體表面材質研究與材質模型發展
對於某類材質如金屬表面或是木頭材質將會有不同的反射性質，若想更換不同材質勢必需要對兩種材質的反射性質都有大概的了解，若想要提供使用者與場景中物體的材質進行互動(如更換，或是進行物件材質與場景材質的搭配)，首先我們得進行常見材質的研究，材質研究的結果會先用來區別場景不同材質區塊，之後原始材質與目標材質的模型將會用來修改原始影像，以達成材質變換與場景互動配合的效果。[6] 語音辨識之廣域擴增實境應用
於前述項目我們已發展了三維物體模型的重建系統、材質變換技術、實際場景影像互動配合技術以及語音辨識技術。在此工作項目中將整合這些技術，發展一套具語音辨識的廣域擴增實境系統應用中，同時將利用繪圖處理器對於影像及三維模型的快速處理效能以加速整體系統在手持式裝置的運算效能。
子計畫2：三維繪圖技術（清大李潤容副研究員、師大張鈞法教授、清大朱宏國助理教授）
[1] 繪圖處理器效能測試軟體
圖形處理器的設計通常相當複雜，尤其是三維繪圖處理器其輸入之設定與輸出之組合更是複雜到無法有適當的方法在有限時間內作一完整的測試 (包含功能與效能)，在功能上OpenGL ES有相對應的功能相容測試 (Compliant Test)，只要通過該相容性測試，功能上應該不會有太多問題，但功能相容不代表效能一定也好，每一設計都會根據成本及目標市場，設定合理的效能，再利用一些Graphics Benchmark測出繪圖處理器的效能，然而大部份的benchmark多是綜合測試 (Synthetic Tests)，效能不佳的原因可能是許多因素的合成，加上這些Benchmark的複雜度高，往往在尋找原因耗費相當多的時間，如果有一效能測試軟體，根據硬體的設計架構去測試，儘可能在初期就將處理器各單元的效能測試出來，不論是在RTL level的simulation，或是在FPGA的emulation，就先將效能問題解決，如此碰到複雜的綜合測試就比較降低效能不如預期或難以偵錯的現象。本項目即在發展一繪圖處理器效能測試軟體，協助硬體設計時確保效能符合預期。
[2] 繪圖系統效能分析研究
繪圖系統的效能不只是繪圖處理器單一的效能問題，整個系統的設計都可能影響系統的效能，例如繪圖處理器效能很好，但大部份時間都在等驅動程式準備資料，或者因為頻寬不足，造成繪圖處理器閒置時間過多而無法發揮功效，有或者是作業系統在做資料複製或搬移時，未使用DMA而是利用CPU做搬移資料，不但沒效能也不經濟，因為此時CPU和GPU都無法發揮功效。本項目將研發一繪圖系統效能評估軟體，分析繪圖系統中的效能瓶頸，並進一步提出解決的方法。