遊戲導向之語音與語文學習環境

創造以遊戲為導向之語音及語文學習環境，採用了語音辨識、語音合成、機器翻譯、自然語言處理等技術，以互動多媒體的方式來將語言與語文的學習融入遊戲之中，可能的遊戲學習主題如下：

1. 華語、英語之發音矯正
2. 華文與英文互譯
3. 華語成語練習
4. 英語拼字練習
5. 華文及英文的電腦輔助背誦系統

學生背景需求：

1. 熟悉動態網頁設計。
2. 熟悉 JavaScript 程式設計。
3. 熟悉資料庫基本概念。
4. 願意學習 C#。

以娛樂及學習為主要功能的機器人

整合我們實驗室的技術，做一個以娛樂及學習為主要功能的機器人，主要平台是 ARM9，機器人所具有之功能有

1. 語音命令辨識
2. 口說中英文學習
3. 旋律辨識
4. 聽音辨位
5. 以手勢控制機器人

說明：

1. 需要對微電腦實做有興趣，願意下工夫實作者優先。
2. 第一學期要跟著修課「音訊處理與辨識」。
3. 所完成之機器人，將參加相關比賽。

多模式網際網路音樂搜尋引擎

以電腦麥克風錄下一段人的歌聲，以數位訊號處理的方法，將此wav檔轉成頻率對時間的資料，然後將此資料轉成音符和節拍，並和歌曲資料庫中的歌曲進行比對，以找出歌者所唱的歌。此系統可應用在KTV的選歌系統、數位音樂圖書館或音樂CD唱片行的檢索、互動式的智慧型玩偶等，並可對歌者的表現進行評分。此計畫之「哼唱選歌」比對核心已經用在清蔚科技之「卡拉迷」線上卡拉OK系統，可下載單機版試用，詳細資料可見 http://www.supermbox.com.tw。（本實驗室所開發的其它雛形系統請見 http://mir.cs.nthu.edu.tw/FuFile/。）

相關的詳細工作有下列數項：

1. MIDI/MP3 檔案的管理、更新與維護

   工作事項：

   1. 資料表關連的建立
   2. 資料庫的 Web 介面
   3. MIDI/MP3 的自動偵測及捉取程式
   4. 定期對資料的檢查與維護

   所需專長：

   1. Web 程式設計
   2. 資料庫概念與應用
   3. Perl

2. 以 Dialogic 卡製作接收/回應電話的程式

   工作事項：

   1. 如何抓取電話語音資訊
   2. 如何抓取按鍵訊號
   3. 如何將語音資訊轉成 WAV 檔，並由 Email 轉寄送出
   4. 如何對將語音資訊送回電話

   所需專長：

   1. C 程式設計
   2. Web 程式設計

3. 辨識系統的核心部份

   工作事項：

   1. 如何分辨歌聲、笑聲、講話聲
   2. 如何過濾樂器聲，保留歌唱聲
   3. 如何只播放比對到的部份 MIDI 檔案
   4. 音高（Pitch）的辨識方法
   5. 比對速度的增進
   6. 切音符的方法，即如何將 Wave 轉換成 Midi

   所需專長：

   1. MATLAB 程式設計
   2. C 程式設計

以微控制器（Micro-controllers）或微處理器（Microprocessors）進行辨識系統實作

本專題將以微控制器（如 8051/8052 或 6502）或微處理器（如凌陽的 SPCE）來進行各種音訊處理與辨識的實作，例如：

• 旋律辨識（哼唱選歌）：由一個人的哼唱歌聲來辨識所唱的歌（可連續唱，或唱 da）
• 和弦辨識（哼唱譜曲）：由一個人的哼唱歌聲來辨識出最有可能的和弦
• 敲擊辨識（敲擊選歌）：由一個人敲擊節拍的方式來辨識所敲擊的歌
• 語音辨識：由一個人的語音來辨識所講的話（可用 pitch, volume, zero crossing rate 等特徵）
• 語者辨識（聲紋辨識）：由一個人的語音來辨識這個人的身份
• 蛙聲辨識：由一段青蛙的叫聲來辨識此青蛙的種類
• 節拍辨識：由一段音樂來抓到此音樂的拍點
• 情緒辨識：由一個人講話的語氣來判斷這個人的情緒（也可應用於狗、貓等寵物身上）
• 音調評分
• 單音歌聲合成
• 人聲即時升降 key

實作出來的系統，將可用於雛形玩具或家電。所有相關辨識系統的演算法，都已經由本實驗室以 C 或 MATLAB 開發完成，專題同學的任務，則是掌握這些演算法，並以組合語言移植到微控制器或微處理器，並有碩士班/博士班同學來指導。

語音辨識 (Speech Recognition) 或網路音訊搜尋引擎

以語音辨識技術來開發各種應用系統，如

• 背書機
• 適合盲胞使用的書籍、新聞檢索系統
• 以語音為介面的全文檢索系統
• 以語音為介面的網際網路視訊檢索系統