對於資料庫的查詢方面，除了給定關鍵字以進行一般的查詢外，更希望能更進一步，讓使用者能以聲音檔 (Audio Files) 或視訊檔 (Video Files) 的內容來編製索引及加速檢索。以KTV 為例，期望能做到 “以歌選歌”，也就是說，要讓歌者能清唱一段歌曲或旋律，電腦即以即時錄下音波，進行必要的數為信號處理，然後比對資料庫中的資料，依可能性列出所有可能的歌。除此以外，一個自然的延伸則是將歌者的歌聲進行處理後，找出各項特性（如音調及拍子準確性、音色與原歌者相似性等）來做自動評分。

由於本子計畫牽涉到聲音訊號的處理、識別、分類等，所以需要各個領域特有的技術與研究相互配合，包含下列數項：

1. 數位訊號處理 (DSP, Digital Signal Processing): 尤其是對於聲音訊號的轉換 (Transforms)與濾波 (Filtering)，茲分述如下。
   • 轉換：音波訊號包含的資料量非常豐富，一段十秒鐘的聲音所佔的磁碟空間在未壓縮前約為80 Kbyte（8-bit解析度，8 KHz）。從時域 (Time Domain) 方面來看音波，通常所得有限，很難找出和語音識別相關的特徵量 (Features)。一般的作法則是從頻域 (Frequency Domain) 方面著手，亦即對音波進行離散傅立葉轉換 (Discrete Fourier Transform)，算出前幾個低頻分量 (Low-frequency component)的係數，來代表所給音波的特性。其他還有各種不同的轉換和變形技巧，例如Wavelet Transform, Ceptral Analysis及, 他們各有各的長處和短處。
   • 濾波 (Filtering)：音波的取得，一定多少會被不相關的訊號（即噪音）所污染。因此在進行音波的處理之前，一定要進行濾波。濾波的方式有很多種，最簡單的方式是將訊號通過一個低通濾波器 (Low-pass Filter)。更複雜的方法則是將此濾波器的特性變為即時可調 (On-line Adaptive) 。
2. 圖形識別 (Pattern Recognition): 尤其是語音識別 (Speech Recognition) 及語者識別 (Speaker Recognition)。聲音訊號的量通常很大，所以在進行DSP以抓取特徵量後，仍需進行資料的縮減 (Data Reduction)，以利圖形識別的進行。在這方面最常用到的方法是Condense及Editing。對於這兩種方法在語者辨認方面的應用，我們曾經加以改良，獲致不錯的結果。
3. 軟式計算 (Soft Computing) : 包含類神經網路 (Artificial Neural Networks)、模糊邏輯 (Fuzzy Logic) ，以及各種無須導式 (Derivative-free) 的最佳化 (Optimization) 方法。在實作上，我們常常需要找出一個給定的目標函數的最小值，此目標函題可能已相當繁複，其梯度 (Gradient Vector) 可能難以計算，同此我們無法以傳統最佳化的方法來求解。解決之道乃選用軟式計算 (Soft Comping) 中的各種無須導式 (Derivative-free) 的方法，例如基因演算法 (Genetic Algorithms)，模擬退火法 (Simulated Annealing)，雜亂搜尋法 (Random Search Method)，以及下坡Simplex法 (Downhill Simplex Method)。

軟式計算（Soft Computing）是近年來Professor Lotfi Zadeh（模糊邏輯之父，任教於U.C. Berkeley）提倡的新方向，其精神乃是結合類神經網路（Artificial Neural Networks）及模糊邏輯（Fuzzy Logic）的優點，並輔以不須導式的最佳化（Derivative free Optimization）方法，例如遺傳演算法（Genetic Algorithms）及模擬退火法（Simulated Annealing）等，來對資料及既有的專家知識（Expert Knowledge）進行分析及微調（Fine tuning），以建立一個具有學習能力的智慧型系統，並可對於時變（Time-varying）的環境進行自我即時調適（On-line Adaptation），以獲取最佳結果。

在模型的選取上，軟式計算是偏向於使用類神經網路成模糊邏輯這兩類模型。由於類神經網路是具有學習或調適能力（Learning or Adaptation Capability）的黑箱模型（Blackbox Model），而模糊推演系統（Fuzzy Inference Systems）則是能表示專家知識的模糊規則庫系統（Fuzzy Rule-based Systems），因此軟式計算特別強調這兩者的結合，形成兼具兩者之長的神經模糊推演系統（Neuro-Fuzzy Inference Systems），其應用範圍相當廣泛，舉凡對於資料或專家知識的模型化（Modeling），均可用得上。近幾年來我們已經可以看到使用類神經網路或模糊邏輯（或兩者兼備）的小型家用電器產品，例如洗衣機、吸塵器、電動刮鬍刀、冷氣機、照相機、V8攝錄放影機等。更大型的應用則可見於汽車反鎖煞車系統（ABS，Anti-lock Braking Systems）及傳動系統（Transmission Systems）的控制，以及電梯､電車的自動控制。然而在實際的應用上，仍有許多問題亟待克服，例如輸入變數的選取（Input Selection）和變形（Transformation）、輸入空間的分割（Input Space Partitioning）、模糊規則數（Number of Fuzzy Rules）的選定、破壞式及增長式的學習（Destructive and Constructive Learning）等等，這些都是本計畫的研究重點。

神經模糊系統的基本學習方法為逆傳導法（Backpropagation），即為簡單的梯度下降法（Gradient Descent）或是最速下降法（Steepest Descent），更複雜先進的方法則是在統計或非線性迴歸（Nonlinear Regression）中常用到的Gauss-Newton Method或是Levenberg-Marquardt Method。但是這些方法都須要用到梯度向量（Gradient Vector）而梯度向量在複雜系統中並不容易計算，因此對於較複雜的大型系統，軟式計算偏向於使用不須導式的最佳化方法（Derivative-free Optimization），例如遺傳演算法（Genetic Algorithms）、模擬退火法（Simulated Annealing）、下坡式Simplex搜尋（Downhill Simplex Search）、雜亂搜尋（Random Search）、它布搜尋（Tabu Search）等。這些方法各有優缺點，本計畫的另一重點則在於找出如果選取這些方法的控制參數（Control Parameters）的步驟，以便使用於資料模型化（Data Modeling）之上。

近年來由於網際網路（Internet）日漸興盛，WWW (World Wide Web)的使用越來越普遍，各種電子資訊的流通與取得也是垂手可得。因此如何從大量的資料中找出有用的因果關係，便成為一個重要的課題。這方面的研究稱為資料探勘（Data Mining）或知識發掘（Knowledge Discovery），一般採用的方法有統計、粗糙集（Rough Sets）機器學習（Machine Learning）中的ID3、非參數式回歸（Nonparametric Regression）中的CART（Classification and Regression Trees）等。本計畫將嘗試以軟式計算用在資料模型化的技巧，用在資料探勘及知識發掘的各種Benchmark Problems。