一個完整的基于統(tǒng)計的語音識別系統(tǒng)可大致分為三部分：

(1)語音信號預處理與特征提??；

(2)聲學模型與模式匹配；

(3)語言模型與語言處理 選擇識別單元是語音識別研究的第一步。語音識別單元有單詞（句）、音節(jié)和音素三種，具體選擇哪一種，由具體的研究任務決定。

單詞（句）單元廣泛應用于中小詞匯語音識別系統(tǒng)，但不適合大詞匯系統(tǒng)，原因在于模型庫太龐大，訓練模型任務繁重，模型匹配算法復雜，難以滿足實時性要求。

音節(jié)單元多見于漢語語音識別，主要因為漢語是單音節(jié)結(jié)構(gòu)的語言，而英語是多音節(jié)，并且漢語雖然有大約1300個音節(jié)，但若不考慮聲調(diào)，約有408個無調(diào)音節(jié)，數(shù)量相對較少。因此，對于中、大詞匯量漢語語音識別系統(tǒng)來說，以音節(jié)為識別單元基本是可行的。

音素單元以前多見于英語語音識別的研究中，但目前中、大詞匯量漢語語音識別系統(tǒng)也在越來越多地采用。原因在于漢語音節(jié)僅由聲母（包括零聲母有22個）和韻母（共有28個）構(gòu)成，且聲韻母聲學特性相差很大。實際應用中常把聲母依后續(xù)韻母的不同而構(gòu)成細化聲母，這樣雖然增加了模型數(shù)目，但提高了易混淆音節(jié)的區(qū)分能力。由于協(xié)同發(fā)音的影響，音素單元不穩(wěn)定，所以如何獲得穩(wěn)定的音素單元，還有待研究。

語音識別一個根本的問題是合理的選用特征。特征參數(shù)提取的目的是對語音信號進行分析處理，去掉與語音識別無關(guān)的冗余信息，獲得影響語音識別的重要信息，同時對語音信號進行壓縮。在實際應用中，語音信號的壓縮率介于10-100之間。語音信號包含了大量各種不同的信息，提取哪些信息，用哪種方式提取，需要綜合考慮各方面的因素，如成本，性能，響應時間，計算量等。非特定人語音識別系統(tǒng)一般側(cè)重提取反映語義的特征參數(shù)，盡量去除說話人的個人信息；而特定人語音識別系統(tǒng)則希望在提取反映語義的特征參數(shù)的同時，盡量也包含說話人的個人信息。 

線性預測（LP）分析技術(shù)是目前應用廣泛的特征參數(shù)提取技術(shù)，許多成功的應用系統(tǒng)都采用基于LP技術(shù)提取的倒譜參數(shù)。但線性預測模型是純數(shù)學模型，沒有考慮人類聽覺系統(tǒng)對語音的處理特點。

也有研究者嘗試把小波分析技術(shù)應用于特征提取，但目前性能難以與上述技術(shù)相比，有待進一步研究。 聲學模型通常是將獲取的語音特征使用訓練算法進行訓練后產(chǎn)生。在識別時將輸入的語音特征同聲學模型（模式）進行匹配與比較，得到最佳的識別結(jié)果。

聲學模型是識別系統(tǒng)的底層模型，并且是語音識別系統(tǒng)中最關(guān)鍵的一部分。聲學模型的目的是提供一種有效的方法計算語音的特征矢量序列和每個發(fā)音模板之間的距離。聲學模型的設計和語言發(fā)音特點密切相關(guān)。聲學模型單元大?。ㄗ职l(fā)音模型、半音節(jié)模型或音素模型）對語音訓練數(shù)據(jù)量大小、系統(tǒng)識別率，以及靈活性有較大的影響。必須根據(jù)不同語言的特點、識別系統(tǒng)詞匯量的大小決定識別單元的大小。

以漢語為例：

漢語按音素的發(fā)音特征分類分為輔音、單元音、復元音、復鼻尾音四種，按音節(jié)結(jié)構(gòu)分類為聲母和韻母。并且由音素構(gòu)成聲母或韻母。有時，將含有聲調(diào)的韻母稱為調(diào)母。由單個調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。漢語的一個音節(jié)就是漢語一個字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞，最后再由詞構(gòu)成句子。

漢語聲母共有22個，其中包括零聲母，韻母共有38個。按音素分類，漢語輔音共有22個，單元音13個，復元音13個，復鼻尾音16個。

目前常用的聲學模型基元為聲韻母、音節(jié)或詞，根據(jù)實現(xiàn)目的不同來選取不同的基元。漢語加上語氣詞共有412個音節(jié)，包括輕音字，共有1282個有調(diào)音節(jié)字，所以當在小詞匯表孤立詞語音識別時常選用詞作為基元，在大詞匯表語音識別時常采用音節(jié)或聲韻母建模，而在連續(xù)語音識別時，由于協(xié)同發(fā)音的影響，常采用聲韻母建模。

基于統(tǒng)計的語音識別模型常用的就是HMM模型λ(N,M,π,A,B)，涉及到HMM模型的相關(guān)理論包括模型的結(jié)構(gòu)選取、模型的初始化、模型參數(shù)的重估以及相應的識別算法等。 語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡或由統(tǒng)計方法構(gòu)成的語言模型，語言處理可以進行語法、語義分析。

語言模型對中、大詞匯量的語音識別系統(tǒng)特別重要。當分類發(fā)生錯誤時可以根據(jù)語言學模型、語法結(jié)構(gòu)、語義學進行判斷糾正，特別是一些同音字則必須通過上下文結(jié)構(gòu)才能確定詞義。語言學理論包括語義結(jié)構(gòu)、語法規(guī)則、語言的數(shù)學描述模型等有關(guān)方面。目前比較成功的語言模型通常是采用統(tǒng)計語法的語言模型與基于規(guī)則語法結(jié)構(gòu)命令語言模型。語法結(jié)構(gòu)可以限定不同詞之間的相互連接關(guān)系，減少了識別系統(tǒng)的搜索空間，這有利于提高系統(tǒng)的識別。