在這一章將介紹另外一種分類算法——樸素貝葉斯分類算法。樸素貝葉斯分類算法的原理同樣非常簡單，有很多人工智能領域的分類算法都是以此為基礎進行改進的，它也是分類問題中的基礎算法之一。
貝葉斯分類基於概率中的一個基本公式，叫作貝葉斯公式（又稱為貝葉斯定理）。這個公式的名稱源於英國的概率統計學家、哲學家和牧師托馬斯·貝葉斯（圖4-1），他在一篇名為《論機遇問題的求解》的論文中給出了貝葉斯公式在特殊情形下的描述。他的這個重要結果其實並未在生前發表，而是由他的朋友、哲學家理查德·普萊斯在他去世後從他的筆記中整理並於1763年正式發表的。貝葉斯公式應用廣泛，統計學者由此發展出一套係統的統計推理方法，叫作貝葉斯方法。美國《技術評論》在2003年還曾把貝葉斯統計技術稱為全球九大開拓性新興科技領域。
圖4-1 托馬斯·貝葉斯
為了描述貝葉斯公式，首先需要了解條件概率的概念。設A和B是兩個隨機事件，分別用P（A）和P（B）表示它們發生的概率，並且假設P（A）·P（B）≠0（這是為了保證分式中的分母不為零）。用P（A|B）和P（B|A）分別表示B或A發生的條件下另外一個隨機事件發生的概率。直觀的經驗表明，P（A）和條件概率P（A|B）通常是不相等的。例如，一個籃球愛好者去打籃球的概率（P（A））與他在預報有雨的條件下去打籃球的條件概率（P（A|B））顯然是不同的。
圖4-2 韋恩圖
結合上麵的韋恩圖（圖4-2）可以直觀地理解條件概率的含義。設S是某個隨機試驗的樣本空間（所有可能出現的結果），A和B兩個隨機事件所對應的概率可以分別理解為紅色的圓形和藍色圓形占整個樣本空間的比例。當考慮A發生的條件下B發生的概率時，所有可能出現的試驗結果都落在紅色圓形中，在這樣的條件下，可以認為此時“樣本空間”變成了紅色圓形。而在這樣的條件下如果B發生，試驗結果隻可能出現在紅色圓形與藍色圓形的交叉區域內，所以P（B|A）就是交叉區域在紅色圓形中所占的比例。條件概率的計算公式為