分類是具有一定智力水平的動物在進化過程中普遍掌握的一項技能。例如，非洲草原上的獅子，可以在奔跑的獵物中辨別出其中體弱而不善於奔跑的，優先進行捕殺；天空自由翱翔的鳥兒回巢時可以在空中準確地區分出眾多鳥巢中哪個是自己的家；作為萬物之靈的人類，分類能力就更加強大，識別不同類的食物、選擇不同的衣服、區分性格後和喜歡的人交友、工作中將各種事務分門別類進行處理等都是在進行分類。
嚐試讓計算機學習人類的“分類”能力，使得機器能夠對特定數據實現分類，這就是分類問題。人工智能領域的大量問題最後都歸結為某種形式的分類問題，所以分類問題是人工智能領域中最重要的一類問題。關於它的研究曆史很長，在此過程中，各種基礎的分類算法不斷改進舊版本的不足，提升分類效率，演化出眾多新的算法。本教材將著重介紹其中幾種原理簡單，但是依然很流行、很有效的基本分類算法。追本溯源，眾多分類算法的核心思想其實並不複雜，掌握了其中的基本想法，今後學習基於此演化出的新算法也就不難了。
首先以電商客戶數據為例，介紹描述分類問題需要的基本概念。
（1）特征屬性
通常特征屬性有很多個，也稱為變量或者維度，每個特征屬性相當於示例表格中的一列，特征屬性的取值稱為屬性值，屬性值可以是具體數字，也可以是描述性的文字。
（2）樣本
樣本相當於表格中的一行，包含很多屬性值。
（3）類別標記
類別標記是對包含屬性值的樣本進行鑒別後給出的這個樣本所屬的類別。類別標記在表格中也是一列，表明各個樣本屬於哪一類。
（4）訓練數據
通常分類問題是通過具有類別標記的數據來解決的，這樣的數據稱為訓練數據。在訓練數據中除了記錄每個樣本的屬性值，還標明了每個樣本所屬的類別，訓練數據是對未知數據進行分類的數據基礎。