深度學習並非是某個人憑空創造出來的，而是在數十年人工智能研究工作的基礎上，經過幾代人的努力逐漸發展並趨向成熟的。例如，加拿大的傑弗裏·辛頓（Geoffrey E.Hinton）（圖7-1），他發明的反向傳播算法（BP算法）是深度學習的基礎算法，同時他也是深度學習的積極推動者；揚·勒丘恩是卷積神經網絡的領軍人物，他對卷積神經網絡（CNN）使用反向傳播算法並使其達到了能夠真正實用的水平；約書亞·本吉奧推動了遞歸神經網絡（RNN）的研究並將其應用於語言模型、機器翻譯等；伊恩·古德費洛發明了生成對抗網絡（GAN），使得兩個神經網絡可以通過互相博弈的方式進行學習。直接為深度學習做出重要貢獻的學者名單還可以列出一大串，經過他們的不懈努力，短短十多年的時間，深度學習已經成為當前人工智能的主要方法。
圖7-1 深度學習之父、加拿大多倫多大學辛頓教授
現在深度學習在人工智能的各個領域都有應用，並且在幾乎所有數據龐大、結構複雜的問題中，都顛覆性地超越了以往方法，被稱為新一代人工智能。深度學習可以分為監督學習和無（半）監督學習。無監督學習與人類的學習方式更接近，吸引了很多研究者的目光，並且在不斷取得突破，但還不是非常成熟的方法。監督學習已取得巨大的成功，是現在已投入使用的主流方法，本教材介紹的內容將以監督學習方法為主。
一個成功的人工智能係統，可以準確地提取數據中的特征。例如，分類問題，可以看作是從數據到類別的映射，分類的過程就是尋找恰當的映射機製的過程。以圖像識別為例，一個線性分類器或者其他能識別淺層特征的分類器也許能夠分辨出貓和狗的照片不是同一類，但如果金毛犬和拉布拉多犬以相同的姿態出現在兩張照片的同一個位置，淺層分類器很可能就不能給出良好的映射機製。為了加強分類能力，傳統的方法是人工設計更好的特征提取器，這就需要大量的工程技術和專業領域知識，此外還可以使用核方法這類技術來泛化非線性特性，但這些做法的效果並不是很好。