神經網絡作為深度學習的基礎，是受生物神經係統啟發提出的一種模型，它在生物學基礎上對神經係統處理信息的方式進行了適當地簡化，實現了讓機器具備“思考”和“學習”的能力。
大腦是人類擁有智慧的關鍵，雖然總體來說，現代科技水平距離完全了解大腦的運行機製還相差甚遠，但是結合生物學、物理、化學等分析方法，對大腦的研究也在不斷地取得進展。
神經元是構成生物神經係統的基本單元，最新的研究成果表明，人類大腦大約由860億個神經元構成，這是一個非常龐大和複雜的係統，為了更好地理解人工神經網絡的原理，接下來簡單地描述神經元的結構和工作方式。神經元的主要部分包括細胞體、樹突和軸突，軸突末端有許多神經末梢在需要傳遞信息時可與其他神經元進行接觸，被稱為突觸。神經元之間有幾種不同的連接方式，以軸突——樹突型為例，神經元通過樹突與其他神經元的突觸接觸，接收其他神經元發出的神經信號（電脈衝），並對信號進行整合，如果整合後的信號超過某個閾值，則該細胞被激活並產生一個電脈衝信號沿軸突向其他神經元傳遞，這構成了一個完整的輸入輸出過程（圖6-1）。
圖6-1
依據生物神經網絡的這種工作方式，心理學家、控製論專家沃倫·麥卡洛克和數理邏輯學家瓦爾特·皮茨在1943年提出了人工神經網絡（Artificial Neural Network，ANN）的概念和人工神經元的數學模型，開創了人工神經網絡研究的時代。唐納德·赫布在1949年提出的神經心理學理論，給出了神經元模型的學習法則。沿著這個方向，康奈爾航空實驗室的心理學家弗蘭克·羅斯布拉特認為通過模擬大腦的這種工作方式可以創造出識別物體的機器，並將其稱為“感知器”。他在實驗室完成了感知器的仿真，使得計算機能夠識別一些字母。據1958年的《紐約時報》報道，“……一種電子計算機的雛形，它將能夠走路、說話、看、寫、自我複製並感知到自己的存在……據預測，不久以後，感知器將能夠識別並叫出人的名字，能把演講內容立即翻譯成另外一種語言並記錄下來”。這些事情在當時看起來似乎遙不可及，但是在深度學習理論大行其道的今天，這些其實都已經變成了現實，這也在某種程度上體現了他對感知器理論深刻的預見性。