微軟的創始人比爾·蓋茨曾把語言理解譽為“人工智能皇冠上的明珠”,一方麵說明自然語言處理用處廣泛,是很多領域迫切希望解決的問題;另一方麵也說明這是一個極有難度的方向。隨著深度學習的發展,在計算機視覺和語音識別領域,人工智能在特定問題上的能力已經超越了人類水平。但是時至今日,在自然語言處理領域中仍有很多具有挑戰性的基本問題未被解決。如果把人工智能研究的內容分為感知和認知兩部分,那麽計算機視覺和語音識別等領域屬於感知的部分,而自然語言處理則屬於認知部分。對於智能係統來說,僅僅具有感知能力顯然是不夠的,具有能夠理解和消化內容的認知能力才是智能係統真正意義上的核心。有觀點認為,自然語言處理體現了人工智能的最高境界,當計算機具備了完全的處理自然語言的能力時,才算實現了真正的智能。
所謂“自然語言”,指的是人們在日常交流中所使用的語言,如漢語、英語、德語等。由於自然語言具有多樣性,又有複雜的含義及語法變化,很難完全通過明確的規則進行描述。而人工智能中的自然語言處理,恰恰是希望通過數學符號和編程語言這種規則化的方式,來理解自然語言這種不完全規則化的語言。它基於大量的數據、人工智能算法、語言學及其他相關學科的知識,大體可以分為語言理解和語言生成兩大任務。語言理解包含對詞法、句法、語義的分析,對文本內容的理解、文本情感的分析等內容,語言生成包含文本到語音的轉換(TTS)、文本摘要、寫作等內容。雖然當前這些目標還不能完全實現,但是現有的技術已經可以理解文本的寫作風格,理解詞性及詞匯之間的關聯,在人機對話中對人說出的話做出部分有效的反應,實現不同語種的語言之間的翻譯工作,使用機器生成可以媲美人聲的音頻,通過機器實現特定領域的文本寫作等。