現代定義，《不列顛百科全書》解釋：統計學（Statistics）是收集和分析數據的科學與藝術。統計學是“科學”，統計學是“藝術”，說明統計學在理論、方法、應用中都要強調藝術性，時時具有靈活性，處處需要靈感。
統計學與數據打交道，必然離不開數學。關於統計學的數學理論部分，在西方被稱為Mathematical Statistics，是數學的一個分支，是Statistics的重要組成部分，但絕不是全部。數學研究的是抽象的數量規律，統計學則是研究具體的、實際現象的數量規律。數學研究的是沒有量綱或單位的抽象的數，統計學研究的是有具體實物或計量單位的數據。統計學與數學研究中所使用的邏輯方法不同：數學研究所使用的主要是演繹，統計學則是演繹與歸納相結合，占主導地位的是歸納。
統計學曆經300多年的發展，事實上已成為橫跨社會科學和自然科學領域，並與數學緊密結合的多科性的科學。從橫向看，各種統計學都具有上述共同點，因而能夠形成一個學科“家族”。從縱向看，統計學方法應用於各種實質性科學，同它們相結合，產生了一係列專門領域的統計學：經濟統計學，人口統計學，社會統計學，教育統計學，醫藥統計學，工程統計學，物理統計學，生物統計學等。
蘇聯把統計學定義為一門研究大量社會現象的社會科學，有很強的階級性和黨性；而數理統計學則被看作是在統計學中使用的數學方法及其理論基礎。受蘇聯影響，在我國至今仍有不少人認為統計學是一門社會科學，數理統計學是一門數學學科。隨著時代的發展，在我國這個區別也在漸漸消失。
我國統計學科建設的正確方向是：理論統計學與各類應用統計學繼續並存，相互促進、共同發展。一方麵，理論統計學要結合應用統計研究中提出的需要解決的通用方法論問題，豐富和完善其方法論內容。另一方麵，應用統計學不僅要吸收和利用理論統計學研究的成果，而且還要與本領域的實質性科學更加緊密結合，著重研究適合本領域的特有的統計方法。各類統計學都按其自身的規律發展，最終形成較為鬆散的“統計學”學科群體，而不是強求一致的統一的一級學科。