統(tǒng)計學的英文statistics最早源于現(xiàn)代拉丁文statisticum collegium（國會）以及意大利文statista（國民或政治家）。

德文Statistik，最早是由Gottfried Achenwall于1749年使用，代表對國家的資料進行分析的學問，也就是“研究國家的科學”。在十九世紀統(tǒng)計學在廣泛的數(shù)據(jù)以及資料中探究其意義，并且由John Sinclair引進到英語世界。統(tǒng)計學是一門很古老的科學，一般認為其學理研究始于古希臘的亞里斯多德時代，迄今已有兩千三百多年的歷史。它起源于研究社會經(jīng)濟問題，在兩千多年的發(fā)展過程中，統(tǒng)計學至少經(jīng)歷了“城邦政情”，“政治算數(shù)”和“統(tǒng)計分析科學”三個發(fā)展階段。所謂“數(shù)理統(tǒng)計”并非獨立于統(tǒng)計學的新學科，確切地說：它是統(tǒng)計學在第三個發(fā)展階段所形成的所有收集和分析數(shù)據(jù)的新方法的一個綜合性名詞。概率論是數(shù)理統(tǒng)計方法的理論基礎，但是它不屬于統(tǒng)計學的范疇，而屬于數(shù)學的范疇。 與“城邦政情”階段沒有很明顯的分界點，本質的差別也不大?！罢嗡阈g”的特點是統(tǒng)計方法與數(shù)學計算和推理方法開始結合。分析社會經(jīng)濟問題的方式更加注重運用定量分析方法。1690年英國威廉·配弟出版《政治算數(shù)》一書作為這個階段的起始標志。威廉·配第用數(shù)字，重量和尺度將社會經(jīng)濟現(xiàn)象數(shù)量化的方法是近代統(tǒng)計學的重要特征。因此，威廉·配第的《政治算術》被后來的學者評價為近代統(tǒng)計學的來源，威廉·配第本人也被評價為近代統(tǒng)計學之父。配第在書中使用的數(shù)字有三類：第一類是對社會經(jīng)濟現(xiàn)象進行統(tǒng)計調查和經(jīng)驗觀察得到的數(shù)字.因為受歷史條件的限制，書中通過嚴格的統(tǒng)計調查得到的數(shù)據(jù)少，根據(jù)經(jīng)驗得出的數(shù)字多；第二類是運用某種數(shù)學方法推算出來的數(shù)字。其推算方法可分為三種：平均數(shù)為基礎進行推算的方法”；第三類是為了進行理論性推理而采用的例示性的數(shù)字。配第把這種運用數(shù)字和符號進行的推理稱之為“代數(shù)的算法”。從配第使用數(shù)據(jù)的方法看，“政治算數(shù)”階段的統(tǒng)計學已經(jīng)比較明顯地體現(xiàn)了“收集和分析數(shù)據(jù)的科學和藝術”特點，統(tǒng)計實證方法和理論分析方法渾然一體，這種方法即使是現(xiàn)代統(tǒng)計學也依然繼承。 在“政治算術”階段出現(xiàn)的統(tǒng)計與數(shù)學的結合趨勢逐漸發(fā)展形成了“統(tǒng)計分析科學”。十九世紀末，歐洲大學開設的“國情紀要”或“政治算數(shù)”等課程名稱逐漸消失，代之而起的是“統(tǒng)計分析科學”課程。當時的“統(tǒng)計分析科學”(Science of statistical analysis)課程的內容仍然是分析研究社會經(jīng)濟問題?！敖y(tǒng)計分析科學”課程的出現(xiàn)是現(xiàn)代統(tǒng)計發(fā)展階段的開端. 1908年，“學生”氏(William Sleey Gosset的筆名Student)發(fā)表了關于t分布的論文，這是一篇在統(tǒng)計學發(fā)展史上劃時代的文章。它創(chuàng)立了小樣本代替大樣本的方法，開創(chuàng)了統(tǒng)計學的新紀元?，F(xiàn)代統(tǒng)計學的代表人物首推比利時統(tǒng)計學家奎特萊(Adolphe Quelet)，他將統(tǒng)計分析科學廣泛應用于社會科學，自然科學和工程技術科學領域，因為他深信統(tǒng)計學是可以用于研究任何科學的一般研究方法.現(xiàn)代統(tǒng)計學的理論基礎概率論始于研究賭博的機遇問題，大約開始于1477年。數(shù)學家為了解釋支配機遇的一般法則進行了長期的研究，逐漸形成了概率論理論框架。在概率論進一步發(fā)展的基礎上，到十九世紀初，數(shù)學家們逐漸建立了觀察誤差理論，正態(tài)分布理論和最小平方法則。于是，現(xiàn)代統(tǒng)計方法便有了比較堅實的理論基礎。 統(tǒng)計學（statistics）：收集、處理、分析、解釋數(shù)據(jù)并從數(shù)據(jù)中得出結論的科學。描述統(tǒng)計（descriptive statistics）：研究數(shù)據(jù)收集、處理和描述的統(tǒng)計學方法。推斷統(tǒng)計（inferential statistics）：研究如何利用樣本數(shù)據(jù)來推斷總體特征的統(tǒng)計學方法。變量（variable）：每次觀察會得到不同結果的某種特征。分類變量（categorical variable）：觀測結果表現(xiàn)為某種類別的變量。順序變量（rank variable）：又稱有序分類變量，觀測結果表現(xiàn)為某種有序類別的變量。數(shù)值型變量（metric variable）：又稱定量變量，觀測結果表現(xiàn)為數(shù)字的變量。均值（mean）：均值也就是平均數(shù)，有時特指算術平均數(shù)，這是相對其他方式計算的均值，求法是先將所有數(shù)字加起來，然后除以數(shù)字的個數(shù)，這是測量集中趨勢，或者說平均數(shù)的一種方法。中位數(shù)（median）：也就是選取中間的數(shù)，要找中位數(shù)，首先需要從小到大排序，排序后，再看中間的數(shù)字是什么。眾數(shù)（mode）：眾數(shù)也就是數(shù)據(jù)集中出現(xiàn)頻率最多的數(shù)字 為了將統(tǒng)計學應用到科學，工業(yè)以及社會問題上，我們由研究母體開始。這可能是一個國家的人民，石頭中的水晶，或者是某家特定工廠所生產(chǎn)的商品。一個母體甚至可能由許多次同樣的觀察程序所組成；由這種資料收集所組成的母體我們稱它叫時間序列。為了實際的理由，我們選擇研究母體的子集代替研究母體的每一筆資料，這個子集稱做樣本。以某種經(jīng)驗設計實驗所搜集的樣本叫做資料。資料是統(tǒng)計分析的對象，并且被用做兩種相關的用途：描述和推論。描述統(tǒng)計學處理有關敘述的問題：資料是否可以被有效的摘要，不論是以數(shù)學或是圖片表現(xiàn)，以用來代表母體的性質？基礎的數(shù)學描述包括了平均數(shù)和標準差。圖像的摘要則包含了許多種的表和圖。推論統(tǒng)計學被用來將資料中的數(shù)據(jù)模型化，計算它的機率并且做出對于母體的推論。這個推論可能以對/錯問題的答案所呈現(xiàn)（假設檢定），對于數(shù)字特征量的估計（估計），對于未來觀察的預測，關聯(lián)性的預測（相關性），或是將關系模型化（回歸）。其他的模型化技術包括變異數(shù)分析（ANOVA），時間序列，以及數(shù)據(jù)挖掘。相關的觀念特別值得被拿出來討論。對于資料集合的統(tǒng)計分析可能顯示兩個變量(母體中的兩種性質)傾向于一起變動，好像它們是相連的一樣。舉例來說，對于人收入和死亡年齡的研究期刊可能會發(fā)現(xiàn)窮人比起富人平均來說傾向擁有較短的生命。這兩個變量被稱做相關的。但是實際上，我們不能直接推論這兩個變量中有因果關系；參見相關性推論因果關系（邏輯謬誤）。如果樣本足以代表母體的，那么由樣本所做的推論和結論可以被引申到整個母體之上。最大的問題在于決定樣本是否足以代表 整個母體。統(tǒng)計學提供了許多方法來估計和修正樣本和收集資料過程中的隨機性(誤差)，如同上面所提到的透過經(jīng)驗所設計的實驗。參見實驗設計。要了解隨機性或是機率必須具備基本的數(shù)學觀念。數(shù)理統(tǒng)計（通常又叫做統(tǒng)計理論）是應用數(shù)學的分支，它使用機率論來分析并且驗證統(tǒng)計的理論基礎。任何統(tǒng)計方法是有效的只有當這個系統(tǒng)或是所討論的母體滿足方法論的基本假設。誤用統(tǒng)計學可能會導致描述面或是推論面嚴重的錯誤，這個錯誤可能會影響社會政策，醫(yī)療實踐以及橋梁或是核能發(fā)電計劃結構的可靠性。即使統(tǒng)計學被正確的應用，結果對于不是專家的人來說可能會難以陳述。舉例來說，統(tǒng)計資料中顯著的改變可能是由樣本的隨機變量所導致，但是這個顯著性可能與大眾的直覺相悖。人們需要一些統(tǒng)計的技巧(或懷疑)以面對每天日常生活中透過引用統(tǒng)計數(shù)據(jù)所獲得的資訊。 測量的尺度統(tǒng)計學一共有四種測量的尺度或是四種測量的方式。這四種測量（名目、順序、等距、等比）在統(tǒng)計過程中具有不等的實用性 。等比尺度（Ratio measurements）擁有零值及資料間的距離是相等被定義的；等距尺度（Interval measurements）資料間的距離是相等被定義的但是它的零值并非絕對的無而是自行定義的（如智力或溫度的測量）；順序尺度（ Ordinal measurements）的意義并非表現(xiàn)在其值而是在其順序之上；名目尺度（Nominal measurements）的測量值則不具量的意義。 以下列出一些有名的統(tǒng)計檢定方法以及可供驗證實驗數(shù)據(jù)的程序Fisher最小顯著差異法（Fisher's Least Significant Difference test ）學生t檢驗(Student's t-test)曼-惠特尼 U 檢定（Mann-Whitney U）回歸分析（regression analysis）相關性（correlation）皮爾森積矩相關系數(shù)(Pearson product-moment correlation coefficient)史匹曼等級相關系數(shù)（Spearman's rank correlation coefficient ）卡方分布（chi-square ）創(chuàng)立時期德國的斯勒茲曾說過：“統(tǒng)計是動態(tài)的歷史，歷史是靜態(tài)的統(tǒng)計”?？梢娊y(tǒng)計學的產(chǎn)生與發(fā)展是和生產(chǎn)的發(fā)展、社會的進步緊密相聯(lián)的。統(tǒng)計學的萌芽產(chǎn)生在歐洲，17世紀中葉至18世紀中葉是統(tǒng)計學的創(chuàng)立時期。在這一時期，統(tǒng)計學理論初步形成了一定的學術派別，主要有國勢學派和政治算術學派。