過去幾年，“數(shù)據(jù)科學(xué)”和“大數(shù)據(jù)”的概念被媒體炒得熱火朝天。對于這種現(xiàn)象，人們一開始難免疑惑，甚至懷疑。事實上，這就是Cathy和我當(dāng)時的反應(yīng)。對于這些概念，Cathy和我在很長一段時間里都感到迷茫，直到我們倆相識。我們一般會在星期三共進(jìn)早餐，每當(dāng)談起這種現(xiàn)象，都有一種不安的感覺，總覺得在這喧囂背后確然有一股新潮流在涌現(xiàn)，這股潮流或許是意義深遠(yuǎn)的，代表著我們整個文化范式在數(shù)據(jù)的影響下都會產(chǎn)生深刻的改變。Cathy和我都是干這行的，覺得應(yīng)該發(fā)揮我們的強項，去探索這些現(xiàn)象背后的原因，而不是置之不理。在深入探索之前，我們有必要先介紹一下媒體所炒作的大數(shù)據(jù)時代，也許你和我們一樣，也認(rèn)為那些概念難以理解、語焉不詳。然后，本章會進(jìn)一步講解我們是如何撥開迷霧發(fā)現(xiàn)背后的真相，以至于Rachel決定在哥倫比亞大學(xué)開設(shè)數(shù)據(jù)科學(xué)導(dǎo)論課程，而Cathy則在她的博客上同步記錄該課程的內(nèi)容，乃至上述所有內(nèi)容終于結(jié)集成書送到你手中。1.1大數(shù)據(jù)和數(shù)據(jù)科學(xué)的喧囂讓我們拋開炒作，因為很多人可能和我們一樣，都對數(shù)據(jù)科學(xué)心存懷疑。之所以一上來就講這些，是想讓你知道：我們也和你一樣！假如你也心存疑慮，說明你也很可能會貢獻(xiàn)一份力量，推動數(shù)據(jù)科學(xué)的健康發(fā)展，使其對社會產(chǎn)生積極的影響，也使數(shù)據(jù)科學(xué)這門學(xué)科趨于正統(tǒng)，在眾多學(xué)科中能占有一席之地。讓我們先來細(xì)數(shù)大數(shù)據(jù)和數(shù)據(jù)科學(xué)之所以這樣讓人如墜云里霧里的原因。

1. 大多數(shù)基本的術(shù)語都缺乏嚴(yán)格定義。究竟什么是大數(shù)據(jù)？數(shù)據(jù)科學(xué)又是什么意思？大數(shù)據(jù)和數(shù)據(jù)科學(xué)之間有什么關(guān)系？數(shù)據(jù)科學(xué)就是關(guān)于大數(shù)據(jù)的科學(xué)嗎？只有像谷歌和Facebook這樣的高科技企業(yè)才用得到數(shù)據(jù)科學(xué)嗎？為什么有人認(rèn)為大數(shù)據(jù)是一個交叉學(xué)科（比如天文學(xué)、金融學(xué)、科技等），但數(shù)據(jù)科學(xué)卻只是科技界的事兒？大數(shù)據(jù)，多大才是大？這些術(shù)語及概念如此含混不清，簡直毫無意義。

2. 對于數(shù)據(jù)科學(xué)領(lǐng)域的研究者，不管是在學(xué)術(shù)界還是工業(yè)界，公眾都缺乏敬意。事實上，他們在這一領(lǐng)域內(nèi)辛勤工作了很多年，而這些工作是繼承了各個領(lǐng)域的前輩們數(shù)十年甚至數(shù)百年的工作成果，這些領(lǐng)域包括統(tǒng)計學(xué)、計算機科學(xué)、數(shù)學(xué)、工程學(xué)以及其他學(xué)科。而媒體傳播給公眾的信息卻是這樣的：機器學(xué)習(xí)算法是上個禮拜才發(fā)明出來的，谷歌出現(xiàn)之前都不存在所謂的大數(shù)據(jù)。這簡直荒謬，很多正在使用的方法和技術(shù)，還有我們面臨的挑戰(zhàn)，都不過是在過去已有的方法、技術(shù)和挑戰(zhàn)上演變而來的。我們并不否認(rèn)新事物和新技術(shù)的出現(xiàn)，只是覺得應(yīng)該對歷史和前人的研究成果保持必要的敬意。

3. 媒體瘋了。人們將各種各樣的桂冠加諸數(shù)據(jù)科學(xué)家的頭上，人們形容他們是掌握了宇宙奧秘的魔法師，其瘋狂程度堪比金融危機之前。天花亂墜的宣傳很容易掩蓋真相、歪曲事實。這些宣傳的噪聲越多，真正有效的信息就越少。因此，若“大數(shù)據(jù)”被媒體吹得越久，公眾越容易被誤導(dǎo)，越難獲知這一概念背后真正有益于社會的一面（如果有的話）。

4. 統(tǒng)計學(xué)家覺得他們正在干的事就是數(shù)據(jù)科學(xué)。換句話說，這本來就是他們的飯碗。親愛的讀者們，請設(shè)身處地替統(tǒng)計學(xué)家們想想，有人搶自己的飯碗是什么感受。媒體也常常將數(shù)據(jù)科學(xué)輕描淡寫為統(tǒng)計學(xué)和機器學(xué)習(xí)在科技界的簡單應(yīng)用。我們會在書中闡明，不是說將統(tǒng)計學(xué)和機器學(xué)習(xí)這些“舊酒”裝進(jìn)新瓶里，就叫作數(shù)據(jù)科學(xué)。它絕對有資格作為一個獨立的學(xué)科存在。

5. 所有自稱為科學(xué)的都不是真正的科學(xué)。這句話或許有些道理，但不代表數(shù)據(jù)科學(xué)這一術(shù)語毫無意義，它代表的可能不是科學(xué)，而是某種技術(shù)。1.2沖出迷霧Rachel取得統(tǒng)計學(xué)博士學(xué)位到她在谷歌工作的這段經(jīng)歷，或許能幫我們解答一些疑惑，她說：進(jìn)入谷歌之后，我很快就意識到工作中用到的東西和我讀統(tǒng)計學(xué)博士學(xué)位時學(xué)到的東西差別很大。并不是說我的統(tǒng)計學(xué)知識毫無用武之地，相反，我在學(xué)校學(xué)到的東西為我思考問題提供了一個框架，統(tǒng)計學(xué)的很多知識都為我的日常工作提供了堅實的理論和實踐基礎(chǔ)。工作期間，我發(fā)現(xiàn)必須掌握很多在學(xué)校沒學(xué)到的東西，比如計算、編程、數(shù)據(jù)可視化技能和許多領(lǐng)域知識。這種經(jīng)驗既特殊又普遍，我擁有統(tǒng)計背景，因此需要補充前面提到過的那些知識，而若換作一位計算機、社會學(xué)或者物理學(xué)背景的人，他們也需要根據(jù)自己的知識缺陷去補充相應(yīng)的知識。每個人都擁有自己獨特的知識結(jié)構(gòu)，重要的是大家能夠緊密合作，取長補短，組成一個團隊去解決數(shù)據(jù)問題。一般人對上述故事肯定會有這樣一種想法：你走上工作崗位后就會發(fā)現(xiàn)，在學(xué)校學(xué)到的知識，遠(yuǎn)遠(yuǎn)不能滿足實際工作的需要。因此，本書中教授的統(tǒng)計學(xué)知識與業(yè)界所應(yīng)用的統(tǒng)計學(xué)方法，肯定也是不盡相同的。對此，我們有一些自己的看法。為什么學(xué)校里的統(tǒng)計要和工業(yè)界的統(tǒng)計如此不同？為什么很多學(xué)校的課程要和現(xiàn)實如此脫節(jié)？這種差異不僅存在于學(xué)校里的統(tǒng)計和工業(yè)界的統(tǒng)計之間。很多數(shù)據(jù)科學(xué)家的一個共同感受是，工作時他們需要接觸更多的知識、方法論和工序（詳見第2章），而這些東西都是以統(tǒng)計學(xué)和計算機科學(xué)為基礎(chǔ)的。拋卻這些媒體給予數(shù)據(jù)科學(xué)的光環(huán)，只有一件事是實在的：數(shù)據(jù)科學(xué)是一個新生事物。它剛剛誕生，卻被賦予了太多榮耀，使人們對其充滿了很多不切實際的幻想，而幻想最終是會破滅的。我們要保護(hù)數(shù)據(jù)科學(xué)，過分吹捧可能會讓這個新興領(lǐng)域過早夭折。Rachel決定去研究數(shù)據(jù)科學(xué)這一文化現(xiàn)象，她想了解其他人對數(shù)據(jù)科學(xué)的感受。她開始和谷歌的人接觸，和很多創(chuàng)業(yè)公司和高科技公司的人接觸，和大學(xué)（特別是統(tǒng)計系）里的老師們接觸。從這些接觸中，Rachel覺得數(shù)據(jù)科學(xué)的輪廓漸漸清晰起來，她進(jìn)一步深入，決定在哥倫比亞大學(xué)開設(shè)一門數(shù)據(jù)科學(xué)導(dǎo)論課程，與此同時Cathy在博客上連載了該課程的講義。我們期望在這門課程結(jié)束時，我們和學(xué)生們能對數(shù)據(jù)科學(xué)的本質(zhì)有一個清晰的理解?，F(xiàn)在我們把課程的內(nèi)容集結(jié)成書，也是希望幫助更多的人去了解數(shù)據(jù)科學(xué)。

數(shù)據(jù)科學(xué)（Data Science）主要包括兩個方面：用數(shù)據(jù)的方法研究科學(xué)；用科學(xué)的方法研究數(shù)據(jù)。前者包括生物信息學(xué)、天體信息學(xué)、數(shù)字地球等領(lǐng)域；后者包括統(tǒng)計學(xué)、機器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫等領(lǐng)域。

用數(shù)據(jù)的方法研究科學(xué)，最典型的例子是開普勒關(guān)于行星運動的三大定律；用科學(xué)的方法研究數(shù)據(jù)主要包括數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)分析。

數(shù)據(jù)科學(xué)依賴兩個因素：一是數(shù)據(jù)的廣泛性和多樣性；二是數(shù)據(jù)研究的共性。