大數(shù)據(jù)（英語(yǔ)：Big data），又稱為巨量資料，指的是在傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的大或復(fù)雜的數(shù)據(jù)集的術(shù)語(yǔ)。

數(shù)據(jù)也可以定義為來自各種來源的大量非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)。從學(xué)術(shù)角度而言，大數(shù)據(jù)的出現(xiàn)促成廣泛主題的新穎研究。這也導(dǎo)致各種大數(shù)據(jù)統(tǒng)計(jì)方法的發(fā)展。大數(shù)據(jù)并沒有統(tǒng)計(jì)學(xué)的抽樣方法；它只是觀察和追蹤發(fā)生的事情。因此，大數(shù)據(jù)通常包含的數(shù)據(jù)大小超出傳統(tǒng)軟件在可接受的時(shí)間內(nèi)處理的能力。由于近期的技術(shù)進(jìn)步，發(fā)布新數(shù)據(jù)的便捷性以及全球大多數(shù)政府對(duì)高透明度的要求，大數(shù)據(jù)分析在現(xiàn)代研究中越來越突出。

1分鐘了解大數(shù)據(jù)

大數(shù)據(jù)本身是一個(gè)抽象的概念。從一般意義上講，大數(shù)據(jù)是指無(wú)法在有限時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其進(jìn)行獲取、存儲(chǔ)、管理和處理的數(shù)據(jù)集合。目前，業(yè)界對(duì)大數(shù)據(jù)還沒有一個(gè)統(tǒng)一的定義，但是大家普遍認(rèn)為，大數(shù)據(jù)具備 Volume、Velocity、Variety 和 Value 四個(gè)特征，簡(jiǎn)稱“4V”，即數(shù)據(jù)體量巨大、數(shù)據(jù)速度快、數(shù)據(jù)類型繁多和數(shù)據(jù)價(jià)值密度低，如圖 1 所示。下面分別對(duì)每個(gè)特征作簡(jiǎn)要描述。

圖 1大數(shù)據(jù)特征

1）Volume：表示大數(shù)據(jù)的數(shù)據(jù)體量巨大。

數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已經(jīng)從 GB 級(jí)增加到 TB 級(jí)再增加到 PB 級(jí)，近年來，數(shù)據(jù)量甚至開始以 EB 和 ZB 來計(jì)數(shù)。例如，一個(gè)中型城市的視頻監(jiān)控信息一天就能達(dá)到幾十 TB 的數(shù)據(jù)量。百度首頁(yè)導(dǎo)航每天需要提供的數(shù)據(jù)超過 1-5PB，如果將這些數(shù)據(jù)打印出來，會(huì)超過 5000 億張 A4 紙。圖 2 展示了每分鐘互聯(lián)網(wǎng)產(chǎn)生的各類數(shù)據(jù)的量。

圖 2互聯(lián)網(wǎng)每分鐘產(chǎn)生的數(shù)據(jù)

2）Velocity：表示大數(shù)據(jù)的數(shù)據(jù)產(chǎn)生、處理和分析的速度在持續(xù)加快。

加速的原因是數(shù)據(jù)創(chuàng)建的實(shí)時(shí)性特點(diǎn)，以及將流數(shù)據(jù)結(jié)合到業(yè)務(wù)流程和決策過程中的需求。數(shù)據(jù)處理速度快，處理模式已經(jīng)開始從批處理轉(zhuǎn)向流處理。業(yè)界對(duì)大數(shù)據(jù)的處理能力有一個(gè)稱謂——“ 1 秒定律”，也就是說，可以從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。大數(shù)據(jù)的快速處理能力充分體現(xiàn)出它與傳統(tǒng)的數(shù)據(jù)處理技術(shù)的本質(zhì)區(qū)別。

3）Variety：表示大數(shù)據(jù)的數(shù)據(jù)類型繁多。

傳統(tǒng) IT 產(chǎn)業(yè)產(chǎn)生和處理的數(shù)據(jù)類型較為單一，大部分是結(jié)構(gòu)化數(shù)據(jù)。隨著傳感器、智能設(shè)備、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動(dòng)計(jì)算、在線廣告等新的渠道和技術(shù)不斷涌現(xiàn)，產(chǎn)生的數(shù)據(jù)類型無(wú)以計(jì)數(shù)?，F(xiàn)在的數(shù)據(jù)類型不再只是格式化數(shù)據(jù)，更多的是半結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)，如 XML、郵件、博客、即時(shí)消息、視頻、照片、點(diǎn)擊流、 日志文件等。企業(yè)需要整合、存儲(chǔ)和分析來自復(fù)雜的傳統(tǒng)和非傳統(tǒng)信息源的數(shù)據(jù)，包括企業(yè)內(nèi)部和外部的數(shù)據(jù)。

4）Value：表示大數(shù)據(jù)的數(shù)據(jù)價(jià)值密度低。

大數(shù)據(jù)由于體量不斷加大，單位數(shù)據(jù)的價(jià)值密 度在不斷降低，然而數(shù)據(jù)的整體價(jià)值在提高。以監(jiān)控視頻為例，在一小時(shí)的視頻中，有用的數(shù)據(jù)可能僅僅只有一兩秒，但是卻會(huì)非常重要?，F(xiàn)在許多專家已經(jīng)將大數(shù)據(jù)等同于黃金和石油，這表示大數(shù)據(jù)當(dāng)中蘊(yùn)含了無(wú)限的商業(yè)價(jià)值。根據(jù)中商產(chǎn)業(yè)研究院發(fā)布的《2018-2023 年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)前景及投資機(jī)會(huì)研究報(bào)告》顯示，2017 年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模達(dá)到 4700 億元，同比增長(zhǎng) 30%。隨著大數(shù)據(jù)在各行業(yè)的融合應(yīng)用不斷深化，預(yù)計(jì) 2018 年中國(guó)大數(shù)據(jù)市場(chǎng)產(chǎn)值將突破 6000 億元達(dá)到 6200 億元。通過對(duì)大數(shù)據(jù)進(jìn)行處理，找出其中潛在的商業(yè)價(jià)值，將會(huì)產(chǎn)生巨大的商業(yè)利潤(rùn)。

大數(shù)據(jù)（big data），IT行業(yè)術(shù)語(yǔ)，是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。

隨著云時(shí)代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)顧名思義就是海量的數(shù)據(jù)堆在一起，就現(xiàn)成了大數(shù)據(jù)，大數(shù)據(jù)分實(shí)時(shí)時(shí)間和歷史數(shù)據(jù)，大數(shù)據(jù)又分it數(shù)據(jù)，ot數(shù)據(jù)，視頻時(shí)間，圖像數(shù)據(jù)，時(shí)空數(shù)據(jù)等多類型數(shù)據(jù)，大數(shù)據(jù)的目的就是實(shí)現(xiàn)更智慧，更智能。大數(shù)據(jù)不去挖掘分析就是一堆無(wú)用的數(shù)據(jù)，所以就必須各種行業(yè)應(yīng)用專家去建模，去分析挖掘。因此在大數(shù)據(jù)面前，行業(yè)專家最吃香，碼農(nóng)一抓一大把，模型專家有幾個(gè)。對(duì)于企業(yè)大數(shù)據(jù)分析挖掘可以為企業(yè)提高效率，提高品質(zhì)，降低成本等等若干優(yōu)點(diǎn)，越是規(guī)模大的企業(yè)，大數(shù)據(jù)挖掘價(jià)值越大，給你舉2個(gè)例子，一個(gè)就是九江某石化公司，沒有進(jìn)行大數(shù)據(jù)挖掘優(yōu)化前年年虧損，挖掘優(yōu)化后，他的效率提高了，他的品質(zhì)提供了，現(xiàn)在每年盈利20多個(gè)億，在石化行業(yè)，產(chǎn)品分多個(gè)品質(zhì)，提高幾個(gè)百分點(diǎn)就是另外一個(gè)品質(zhì)，價(jià)格差異很大，這些企業(yè)產(chǎn)量相當(dāng)驚人，上升1個(gè)百分點(diǎn)都很厲害。再舉個(gè)例子，滴滴優(yōu)化分配問題，因?yàn)樗麄円欢螘r(shí)間內(nèi)產(chǎn)生數(shù)據(jù)量太大，沒有優(yōu)化前，為了解決實(shí)時(shí)性問題，用了幾百萬(wàn)硬件堆疊，用硬件解決性能問題，優(yōu)化后，一臺(tái)筆記本解決，所以學(xué)好數(shù)學(xué)還是很關(guān)鍵的。