大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
目前大數(shù)據(jù)技術(shù)的話,建議系統(tǒng)學習,自學沒有方向,學習太碎片化,推薦一家北京尚學堂,15年了,課程很專業(yè),有一個同事就是他家培訓(xùn)完應(yīng)聘過來的,技術(shù)操作和項目實戰(zhàn)這塊確實可以,記得他家的線上品牌是百戰(zhàn)程序員,上班族的工作性質(zhì),可以考慮線上學習,技術(shù)行業(yè)更新發(fā)展太快,學習投資,升職加薪就很有必要。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。對于“大數(shù)據(jù)”(Big data)研究機構(gòu)Gartner給出了這樣的定義?!按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從技術(shù)上看,大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理,必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘,但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注?!吨婆_》的分析師團隊認為,大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù),以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。大數(shù)據(jù)的特點。數(shù)據(jù)量大、數(shù)據(jù)種類多、 要求實時性強、數(shù)據(jù)所蘊藏的價值大。在各行各業(yè)均存在大數(shù)據(jù),但是眾多的信息和咨詢是紛繁復(fù)雜的,我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。大 數(shù)據(jù)的采集??茖W技術(shù)及互聯(lián)網(wǎng)的發(fā)展,推動著大數(shù)據(jù)時代的來臨,各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片,數(shù)據(jù)計量單位已從從Byte、KB、MB、 GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數(shù)據(jù)時代數(shù)據(jù)的采集也不再是技術(shù)問題,只是面對如此眾多的數(shù)據(jù),我們怎樣才能找到 其內(nèi)在規(guī)律。大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)必然無法用人腦來推算、估測,或者用單臺的計算機進行處理,必須采用分布式計算架構(gòu),依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù),因此,大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。