大數(shù)據(jù)的挖掘“大”在哪里?
來源：曾劍平|
類型：網(wǎng)站百科|
時間：2017-12-11
以前我們談?wù)摂?shù)據(jù)挖掘，而大數(shù)據(jù)時代我們談?wù)?a href="http://m.xjjufeng.cn/">大數(shù)據(jù)挖掘。那么大數(shù)據(jù)挖掘“大”在哪里? 本文對此進行了一些歸納，希望能提供一些思考問題的方法。
不足之處請留言發(fā)表意見。
一、數(shù)據(jù)量的大
數(shù)據(jù)量大到多少? 這是一個很多人在進行大數(shù)據(jù)挖掘時要問的問題。
從一些實際應(yīng)用看，一般每天處理的數(shù)據(jù)量達到T、P級別的，可以考慮部署Hadoop、Spark之類的大數(shù)據(jù)處理平臺，一定量級的數(shù)據(jù)處理才能突顯這些平臺的優(yōu)越性。
數(shù)據(jù)量少，數(shù)據(jù)的讀取、搬遷所花費的時間占比太多，反而無法體現(xiàn)大數(shù)據(jù)處理平臺的優(yōu)勢。不少應(yīng)用只是為了大數(shù)據(jù)而大數(shù)據(jù)，幾百M也弄個Hadoop。因此，現(xiàn)在一談大數(shù)據(jù)就認(rèn)為是Hadoop、Spark等平臺是很有局限性的。
當(dāng)然，實際在決定是否使用大數(shù)據(jù)平臺時，可能需要考慮更多的因素，例如：要集成很多的低性能機器、異構(gòu)軟硬件平臺間的可移植性、大量的非結(jié)構(gòu)化數(shù)據(jù)處理等。
二、數(shù)據(jù)類型的多樣化
在數(shù)據(jù)挖掘時代，我們挖掘的數(shù)據(jù)主要以關(guān)系型數(shù)據(jù)為主。大數(shù)據(jù)時代，各種應(yīng)用產(chǎn)生了各種數(shù)據(jù)，通常在大數(shù)據(jù)挖掘中會涉及到多種數(shù)據(jù)類型。這里所說的數(shù)據(jù)類型不是程序設(shè)計中的普通數(shù)據(jù)類型，而是更接近于應(yīng)用的數(shù)據(jù)表現(xiàn)形式，通常有時間序列數(shù)據(jù)、軌跡數(shù)據(jù)、圖數(shù)據(jù)、文本數(shù)據(jù)等等。
每天的銷售記錄、價格是普通數(shù)據(jù)類型，但是從時間維度將它們按照順序連接起來，構(gòu)成的時間序列數(shù)據(jù)能體現(xiàn)出價格的變化規(guī)律，理所當(dāng)然具有更豐富的含義。
每個人所處的位置不過是一個（x,y）的普通數(shù)據(jù)類型，但是按照移動的先后順序把位置連接起來，就構(gòu)成了某人的活動軌跡，背后體現(xiàn)的是他的生活、習(xí)慣，這些隱藏信息才是大數(shù)據(jù)應(yīng)當(dāng)關(guān)注的。
微博或論壇中每個人是獨立存在的，也是普通數(shù)據(jù)，但是如果把每個人按照粉絲、關(guān)注等關(guān)系連接起來，就可以構(gòu)成一張很大的圖，即圖數(shù)據(jù)。圖中的人群、離群，以及加上群體偏好、群體運動等屬性后的高等圖數(shù)據(jù)，就是大數(shù)據(jù)挖掘的關(guān)注點。
三、數(shù)據(jù)處理的噪音
在數(shù)據(jù)挖掘時代，數(shù)據(jù)來源于關(guān)系型數(shù)據(jù)庫，都是一些與業(yè)務(wù)相關(guān)、質(zhì)量比較高的數(shù)據(jù)，一般拿來就可以直接挖。大數(shù)據(jù)挖掘肯定就不是這樣，大數(shù)據(jù)思維決定了我們要考慮不同來源的數(shù)據(jù)的質(zhì)量、數(shù)據(jù)結(jié)構(gòu)魚龍混雜，以增強數(shù)據(jù)處理的魯棒性。比如，要進行企業(yè)級的客戶分析，不同的分公司可能使用不同的客戶管理系統(tǒng)，有的系統(tǒng)采用本科/碩士/博士來區(qū)分客戶的學(xué)歷，而有的采用本科/研究生來區(qū)分，這就要求考慮數(shù)據(jù)的一致性處理。此外，數(shù)據(jù)格式、數(shù)據(jù)完整性等等都是大數(shù)據(jù)挖掘需要考慮的。
四、數(shù)據(jù)挖掘的多樣化
在數(shù)據(jù)挖掘時代，一般側(cè)重于單項的數(shù)據(jù)分析，而大數(shù)據(jù)挖據(jù)可能會更側(cè)重于多項數(shù)據(jù)挖掘任務(wù)同時存在，如業(yè)務(wù)上同時要求分類、預(yù)測、相關(guān)性、聚類等。盡管業(yè)務(wù)需求多了，但是這些分類、預(yù)測、相關(guān)性、聚類可能在底層上采用的是同一種模型，因此，在大數(shù)據(jù)挖據(jù)時考慮模型、算法與業(yè)務(wù)的分離是非常重要的，即所謂的大數(shù)據(jù)處理層次結(jié)構(gòu)。
來源聲明：本文章系尚品中國編輯原創(chuàng)或采編整理，如需轉(zhuǎn)載請注明來自尚品中國。以上內(nèi)容部分(包含圖片、文字)來源于網(wǎng)絡(luò)，如有侵權(quán)，請及時與本站聯(lián)系（010-60259772）。
建站流程
-
網(wǎng)站需求
-
網(wǎng)站策劃方案
-
頁面設(shè)計風(fēng)格
-
確認(rèn)交付使用
-
資料錄入優(yōu)化
-
程序設(shè)計開發(fā)
-
后續(xù)跟蹤服務(wù)
-
聯(lián)系電話
010-60259772
熱門標(biāo)簽
- 網(wǎng)站建設(shè)
- 食品網(wǎng)站建設(shè)
- 微信小程序開發(fā)
- 小程序開發(fā)
- 無錫網(wǎng)站建設(shè)
- 研究所網(wǎng)站建設(shè)
- 沈陽網(wǎng)站建設(shè)
- 廊坊網(wǎng)站建設(shè)
- 鄭州網(wǎng)站建設(shè)
- 婚紗攝影網(wǎng)站建設(shè)
- 手機端網(wǎng)站建設(shè)
- 高校網(wǎng)站制作
- 天津網(wǎng)站建設(shè)
- 教育網(wǎng)站建設(shè)
- 品牌網(wǎng)站建設(shè)
- 政府網(wǎng)站建設(shè)
- 北京網(wǎng)站建設(shè)
- 網(wǎng)站設(shè)計
- 網(wǎng)站制作
最新文章
推薦新聞
更多行業(yè)-
網(wǎng)站制作之如何成為優(yōu)秀的程序員
網(wǎng)站制作公司尚品中國(m.xjjufeng.cn)：對于每個從事...
2012-04-26 -
企業(yè)建設(shè)網(wǎng)站莫貪小便宜,讓自己吃大虧
這篇文章我很早就想寫了，但是都由于工作繁忙而一直拖拖。但是今天遇到一個...
2013-02-01 -
企業(yè)網(wǎng)站建設(shè)要重視用戶體驗度，看看這些案例
用戶體驗，這個關(guān)鍵詞經(jīng)常被專業(yè)網(wǎng)絡(luò)營銷人員使用。 ?對于普通用戶來說，...
2020-05-25 -
[北京網(wǎng)站制作]賽迪時代引領(lǐng)智慧城市新浪潮
目前，我國的城市化建設(shè)正在朝更大范圍、更深層次的方向加速發(fā)展，面對越來...
2011-10-21 -
優(yōu)秀的SEO應(yīng)像面試一樣
如添加內(nèi)容和引入外鏈等。SEO網(wǎng)站優(yōu)化其實分為兩部分，作為SEOer每...
2012-06-15 -
互聯(lián)網(wǎng)典型應(yīng)用之文件傳輸
在互聯(lián)網(wǎng)中，文件傳輸服務(wù)提供了任意兩臺計算機之間相互傳輸文件的機制，它...
2012-08-23
如果您的網(wǎng)站可以增加轉(zhuǎn)化次數(shù)并提高客戶滿意度，該怎么辦？
預(yù)約專業(yè)咨詢顧問溝通！
Copyright ? 2025 恒久尚品 版權(quán)所有 | 京ICP備09066521號
| 公安機關(guān)備案號:11011502003910
免責(zé)聲明
誠信企業(yè)
尚品專注高端網(wǎng)站建設(shè)，系統(tǒng)平臺開發(fā)，微信小程序及APP開發(fā)服務(wù)
尚品專注高端網(wǎng)站建設(shè)，系統(tǒng)平臺開發(fā)，微信小程序及APP開發(fā)服務(wù)
免責(zé)聲明
非常感謝您訪問我們的網(wǎng)站。在您使用本網(wǎng)站之前，請您仔細閱讀本聲明的所有條款。
1、本站部分內(nèi)容來源自網(wǎng)絡(luò)，涉及到的部分文章和圖片版權(quán)屬于原作者，本站轉(zhuǎn)載僅供大家學(xué)習(xí)和交流，切勿用于任何商業(yè)活動。
2、本站不承擔(dān)用戶因使用這些資源對自己和他人造成任何形式的損失或傷害。
3、本聲明未涉及的問題參見國家有關(guān)法律法規(guī)，當(dāng)本聲明與國家法律法規(guī)沖突時，以國家法律法規(guī)為準(zhǔn)。
4、如果侵害了您的合法權(quán)益，請您及時與我們,我們會在第一時間刪除相關(guān)內(nèi)容!
聯(lián)系方式：010-60259772
電子郵件：394588593@qq.com
