AI芯天下丨工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib
一提到大數(shù)據(jù),人們首先會(huì)想到在互聯(lián)網(wǎng)和商業(yè)等環(huán)境中,利用大量的行為數(shù)據(jù)來(lái)分析用戶(hù)行為和預(yù)測(cè)市場(chǎng)趨勢(shì)等應(yīng)用。但是對(duì)工業(yè)大數(shù)據(jù)的定義和應(yīng)用卻很難直觀(guān)地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過(guò)“3B” 和 “3C” 來(lái)理解。
工業(yè)大數(shù)據(jù)應(yīng)用的“3B”挑戰(zhàn):
· Bad Quality——在工業(yè)大數(shù)據(jù)中,數(shù)據(jù)質(zhì)量問(wèn)題一直是許多企業(yè)所面臨的挑戰(zhàn)。
· Broken——工業(yè)對(duì)于數(shù)據(jù)的要求并不僅在于量的大小,更在于數(shù)據(jù)的全面性。
· Below the Surface——除了對(duì)數(shù)據(jù)所反映出來(lái)的表面統(tǒng)計(jì)特征進(jìn)行分析以外,還應(yīng)該關(guān)注數(shù)據(jù)中所隱藏的相關(guān)性。
工業(yè)大數(shù)據(jù)分析的“3C”目的:
· Comparison(比較性)——從比較過(guò)程中獲取洞察,既包括比較相似性,也包括比較差異性。
· Correlation (相關(guān)性)——如果說(shuō)物聯(lián)網(wǎng)是可見(jiàn)世界的連接,那么所連接對(duì)象之間的相關(guān)性就是不可見(jiàn)世界的連接。
· Consequence (因果性)——數(shù)據(jù)分析的重要目的是進(jìn)行決策支持,在制定一個(gè)特定的決策時(shí),其所帶來(lái)的結(jié)果和影響應(yīng)該被同等地分析和預(yù)測(cè)。
為此,我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具,擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化,是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個(gè)開(kāi)源集群運(yùn)算框架,擅長(zhǎng)迭代計(jì)算。最初是由加州大學(xué)柏克利分校AMPLab所開(kāi)發(fā)。Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù),在內(nèi)存上的運(yùn)算速度比Hadoop MapReduce的運(yùn)算速度快上100倍,即便是在磁盤(pán)上運(yùn)行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內(nèi)存,并多次對(duì)其進(jìn)行查詢(xún),非常適合用于機(jī)器學(xué)習(xí)算法。
Spark MLlib 主要包括以下幾方面的內(nèi)容:
學(xué)習(xí)算法:分類(lèi)、回歸、聚類(lèi)和協(xié)同過(guò)濾;
特征處理:特征提取、變換、降維和選擇;
管道(Pipeline):用于構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道的工具;
持久性:保存和加載算法,模型和管道;
實(shí)用工具:線(xiàn)性代數(shù),統(tǒng)計(jì),最優(yōu)化,調(diào)參等工具。
上表總結(jié)了 Spark MLlib 支持的功能結(jié)構(gòu),可以看出Spark MLlib是一種高效、快速、可擴(kuò)展的分布式計(jì)算框架;實(shí)現(xiàn)了常用的機(jī)器學(xué)習(xí),如:聚類(lèi)、分類(lèi)、回歸等算法。
大數(shù)據(jù)能夠帶來(lái)巨大的商業(yè)價(jià)值已經(jīng)毋庸置疑,各行各業(yè)均已開(kāi)展了一場(chǎng)無(wú)形的較量,數(shù)據(jù)提供商、服務(wù)提供商都想在這片藍(lán)海強(qiáng)占先機(jī)。而目前,Spark已經(jīng)成為了現(xiàn)在大數(shù)據(jù)領(lǐng)域最火的開(kāi)源軟件,Spark也被許多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)廣泛應(yīng)用到商業(yè)項(xiàng)目中,在國(guó)內(nèi)包括阿里、百度、騰訊、網(wǎng)易、搜狐等。

發(fā)表評(píng)論
登錄
手機(jī)
驗(yàn)證碼
立即登錄即可訪(fǎng)問(wèn)所有OFweek服務(wù)
還不是會(huì)員?免費(fèi)注冊(cè)
忘記密碼請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線(xiàn)下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠(chǎng)展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
8月5日立即報(bào)名>> 【在線(xiàn)會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI的夏天:第四范式VS云從科技VS地平線(xiàn)機(jī)器人