SparkSQL對(duì)于批流支持的特性及批流一體化支持框架的難點(diǎn)
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個(gè)由普元技術(shù)部提供的基于 SparkSQL 的開發(fā)模型；
2．一個(gè)可二次定制開發(fā)的大數(shù)據(jù)開發(fā)框架，提供了靈活的可擴(kuò)展 API；
3．一個(gè)提供了 對(duì)文件，數(shù)據(jù)庫，NoSQL、流處理等統(tǒng)一的數(shù)據(jù)開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴(kuò)展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺(tái)；
6．支持多種平臺(tái)Kerberos認(rèn)證（開源、華為、星環(huán)）等平臺(tái)統(tǒng)一認(rèn)證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個(gè)核心組件：
1．Source 數(shù)據(jù)源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數(shù)據(jù)源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標(biāo)，支持show、DB、File、NoSQL、MQ 等眾多目標(biāo)，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場(chǎng)景
1．批量 ETL；
2．非實(shí)時(shí)分析服務(wù)；
3．流式 ETL；
支持從多種獲得數(shù)據(jù)源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數(shù)據(jù)：Hive、HDFS
3．支持RDBMS數(shù)據(jù)庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數(shù)據(jù)庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025（第十屆）物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025（第十屆）物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【限時(shí)福利】TE 2025國(guó)際物聯(lián)網(wǎng)展·深圳站
推薦專題
