美創(chuàng)科技助力浙江 “數據高鐵”建設，實現秒級共享
數據高鐵項目規(guī)劃
第一步：建設廳在政務云上開通數據倉庫資源，為該市的公積金分配數據倉庫數據庫用戶名、密碼以及相關訪問權限。
第二步：該公積金負管理中心負責將業(yè)務生產庫中的雙貫標表實時同步推送至省建設廳數據倉相應的數據庫中。
第三步：省建設廳對公積金雙貫標數據進行檢查、分析，并做好與大數據局數據庫高鐵倉的對接。
解決方案規(guī)劃
為了確保數據的高速、完整歸集到“高鐵數據倉” ，美創(chuàng)科技通過自主研發(fā)的數據支撐平臺實現數據清洗、轉換、同步和加載工作。該平臺通過對業(yè)務系統(tǒng)數據進行標準化，向數據倉庫或大數據平臺提供高質量數據，支持異構數據遷移、基于數據庫日志的數據實時復制、ETL開發(fā)、分布式處理等功能。
具體方案如下：
一、準備一臺前置機，部署Oracle數據庫存放同步數據以及清洗后的29張表，同時部署數據挖掘同步系統(tǒng)，用來完成同步清洗工作。準備一臺服務器，部署Windows系統(tǒng)，主要用于對數據挖掘同步系統(tǒng)進行數據同步、抽取、轉換、清洗等工作任務的管理以及遠程運維。
二、在生產庫或者容災庫上部署數據挖掘同步系統(tǒng)客戶端；通過數據挖掘同步系統(tǒng)對公積金庫進行按照數據庫日志級別進行實時挖掘同步，同時在數據挖掘同步系統(tǒng)上進行數據表篩選，篩選出建設廳所需的雙貫表。利用數據挖掘同步系統(tǒng)篩選的雙貫標信息，通過數據倉提供的接口，將雙貫標初始化寫入數據倉。
客戶收益
數據實時同步，促進數據共享的實時、鮮活、快速
美創(chuàng)數據支撐平臺采用數據基于日志的數據實時同步技術，實現數據秒級同步，結合獨有的數據比對技術，讓數據歸集具有高鐵般的速度。
數據質量控制，保障數據共享的準確、優(yōu)質、高效
美創(chuàng)數據支撐平臺可以實施數據質量檢核規(guī)則，發(fā)現數據質量問題，持續(xù)監(jiān)控各系統(tǒng)數據質量波動情況以及數據質量規(guī)則占比，定期生成關鍵數據質量報告，掌握系統(tǒng)數據質量狀況。讓數據應用更加有成效，讓群眾得到更多實惠，服務更高效。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
