數(shù)據(jù)集成系統(tǒng)
華傲數(shù)據(jù)集成系統(tǒng)提供靈活的數(shù)據(jù)讀寫插件，支持多源異構(gòu)數(shù)據(jù)源的讀取和寫入，在任意時間、任意系統(tǒng)之間實現(xiàn)輕量級離線數(shù)據(jù)集成和實時數(shù)據(jù)同步。通過構(gòu)建集成任務(wù)，源端選擇相應(yīng)的數(shù)據(jù)源，目的端選擇數(shù)據(jù)歸集目標庫，即可完成定時或?qū)崟r的數(shù)據(jù)歸集工作，實現(xiàn)數(shù)據(jù)歸集的全流程監(jiān)控管理，致力于幫助企事業(yè)單位在大數(shù)據(jù)應(yīng)用的采集端保障數(shù)據(jù)質(zhì)量。
功能特性
30+種豐富的異構(gòu)數(shù)據(jù)源
支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的同步。結(jié)構(gòu)化庫表數(shù)據(jù)同步，支持主流的Mysql、Oracle、達夢、PostgreSQL、Hive、DWS、Hudi等數(shù)據(jù)庫的數(shù)據(jù)同步。Excel、CSV/TXT、RestAPI等半結(jié)構(gòu)化數(shù)據(jù)同步入庫。文件、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)遷移。
可靠、 高效、 便捷的數(shù)據(jù)同步
數(shù)據(jù)同步效率，是影響數(shù)據(jù)集成質(zhì)量的關(guān)鍵因素，華傲數(shù)據(jù)集成系統(tǒng)提供的靈活數(shù)據(jù)讀寫插件，不但實現(xiàn)了不同數(shù)據(jù)源異構(gòu)數(shù)據(jù)之間的準確、 可靠、 高效、 便捷的同步支持，還大大提升數(shù)據(jù)遷移效率，能夠充分滿足企業(yè)級數(shù)據(jù)倉庫、數(shù)據(jù)湖項目的數(shù)據(jù)遷移需求。
統(tǒng)一編排、調(diào)度、管控
數(shù)據(jù)集成系統(tǒng)結(jié)合華傲編排調(diào)度系統(tǒng)作業(yè)編排、調(diào)度、運維功能，實現(xiàn)所有的數(shù)據(jù)同步任務(wù)便捷集中進行，支持應(yīng)用流程的發(fā)布和管理，方便管理員根據(jù)實際情況最大限度提升流程執(zhí)行效率。
智能、便捷配置數(shù)據(jù)遷移任務(wù)
由于數(shù)據(jù)集成工作常常牽扯到多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，在傳統(tǒng)的處理流程中，涉及到的編碼工作量往往非常巨大。數(shù)據(jù)集成系統(tǒng)將復(fù)雜的數(shù)據(jù)遷移開發(fā)流程提供可視化的任務(wù)配置界面，通過配置數(shù)據(jù)來源、數(shù)據(jù)目標，并快速確認兩個異構(gòu)庫之間的數(shù)據(jù)類型映射，就可以輕松完成任務(wù)配置，同時可配置遷移過程中的最大并發(fā)數(shù)、同步速率和臟數(shù)據(jù)內(nèi)容。以低代碼的智能操作幫助用戶節(jié)省工作時間，提高工作效率。
任務(wù)監(jiān)測預(yù)警、數(shù)據(jù)缺失填充
對結(jié)構(gòu)化數(shù)據(jù)同步，支持數(shù)據(jù)的同步質(zhì)量校驗，智能識別異常數(shù)據(jù)，并提供異常結(jié)果，同時支持對寫入目的庫的異常缺失數(shù)據(jù)的填補。支持智能基線告警，擁有豐富的監(jiān)控策略，對任務(wù)異常及時發(fā)出告警通知。
產(chǎn)品優(yōu)勢
-
支持豐富的數(shù)據(jù)庫類型
數(shù)據(jù)同步適配的數(shù)據(jù)庫類型囊括近年來國內(nèi)外主流數(shù)據(jù)庫類型，如MySql、Oracle、達夢、DWS、Hive、Hudi等
-
多種數(shù)據(jù)采集方式
支持批量和增量數(shù)據(jù)離線同步，庫表、Kafka、API等實時數(shù)據(jù)同步，數(shù)據(jù)同步準確、可靠、高效
-
多源異構(gòu)數(shù)據(jù)集成
支持結(jié)構(gòu)化數(shù)據(jù)（如庫表數(shù)據(jù)等）、半結(jié)構(gòu)化（如文件解析、API）和非結(jié)構(gòu)化數(shù)據(jù)（如視頻、音頻等）的全量、增量和批量數(shù)據(jù)集成，以滿足用戶不同的數(shù)據(jù)集成需求
-
可視化便捷操作
可視化表單形式配置數(shù)據(jù)同步任務(wù)，以低代碼的智能操作實現(xiàn)數(shù)據(jù)采集任務(wù)的增刪改查、采集任務(wù)的監(jiān)控管理等功能，能夠為用戶提供更直觀的數(shù)據(jù)同步執(zhí)行結(jié)果展示