感謝導(dǎo)語：數(shù)據(jù)集成產(chǎn)品是數(shù)據(jù)中臺建設(shè)得第壹環(huán)節(jié)，在構(gòu)建數(shù)據(jù)中臺或大數(shù)據(jù)系統(tǒng)時，首先要將企業(yè)內(nèi)部各個業(yè)務(wù)系統(tǒng)得數(shù)據(jù)實現(xiàn)互聯(lián)互通，從物理上打破數(shù)據(jù)孤島。感謝對數(shù)據(jù)集成產(chǎn)品進行了分析，一起來看一下吧。

數(shù)據(jù)集成產(chǎn)品致力于異構(gòu)數(shù)據(jù)源之間得數(shù)據(jù)交換與匯聚，該類產(chǎn)品是數(shù)據(jù)中臺建設(shè)得第壹環(huán)節(jié)，筆者將通過兩篇文章對數(shù)據(jù)集成產(chǎn)品進行分析。

數(shù)據(jù)同步，又稱為數(shù)據(jù)集成、數(shù)據(jù)遷移，主要用于實現(xiàn)不同系統(tǒng)間得數(shù)據(jù)流轉(zhuǎn)。

為什么會有數(shù)據(jù)同步這類產(chǎn)品？

在企業(yè)中，業(yè)務(wù)得快速發(fā)展產(chǎn)生了大量數(shù)據(jù)，也催生出多種應(yīng)用系統(tǒng)，各系統(tǒng)承載不同類型得數(shù)據(jù)，對應(yīng)著不同得數(shù)據(jù)存儲方式。

而對于構(gòu)建數(shù)據(jù)中臺或大數(shù)據(jù)系統(tǒng)，首先需要將企業(yè)內(nèi)部各個業(yè)務(wù)系統(tǒng)得數(shù)據(jù)實現(xiàn)互聯(lián)互通，從物理上打破數(shù)據(jù)孤島，而這主要通過數(shù)據(jù)匯聚和同步得能力來實現(xiàn)。

數(shù)據(jù)同步方式有多種：API接口同步、數(shù)據(jù)文件同步和數(shù)據(jù)庫日志解析同步，適用于不同得業(yè)務(wù)場景。

本次分享得數(shù)據(jù)同步是基于數(shù)據(jù)庫日志解析得方式實現(xiàn)，其主要應(yīng)用場景是：數(shù)據(jù)從業(yè)務(wù)系統(tǒng)同步到數(shù)倉，和數(shù)據(jù)從數(shù)倉同步到數(shù)據(jù)應(yīng)用兩個方面。

一、數(shù)據(jù)集成產(chǎn)品簡介1. 產(chǎn)品介紹

數(shù)據(jù)同步致力于保證數(shù)據(jù)在不同數(shù)據(jù)源之間被高效準確地遷移。根據(jù)數(shù)據(jù)時效性要求和應(yīng)用場景，數(shù)據(jù)同步可分為離線同步和實時同步：

1）離線同步

主要用于大批量數(shù)據(jù)得周期性遷移，對時效性要求不高，一般采用分布式批量數(shù)據(jù)同步方式，通過連接讀取數(shù)據(jù)，讀取數(shù)據(jù)過程中可以有全量、增量方式，經(jīng)過統(tǒng)一處理后寫入目標存儲。

成熟得產(chǎn)品有：Sqoop、DataX、kettle等。

2）實時同步

針對數(shù)據(jù)時效性要求高得場景，其將源端數(shù)據(jù)得變化實時同步到目標端數(shù)據(jù)源中，保證源端數(shù)據(jù)與目標端數(shù)據(jù)實時保持一致，就可滿足業(yè)務(wù)實時查詢分析使用數(shù)據(jù)或?qū)崟r計算等需求。

成熟得產(chǎn)品有：Canal、otter等。

在實際業(yè)務(wù)場景中，離線同步和實時同步搭配使用，為保證已有得數(shù)據(jù)表在目標端數(shù)據(jù)源中可用，會使用離線同步將該表得歷史數(shù)據(jù)全量遷移到目標端數(shù)據(jù)源中，對于增量數(shù)據(jù)則通過實時集成來增量遷移。

2. 核心流程

數(shù)據(jù)集成得實現(xiàn)有三個關(guān)鍵步驟：數(shù)據(jù)讀取、數(shù)據(jù)轉(zhuǎn)換（映射）、數(shù)據(jù)寫入，核心流程如下圖所示：

具體流程為：數(shù)據(jù)集成從源端數(shù)據(jù)源中讀取數(shù)據(jù)，按照建好得映射關(guān)系及轉(zhuǎn)換規(guī)則，將數(shù)據(jù)寫入到目標數(shù)據(jù)源中。其中：

配置源端數(shù)據(jù)源和目標端數(shù)據(jù)源，用于連接數(shù)據(jù)源，獲取數(shù)據(jù)源得讀、寫權(quán)限等建立映射關(guān)系：源端數(shù)據(jù)源中數(shù)據(jù)表及字段對應(yīng)到目標端數(shù)據(jù)源中得哪張表和字段。建立映射關(guān)系后，數(shù)據(jù)集成根據(jù)映射關(guān)系，將源端數(shù)據(jù)寫入到對應(yīng)得目標端數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換規(guī)則：數(shù)據(jù)寫入時，可能有不同數(shù)據(jù)格式轉(zhuǎn)換，敏感數(shù)據(jù)脫敏展示、無用字段過濾、null值處理等需求，可以制定相應(yīng)得數(shù)據(jù)轉(zhuǎn)換規(guī)則來實現(xiàn)數(shù)據(jù)傳輸通道：可配置任務(wù)并發(fā)數(shù)、數(shù)據(jù)連接數(shù)等任務(wù)參數(shù)，達到數(shù)據(jù)集成得任務(wù)被高效穩(wěn)定執(zhí)行等目得

基于上述流程，數(shù)據(jù)集成產(chǎn)品得核心功能一般會包含以下4個：

數(shù)據(jù)集成平臺在進行異構(gòu)數(shù)據(jù)源之間得數(shù)據(jù)遷移時，需要保證遷移任務(wù)被高效完成，被遷入目標端數(shù)據(jù)源得數(shù)據(jù)是準確可靠得、實時得，數(shù)據(jù)傳輸過程是安全得等，這是用戶核心點，也是期望平臺達到得目標。

3. 其他大數(shù)據(jù)產(chǎn)品得聯(lián)系和區(qū)別

在構(gòu)建數(shù)據(jù)倉庫得場景中，數(shù)據(jù)加載到數(shù)倉后，隨后進行數(shù)據(jù)加工和數(shù)據(jù)應(yīng)用，其中涉及得3類大數(shù)據(jù)產(chǎn)品如下：

1）數(shù)據(jù)集成：面向數(shù)據(jù)匯聚與交換

產(chǎn)品流程：配置數(shù)據(jù)源—創(chuàng)建同步任務(wù)—配置調(diào)度任務(wù)。

核心任務(wù)：ETL、校驗、補數(shù)、合并。

2）數(shù)據(jù)加工：面向數(shù)據(jù)分析

產(chǎn)品流程：創(chuàng)建表—編寫加工邏輯（insert）—配置調(diào)度任務(wù)。

數(shù)據(jù)加工方式：離線計算、實時計算、機器學習等。

3）任務(wù)調(diào)度：工作流編排

產(chǎn)品流程：創(chuàng)建任務(wù)節(jié)點—配置節(jié)點依賴關(guān)系—提交并執(zhí)行。

任務(wù)調(diào)度：任務(wù)執(zhí)行、任務(wù)調(diào)度與運維。

聯(lián)系：

數(shù)據(jù)集成和數(shù)據(jù)加工都是數(shù)據(jù)生命周期中得一環(huán)數(shù)據(jù)集成任務(wù)和數(shù)據(jù)加工任務(wù)其實就是任務(wù)調(diào)度中得任務(wù)節(jié)點job，任務(wù)調(diào)度保證數(shù)據(jù)被順序采集和加工出來

以用戶畫像分析為例，oss_數(shù)據(jù)同步和rds_數(shù)據(jù)同步兩個節(jié)點是數(shù)據(jù)集成任務(wù)節(jié)點，ods_log_info_d、dws_user_info_all_d、rpy_user_info_d三個節(jié)點是數(shù)據(jù)加工任務(wù)節(jié)點，繪制各節(jié)點間得連線即工作流編排。

提交并執(zhí)行畫布中得流程節(jié)點，數(shù)據(jù)就會按照箭頭方向執(zhí)行各節(jié)點，產(chǎn)出最終結(jié)果。

區(qū)別：數(shù)據(jù)集成和數(shù)據(jù)加工都基于任務(wù)執(zhí)行和調(diào)度實現(xiàn)，兩者雖然都是ETL，但是各自得重點并不相同。

①核心動作

數(shù)據(jù)集成核心動作是抽數(shù)（讀、寫、轉(zhuǎn)換），也就是數(shù)據(jù)交換，轉(zhuǎn)換動作也只是簡單得數(shù)據(jù)清洗。

數(shù)據(jù)加工得核心動作是計算邏輯/清洗等加工規(guī)則得編寫，加工規(guī)則復(fù)雜。

②核心目標

數(shù)據(jù)集成得核心目標，是保證數(shù)據(jù)被高效準確地遷移到目標端數(shù)據(jù)源。

數(shù)據(jù)加工得核心目標，是加工規(guī)則編寫準確“翻譯”業(yè)務(wù)需求。

二、數(shù)據(jù)集成產(chǎn)品流程

離線集成與實時集成在實際運行中，得側(cè)重點是不同得，對于離線集成，面對得是批數(shù)據(jù)，更多考慮大規(guī)模數(shù)據(jù)量得遷移效率問題；對于實時集成，面對得是流數(shù)據(jù)，更多考慮數(shù)據(jù)準確性問題。

數(shù)據(jù)同步中一般采用先全量在增量得方式來進行數(shù)據(jù)得遷移，即先將歷史數(shù)據(jù)全量遷移到目標數(shù)據(jù)源，完成初始化動作，在進行增量數(shù)據(jù)得實時同步，這樣保證目標端數(shù)據(jù)得可用性。當然也有不care歷史數(shù)據(jù)得場景，此時就無需進行全量遷移得動作。

1. 實時集成

我們主要采用基于日志得CDC方式來實現(xiàn)增量數(shù)據(jù)得實時同步，CDC即change data capture，捕獲數(shù)據(jù)得變化。

實時集成通過讀取源端數(shù)據(jù)庫日志bin_log來捕獲數(shù)據(jù)得變化情況（insert、update、delete），將其傳輸?shù)絢afka topic中，然后通過spark streaming對數(shù)據(jù)進行轉(zhuǎn)換/清洗，寫入到stg增量表中，最后將增量數(shù)據(jù)與全量數(shù)據(jù)合并到數(shù)倉ods表中。

由于數(shù)據(jù)庫日志抽取一般是獲取所有得數(shù)據(jù)記錄得變更（增、刪、改），落到目標表時，需要根據(jù)主鍵去重，并按照日志時間倒序排列獲取最后狀態(tài)得變化情況。

具體得實時集成任務(wù)執(zhí)行邏輯及流程如下所示：

實時集成有以下特點：

源端數(shù)據(jù)庫產(chǎn)生一條記錄，數(shù)據(jù)集成實時同步一條記錄流數(shù)據(jù)在數(shù)據(jù)傳輸過程中可能會被丟失或延遲

故相較于離線集成，在數(shù)據(jù)同步鏈路上，實時集成會增加數(shù)據(jù)校驗和數(shù)據(jù)合并兩個動作。

數(shù)據(jù)校驗主要校驗源端和目標端得數(shù)據(jù)量，保證數(shù)據(jù)沒有被丟失數(shù)據(jù)合并則是由ods庫base表和cdc目標庫increment表組成，具體邏輯為：將stg數(shù)據(jù)按主鍵去重，取最新一條，根據(jù)主鍵與ods數(shù)據(jù)表中得T+1數(shù)據(jù)合并2. 離線集成

離線集成分為全量和增量兩種方式對大規(guī)模數(shù)據(jù)進行批量遷移。

全量遷移是將某些表得全部歷史數(shù)據(jù)同步到目標數(shù)據(jù)源中增量遷移，通常需要使用where子句（RDB）或者query子句（MongoDB）等增量配置參數(shù)，同時在結(jié)合調(diào)度參數(shù)（定時任務(wù)得重復(fù)周期：分鐘、小時、天、周、月等）可實現(xiàn)增量遷移任意指定日期內(nèi)得數(shù)據(jù)。

比如，想要實現(xiàn)每日數(shù)據(jù)得增量同步，各參數(shù)可配置為：

Where子句：配置為DS=’${dateformat(yyyy-MM-dd,-1,DAY)}’，配置定時任務(wù)：重復(fù)周期為1天，每天得凌晨0點自動執(zhí)行作業(yè)

增量遷移得數(shù)據(jù)可以對目標端數(shù)據(jù)源表中數(shù)據(jù)進行追加、覆蓋和更新操作。

：細嗅薔薇，：零號產(chǎn)品er

感謝由 等細嗅薔薇 來自互聯(lián)網(wǎng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止感謝

題圖來自 Unsplash，基于 CC0 協(xié)議