隨著商業(yè)環(huán)境的不斷發(fā)展，企業(yè)間的競爭越來越激烈，如何利用現(xiàn)有的數(shù)據(jù)快速地定位問題、分析問題和解決問題，成為企業(yè)間競爭的焦點。為了應對復雜多變的市場環(huán)境，為企業(yè)各層決策者提供數(shù)據(jù)支持，從而贏得核心競爭力，阿里集團首先提出了“中臺”的概念。

　　數(shù)據(jù)中臺系統(tǒng)，就是對海量數(shù)據(jù)進行采集、計算、存儲、加工，形成標準的大數(shù)據(jù)資產(chǎn)層，為組織的內(nèi)外部客戶提供高效數(shù)據(jù)服務。數(shù)據(jù)中臺能夠降低數(shù)據(jù)庫和數(shù)據(jù)倉庫的重復建設，減少煙囪式協(xié)作的成本，幫助組織構(gòu)建新型的差異化競爭優(yōu)勢。

　　數(shù)據(jù)中臺是涵蓋了數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、萃取數(shù)據(jù)中心、數(shù)據(jù)服務等多個層次的體系化建設方法。“讓一切業(yè)務數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務化”是對數(shù)據(jù)中臺系統(tǒng)功能的簡要概括。

數(shù)據(jù)中臺系統(tǒng)的特點

　　數(shù)據(jù)中臺與傳統(tǒng)的業(yè)務前臺和后臺有顯著的區(qū)別，與傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫既有一定的聯(lián)系，又有很大的區(qū)別。

　　數(shù)據(jù)中臺與前后臺

　　組織中的前臺是指各類數(shù)據(jù)應用，這些應用可能是管理流程的配置、支持決策的數(shù)據(jù)和報表的提供、各種數(shù)據(jù)查詢服務，也可能是支持業(yè)務工作的軟件開發(fā)等。

　　后臺是指對原始數(shù)據(jù)的管理，這些數(shù)據(jù)可能是關系型數(shù)據(jù)庫中的靜態(tài)實體數(shù)據(jù)或者業(yè)務數(shù)據(jù)；也可能是服務器、存儲、網(wǎng)絡設備等生成的各類日志數(shù)據(jù)；或者是人工填報和上傳的半結(jié)構(gòu)化或非結(jié)構(gòu)化的圖表、文本、音頻、視頻等數(shù)據(jù)。

　　介于前臺數(shù)據(jù)應用層和后臺原始數(shù)據(jù)管理層的中間層就是數(shù)據(jù)中臺。數(shù)據(jù)中臺主要是為了支持前端各類數(shù)據(jù)服務而對后臺原始數(shù)據(jù)進行加工和整合后生成的各類數(shù)據(jù)集合。這些數(shù)據(jù)集合可能有明確的服務對象，也可能尚無明確的服務對象。

　　數(shù)據(jù)中臺與數(shù)據(jù)庫和數(shù)據(jù)倉庫

　　數(shù)據(jù)中臺不同于數(shù)據(jù)庫。目前，高校各部門使用的業(yè)務系統(tǒng)數(shù)據(jù)庫主要是關系型數(shù)據(jù)庫，聚焦于對人、財、物的管理。而數(shù)據(jù)中臺中的數(shù)據(jù)，不遵循范式要求，并不針對某類具體實體或者聯(lián)系的管理，主要是面向應用；而且數(shù)據(jù)中臺中的數(shù)據(jù)不僅包括實體和聯(lián)系數(shù)據(jù)，還包括各類日志數(shù)據(jù)、圖表、文本、音視頻資料等半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。

　　數(shù)據(jù)中臺的概念也不同于數(shù)據(jù)倉庫，主要體現(xiàn)在以下三個方面：

　　1.數(shù)據(jù)來源不同。數(shù)據(jù)倉庫的數(shù)據(jù)主要來源于各類業(yè)務數(shù)據(jù)；而數(shù)據(jù)中臺的數(shù)據(jù)除了各類業(yè)務數(shù)據(jù)外，還包括各類日志、IOT（Internet of Things）數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)等。

　　2.對數(shù)據(jù)實時性要求不同。數(shù)據(jù)倉庫主要是為了支持決策，因此，并不要求數(shù)據(jù)達到實時更新，一般能做到T+1就可以；但數(shù)據(jù)中臺由于要進行實時的業(yè)務支持和快速的問題分析，因此對數(shù)據(jù)的實時性要求更高。

　　3.服務對象不同。數(shù)據(jù)倉庫的服務對象主要是企業(yè)經(jīng)營的決策者；而數(shù)據(jù)中臺的服務對象不僅包括決策者，還包括業(yè)務人員、運維人員、各類應用系統(tǒng)開發(fā)人員以及合作伙伴等。

　　此外，相比較于數(shù)據(jù)庫和數(shù)據(jù)倉庫，數(shù)據(jù)中臺離業(yè)務更近，對需求的響應更迅速。組織中現(xiàn)有的數(shù)據(jù)庫和數(shù)據(jù)倉庫都可以成為中臺系統(tǒng)的數(shù)據(jù)來源。

　　數(shù)據(jù)中臺系統(tǒng)的建立，可以降低數(shù)據(jù)服務的門檻，讓數(shù)據(jù)真正實現(xiàn)資產(chǎn)化和業(yè)務化，成為組織新型核心競爭力的來源。

建立數(shù)據(jù)中臺系統(tǒng)的動因

　　目前，高校信息化管理部門同時肩負管理（主要是IT設備和應用系統(tǒng)管理）和IT服務兩種職能，按照網(wǎng)絡、應用系統(tǒng)開發(fā)、數(shù)據(jù)整合、多媒體教室設備管理、實驗室管理、網(wǎng)絡安全管理、一卡通系統(tǒng)管理、有線電視網(wǎng)絡管理等“塊狀”業(yè)務設計組織架構(gòu)。但是，隨著用戶需求的變更和技術的發(fā)展，這種“塊狀”的業(yè)務劃分方法將面臨變革，轉(zhuǎn)變?yōu)閳D1所示的層次狀架構(gòu)。

　　高效IT服務

　　隨著技術的發(fā)展，各類IT服務在前端技術上慢慢趨同，面向師生的各種網(wǎng)絡服務、校園卡服務、電教服務等所需的技能差異逐漸縮小，此類服務在客觀上可以整合在一個服務團隊中完成，通過工單系統(tǒng)快速響應、定位、診斷并處理用戶提出的問題，這套工單系統(tǒng)需要完整的師生數(shù)據(jù)、設備臺賬數(shù)據(jù)、各類設備和系統(tǒng)日志數(shù)據(jù)的支持。

　　高質(zhì)量設備和資產(chǎn)管理

　　隨著師生對校園網(wǎng)絡和各類應用系統(tǒng)的依賴越來越深，“網(wǎng)絡不間斷”和“業(yè)務不中斷”成為廣大師生對信息化的基本訴求，這在客觀上要求高校信息化管理部門能夠持續(xù)提供高質(zhì)量的IT運維，能夠預防并快速解決軟硬件系統(tǒng)中出現(xiàn)的任何問題。這些都在客觀上需要完整的設備資產(chǎn)、臺賬、日志及知識庫等數(shù)據(jù)的支持。

　　流程與決策支持

　　隨著高校之間競爭的加劇，高校行政系統(tǒng)運行效率和決策質(zhì)量成為高校之間競爭的一個焦點。“一站式網(wǎng)上服務”、“一網(wǎng)通辦”成為高校各部門提供高效、高質(zhì)量服務的客觀要求。此外，校各級管理部門也常常需要快速、完整、多維度的數(shù)據(jù)報表，以便輔助決策。這些流程配置和決策支持功能的實現(xiàn)，都依賴于對各類業(yè)務數(shù)據(jù)和日志的實時采集、加工和分析。

　　綜上，在高校信息化管理部門的IT服務、IT設備及資產(chǎn)管理以及流程與決策支持三大業(yè)務逐漸分離的趨勢下，一套強大的數(shù)據(jù)中臺系統(tǒng)成為高校信息化業(yè)務開展的基礎。

上海外國語大學數(shù)據(jù)中臺系統(tǒng)

　　建設方案

　　考慮到系統(tǒng)功能的持續(xù)擴展性，為防止系統(tǒng)由于過分依賴廠商或太過封閉造成今后的持續(xù)開發(fā)風險，本中臺系統(tǒng)由校方大數(shù)據(jù)項目團隊自主進行整體架構(gòu)設計，在綜合權(quán)衡學校的數(shù)據(jù)規(guī)模和應用需求后，采用開源和自主開發(fā)相結(jié)合的方式進行建設。系統(tǒng)架構(gòu)如圖2所示。

　　數(shù)據(jù)采集層采集人員數(shù)據(jù)、教務數(shù)據(jù)、財務數(shù)據(jù)庫、科研數(shù)據(jù)庫、人事檔案數(shù)據(jù)、學科數(shù)據(jù)庫、日志事件庫等業(yè)務基礎數(shù)據(jù)，支持離線和實時兩種數(shù)據(jù)采集方式。離線數(shù)據(jù)采集主要支持MySQL、SQL Server、Oracle、離線文件等；實時數(shù)據(jù)采集主要支持 MySQL、日志等，并支持API接口實現(xiàn)實時數(shù)據(jù)上報。實時數(shù)據(jù)采集對于其他類型的實時數(shù)據(jù)提供“邊緣數(shù)據(jù)采集工具集”，邊緣數(shù)據(jù)采集工具采用GO語言開發(fā)，直接部署在數(shù)據(jù)產(chǎn)生節(jié)點上，避免了集中處理數(shù)據(jù)的壓力。采集來的數(shù)據(jù)都被放入一個基于Apache Kafka 的消息隊列中，該消息隊列只投遞一次，避免因后續(xù)數(shù)據(jù)加工平臺和數(shù)據(jù)采集工具的處理能力不匹配而丟失數(shù)據(jù)。

　　對于業(yè)務數(shù)據(jù)，利用ETL工具定期從業(yè)務系統(tǒng)里抽取數(shù)據(jù)放到臨時數(shù)據(jù)庫，同時進行一些數(shù)據(jù)整合操作，再利用工具將臨時數(shù)據(jù)庫里的數(shù)據(jù)存入Kafka里。這些數(shù)據(jù)中，大部分是Syslog形式的，直接存入Kafka里即可；另外有些數(shù)據(jù)需要利用廠商提供的API導入Kafka里；還有一些手工填報的數(shù)據(jù)，需要利用Excel文件導入Kafka里。

　　在數(shù)據(jù)加工層，有數(shù)個數(shù)據(jù)處理節(jié)點不間斷地從Kafka里將數(shù)據(jù)取出，并完成兩項工作，一是將部分決策支持模型需要的原始數(shù)據(jù)轉(zhuǎn)存到6個月存儲期的集群中；二是抽取需要的數(shù)據(jù)到上層的查詢分析集群。

　　在數(shù)據(jù)服務層，提供基于Elastic Stack的大數(shù)據(jù)查詢和分析，方便用戶快速獲得所需數(shù)據(jù)；提供運行于ES數(shù)據(jù)集群之上、用戶自定義模型的各類預警和決策參考工具，利用ELK的預警模塊，通過“Push”和“Pull”兩種方式提供給用戶；提供開放的數(shù)據(jù)集、開放API以及標簽工廠等資源，在保證數(shù)據(jù)安全的前提下，方便用戶獲取數(shù)據(jù)和重新定義數(shù)據(jù)，讓用戶享受快速便利的數(shù)據(jù)服務。

　　問題與不足

　　數(shù)據(jù)中臺系統(tǒng)匯集了學校各業(yè)務系統(tǒng)的業(yè)務數(shù)據(jù)和硬件資源的日志數(shù)據(jù)，是一個集中的校園數(shù)據(jù)平臺，但也存在一定的問題與不足。首先本系統(tǒng)的安全性和權(quán)限管理是個非常重要的問題；其次數(shù)據(jù)分析所需的技能與高校信息化管理部門傳統(tǒng)的技能要求不同，因此，高校信息化管理部門的人員技能更新和人才引入也是一個亟需關注的問題；第三，決策支持模型的設計中，有價值的模型是要有充足的理論依據(jù)的，因此，決策支持模型的設計需要在理論層面獲得支持。（責編：付涵）

　　（作者單位為上海外國語大學信息技術中心）