大數據時代主流媒體的封面網關發(fā)展探析

大數據時代主流媒體的封面網關發(fā)展探析

王  磊  王子健

(四川封面?zhèn)髅接邢挢熑喂?

【摘  要】大數據時代，傳媒業(yè)逐漸開始向融媒體時代過渡。隨之帶來的是數據流量爆發(fā)式增長、智能媒體迭代升級提速以及網絡數據安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結合業(yè)務痛點和業(yè)務難點，對網關建設進行了深入的研究。封面網關一方面承擔起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉發(fā)和負載均衡為基礎，監(jiān)控告警和限流隔離/熔斷降級為保障，A/B分流和安全鑒權輔助跟進，形成完整的保護屏障，助力封面建設“引領人工智能時代的泛內容生態(tài)平臺”。

【關健詞】大數據  融媒體  網關

1  概述

大數據時代，傳媒業(yè)逐漸開始向融媒體時代過渡。隨之帶來的是數據流量爆發(fā)式增長、智能媒體迭代升級提速以及網絡數據安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結合業(yè)務痛點和業(yè)務難點，對網關建設進行了深入的研究。封面網關一方面承擔起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉發(fā)和負載均衡為基礎，監(jiān)控告警和限流隔離/熔斷降級為保障，A/B分流和安全鑒權輔助跟進，形成完整的保護屏障，助力封面建設“引領人國對世面中工智能時代的泛內容生態(tài)平臺”。傳統(tǒng)互聯(lián)網架構隨著時代發(fā)展的已經由單體架構逐漸演化成微服務架構，而API網關已經成為微服務架構中不可或缺的一環(huán)。在客戶端和服務，服務與服務之間引入一個額外層，作為從客戶端向服務，服務向服務發(fā)起請求路由的反向代理。類似面向對象設計中的外觀模式，往上承接南北流量，為封裝底層系統(tǒng)架構的API提供了單一入口；同時往下會分發(fā)流量到微服務應用或者BFF(Backends for Frontends)聚合應用，在BFF規(guī)范化之前仍然將其視為一個普通微服務應用。稱為API網關。整體架構圖如圖1:

2  請求分發(fā)

請求分發(fā)也是封面網關承載流量的基礎，封面網關以路有轉發(fā)和負載均衡為核心對接多渠道的請求。

2.1 API管理

當應用服務大規(guī)模增長的時候，API數量變得很龐大，我們有必要對API進行統(tǒng)一管理，按照業(yè)務線對API進行劃分進行不同的管理。

在劃分出不同業(yè)務線之后，能直觀的感知到哪些業(yè)務是內部調用，哪些業(yè)務是對外輸出的。從傳媒行業(yè)的角度來看，埋點及采集相關服務通常屬于內部服務，側重點往往在于數據的穩(wěn)定性，保障數據的最終落庫；智能審核和校對相關服務通常以云服務的形式提供，數據流量也很大，側重于保障API接口性能穩(wěn)定性和安全性。

在劃分出保障重點之后，我們能針對不同的API設置不同的保障規(guī)則，通過消息隊列解藕通知網關，使配置生效。

通過API管理平臺的成功建設，我們能對現(xiàn)有業(yè)務進行梳理，防止不同產品線之間重復開發(fā)。此外，也為技術中臺的建設提供了基礎支撐，圍繞此可以展開對可集成服務的探索，如計費中心、用戶中心等。

2.2  路由轉發(fā)

路由轉發(fā)是網關建設的基石，承接南北流量，為封裝底層數據服務的API提供了單一入口。同時，路由轉發(fā)也可以在基礎的轉發(fā)功能上做縱向拓展，通過對融媒體時代的深入分析，會發(fā)現(xiàn)瀏覽媒資信息的渠道會有多種，如常見的網頁、APP,公眾號或小程序等，但是不同的場景會導致接口存在差異性，這時后臺服務就要對接不同的API需求，產生各種各樣的問題?；诖丝紤]，引入了BFF。

這樣做之后，有以下幾點好處：

(1)聚合，將后端多個請求合并成一個請求，減少網絡傳輸時間。

(2)適配，將內部復雜的微服務，適配成對各種不同用戶體驗友好和統(tǒng)一的API。

(3)裁剪，根據不同請求來源，對數據進行提煉，形成不同的展現(xiàn)；比如手機端和PC端大小尺寸和性能不同，如果進行相同的展現(xiàn)，勢必會影響效果

2.3 MOCK

在前后端分離的開發(fā)模式中，前后端開發(fā)存在時間差，服務與服務之間也會存在開發(fā)時間差。為了進一步提高開發(fā)效率，封面API提供了MOCK數據的功能，只需要雙方提前約定好數據格式，在請求進來時可以直接返回mock數據，提高開發(fā)效率。

MOCK功能的實用性不僅僅只體現(xiàn)在開發(fā)聯(lián)調中。在實際生產中，往往會出現(xiàn)很多不可預知的問題，而解決問題是需要一定時間的。此時，可以通過MOCK的功能在流量進入的時候就進行有效的攔截返回，不會讓流量進入到服務層級，既不會影響用戶感知，也為解決問題留出了時間和空間。

3  安全把控

時常我們會遇見一些異常流量，典型的就是惡意爬蟲，所以完善一些基礎的安全策略是必要的。

3.1 IP黑白名單

融媒體時代，對于數據安全越來越看重。媒資數據量迅速增長的同時，網絡攻擊發(fā)生的頻次與日俱增，攻擊手段層出不窮。為了更好地應對為了提高訪問IP質量，封面API需要授權之后才允許請求進入，其中最常用也是最簡單高效的方式就是黑白名單。

封面網關提供了日志記錄的功能，會將網關日志實時采集記錄到大數據日志平臺上。通過大數據安全分析，如果判斷某個IP存在異常情況，就可以通過黑白名單的方式進行限制。

3.2  安全認證

隨著封面云智一體平臺建設的快速發(fā)展，一系列云產品的快速迭代發(fā)展，單一的IP黑白名單的限制并不能覆蓋所有的安全檢測面。同時，微服務數量的急速增長，不同微服務會有不同的服務調用地址，每個微服務單獨鑒權的情況下，維護難度也在上升。因此，我們引入統(tǒng)一的認證授權。

集中認證授權的方式，為API接口調用提供了安全性保障，同時也解決了多服務單獨鑒權的問題。由網關統(tǒng)一管理，在流量入口進行鑒權認證，在分發(fā)到不同的服務上。

3.3  限流隔離/熔斷降級

封面網關作為南北流量的唯一入口，一般具有較高的訪問量，封面網關每天的流量平均在千萬以上，一些時段的峰值會很高，也就意味著很高的并發(fā)量。同時極高訪問量必然出現(xiàn)流量的復雜性問題。API接口本身也存在性能瓶頸，保障接口的穩(wěn)定性是必需的。而對流量進行整治管理是業(yè)務發(fā)展的必然趨勢。

限流隔離主要是作用在流入方向服務端側的流量控制，其中限流的目標是主動防御。對于服務接口提供者來講，它自己有自己接口壓力負載值，當達到這個閾值時，觸發(fā)限制請求機制，這就是限流，簡單而言就是限制接口訪問QPS,隔離主要是不同的服務分配獨立的、一定的資源，當自己的資源用完，直接返回失敗而不是占用別人的資源，從而達到服務隔離的目的。隔離策略可以使用線程隔離或信號隔離。

熔斷降級則是作用在流出方向客戶端側的流量控制，可以配置在一定錯誤率情況下進行熔斷，并配合降級數據快速返回。通俗來講，對于接口來說，接口的熔斷觸發(fā)條件是在某個時間片內失敗達到一定指標，比如5分鐘內接口調用錯誤次數比例達到50%以上，觸發(fā)熔斷，熔斷后，服務將進行降級(服務降級可以理解為服務保底策略，服務失敗或異常后，返回指定的默認信息)。

封面網關的限流隔離/熔斷降級基于管理平臺、消息隊列和網關實現(xiàn)。管理平臺可針對不同的接口配置單獨的策略，通過消息隊列的方式實時通知網關生效。

3.4 A/B分流

因為融媒體概念的提出，媒體行業(yè)技術發(fā)展日新月異，升級迭代愈加頻繁。在進行持續(xù)迭代的背后離不開試驗性工作，其中被互聯(lián)網、移動互聯(lián)網行業(yè)廣泛應用的就是A/B測試。A/B測試的本質試驗，作為一種優(yōu)化方法，通過對比試驗獲取用戶反饋結果(成果轉換率和用戶滿意度),帶來產品和技術的創(chuàng)新，以實現(xiàn)各項指標的增長。

在互聯(lián)網產品迭代實驗中的A/B測試是指：為了驗證一個新的產品交互設計、產品功能或者策略的效果，在同一時間段，給多組用戶(一般叫作對照組和試驗組，用戶的分組方法統(tǒng)計上隨機，使多組用戶在統(tǒng)計角度無差別)分別展示優(yōu)化前(對照組)和優(yōu)化后(試驗組，可以有多組)的產品交互設計、產品功能或者策略、算法，并通過數據分析，判斷優(yōu)化前后的產品交互設計、產品功能或者策略、算法在一個或者多個評估指標上是否符合預期的一種試驗方法。

封面網關A/B測試被廣泛地應用于算法服務迭代升級之中，以推薦算法為例，在技術改進的初期，將一定比例的流量導向新的推薦策略服務。通過數據比對，量化算法升級帶來的收益或風險，提供算法迭代的數據依據。

4  數據分析

4.1  數據可視化

通過網關日志收集記錄，我們可以很快地得到數據訪問報表，以數據為支撐，提供接口和網關策略優(yōu)化的支點，反哺整個數據基礎能力建設體系。

"

圖2  日志可視化界面

4.2  安全告警

通過日志中心建設，封面網關可以對日志進行不同維度的分析，自定義不同的告警規(guī)則(錯誤數、錯誤率、降級熔斷率等)通過任務調度平臺生成不同的監(jiān)控調度任務，實時告警提醒相關人員，從而保障了整個業(yè)務生態(tài)的穩(wěn)定性。

5總結

封面網關以保障封面建設先進的“引領人工智能時代的泛內容生態(tài)平臺”為出發(fā)點，深入地分析當前業(yè)務的技術痛點和難點，與封面各業(yè)務線做深度的融合，形成了完整的安全保障體系。封面網關已經具備了完善的使用流程和規(guī)范。

參考文獻：

[1]蓋泉賀，高傳集，顏亮，等，一種K8S環(huán)境下的API網關服務高可用實現(xiàn)方法：,CN112422683A[P].

2021.

[2]劉偉超，吳擁軍，陳亮，等，一種基于API網關的生產數據實時時鐘同步方法及系統(tǒng)：,CN112381348A[P].2021.

[3]吳潤，基于API網關的微服務組合策略研究[J].數碼世界，2019(3):3.

[4]溫馨，樊婧雯，王富強，基于OpenResty平臺的API網關系統(tǒng)的設計與實現(xiàn)[J].信息化研究，2020(3):

7.

[5]王小波，郭毅.論微服務中使用API網關的設計與實現(xiàn)[J].市場周刊·理論版，2020.6]馮騏，沈富可.高校能力開放平臺中的API網關設計與實現(xiàn)[J].中國教育信息化，2021(3):6.