大數(shù)據(jù)時代主流媒體的封面網(wǎng)關(guān)發(fā)展探析

大數(shù)據(jù)時代主流媒體的封面網(wǎng)關(guān)發(fā)展探析

王  磊  王子健

(四川封面?zhèn)髅接邢挢熑喂?

【摘  要】大數(shù)據(jù)時代，傳媒業(yè)逐漸開始向融媒體時代過渡。隨之帶來的是數(shù)據(jù)流量爆發(fā)式增長、智能媒體迭代升級提速以及網(wǎng)絡(luò)數(shù)據(jù)安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結(jié)合業(yè)務(wù)痛點和業(yè)務(wù)難點，對網(wǎng)關(guān)建設(shè)進行了深入的研究。封面網(wǎng)關(guān)一方面承擔起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉(zhuǎn)發(fā)和負載均衡為基礎(chǔ)，監(jiān)控告警和限流隔離/熔斷降級為保障，A/B分流和安全鑒權(quán)輔助跟進，形成完整的保護屏障，助力封面建設(shè)“引領(lǐng)人工智能時代的泛內(nèi)容生態(tài)平臺”。

【關(guān)健詞】大數(shù)據(jù)  融媒體  網(wǎng)關(guān)

1  概述

大數(shù)據(jù)時代，傳媒業(yè)逐漸開始向融媒體時代過渡。隨之帶來的是數(shù)據(jù)流量爆發(fā)式增長、智能媒體迭代升級提速以及網(wǎng)絡(luò)數(shù)據(jù)安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結(jié)合業(yè)務(wù)痛點和業(yè)務(wù)難點，對網(wǎng)關(guān)建設(shè)進行了深入的研究。封面網(wǎng)關(guān)一方面承擔起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉(zhuǎn)發(fā)和負載均衡為基礎(chǔ)，監(jiān)控告警和限流隔離/熔斷降級為保障，A/B分流和安全鑒權(quán)輔助跟進，形成完整的保護屏障，助力封面建設(shè)“引領(lǐng)人國對世面中工智能時代的泛內(nèi)容生態(tài)平臺”。傳統(tǒng)互聯(lián)網(wǎng)架構(gòu)隨著時代發(fā)展的已經(jīng)由單體架構(gòu)逐漸演化成微服務(wù)架構(gòu)，而API網(wǎng)關(guān)已經(jīng)成為微服務(wù)架構(gòu)中不可或缺的一環(huán)。在客戶端和服務(wù)，服務(wù)與服務(wù)之間引入一個額外層，作為從客戶端向服務(wù)，服務(wù)向服務(wù)發(fā)起請求路由的反向代理。類似面向?qū)ο笤O(shè)計中的外觀模式，往上承接南北流量，為封裝底層系統(tǒng)架構(gòu)的API提供了單一入口；同時往下會分發(fā)流量到微服務(wù)應(yīng)用或者BFF(Backends for Frontends)聚合應(yīng)用，在BFF規(guī)范化之前仍然將其視為一個普通微服務(wù)應(yīng)用。稱為API網(wǎng)關(guān)。整體架構(gòu)圖如圖1:

2  請求分發(fā)

請求分發(fā)也是封面網(wǎng)關(guān)承載流量的基礎(chǔ)，封面網(wǎng)關(guān)以路有轉(zhuǎn)發(fā)和負載均衡為核心對接多渠道的請求。

2.1 API管理

當應(yīng)用服務(wù)大規(guī)模增長的時候，API數(shù)量變得很龐大，我們有必要對API進行統(tǒng)一管理，按照業(yè)務(wù)線對API進行劃分進行不同的管理。

在劃分出不同業(yè)務(wù)線之后，能直觀的感知到哪些業(yè)務(wù)是內(nèi)部調(diào)用，哪些業(yè)務(wù)是對外輸出的。從傳媒行業(yè)的角度來看，埋點及采集相關(guān)服務(wù)通常屬于內(nèi)部服務(wù)，側(cè)重點往往在于數(shù)據(jù)的穩(wěn)定性，保障數(shù)據(jù)的最終落庫；智能審核和校對相關(guān)服務(wù)通常以云服務(wù)的形式提供，數(shù)據(jù)流量也很大，側(cè)重于保障API接口性能穩(wěn)定性和安全性。

在劃分出保障重點之后，我們能針對不同的API設(shè)置不同的保障規(guī)則，通過消息隊列解藕通知網(wǎng)關(guān)，使配置生效。

通過API管理平臺的成功建設(shè)，我們能對現(xiàn)有業(yè)務(wù)進行梳理，防止不同產(chǎn)品線之間重復(fù)開發(fā)。此外，也為技術(shù)中臺的建設(shè)提供了基礎(chǔ)支撐，圍繞此可以展開對可集成服務(wù)的探索，如計費中心、用戶中心等。

2.2  路由轉(zhuǎn)發(fā)

路由轉(zhuǎn)發(fā)是網(wǎng)關(guān)建設(shè)的基石，承接南北流量，為封裝底層數(shù)據(jù)服務(wù)的API提供了單一入口。同時，路由轉(zhuǎn)發(fā)也可以在基礎(chǔ)的轉(zhuǎn)發(fā)功能上做縱向拓展，通過對融媒體時代的深入分析，會發(fā)現(xiàn)瀏覽媒資信息的渠道會有多種，如常見的網(wǎng)頁、APP,公眾號或小程序等，但是不同的場景會導(dǎo)致接口存在差異性，這時后臺服務(wù)就要對接不同的API需求，產(chǎn)生各種各樣的問題。基于此考慮，引入了BFF。

這樣做之后，有以下幾點好處：

(1)聚合，將后端多個請求合并成一個請求，減少網(wǎng)絡(luò)傳輸時間。

(2)適配，將內(nèi)部復(fù)雜的微服務(wù)，適配成對各種不同用戶體驗友好和統(tǒng)一的API。

(3)裁剪，根據(jù)不同請求來源，對數(shù)據(jù)進行提煉，形成不同的展現(xiàn)；比如手機端和PC端大小尺寸和性能不同，如果進行相同的展現(xiàn)，勢必會影響效果

2.3 MOCK

在前后端分離的開發(fā)模式中，前后端開發(fā)存在時間差，服務(wù)與服務(wù)之間也會存在開發(fā)時間差。為了進一步提高開發(fā)效率，封面API提供了MOCK數(shù)據(jù)的功能，只需要雙方提前約定好數(shù)據(jù)格式，在請求進來時可以直接返回mock數(shù)據(jù)，提高開發(fā)效率。

MOCK功能的實用性不僅僅只體現(xiàn)在開發(fā)聯(lián)調(diào)中。在實際生產(chǎn)中，往往會出現(xiàn)很多不可預(yù)知的問題，而解決問題是需要一定時間的。此時，可以通過MOCK的功能在流量進入的時候就進行有效的攔截返回，不會讓流量進入到服務(wù)層級，既不會影響用戶感知，也為解決問題留出了時間和空間。

3  安全把控

時常我們會遇見一些異常流量，典型的就是惡意爬蟲，所以完善一些基礎(chǔ)的安全策略是必要的。

3.1 IP黑白名單

融媒體時代，對于數(shù)據(jù)安全越來越看重。媒資數(shù)據(jù)量迅速增長的同時，網(wǎng)絡(luò)攻擊發(fā)生的頻次與日俱增，攻擊手段層出不窮。為了更好地應(yīng)對為了提高訪問IP質(zhì)量，封面API需要授權(quán)之后才允許請求進入，其中最常用也是最簡單高效的方式就是黑白名單。

封面網(wǎng)關(guān)提供了日志記錄的功能，會將網(wǎng)關(guān)日志實時采集記錄到大數(shù)據(jù)日志平臺上。通過大數(shù)據(jù)安全分析，如果判斷某個IP存在異常情況，就可以通過黑白名單的方式進行限制。

3.2  安全認證

隨著封面云智一體平臺建設(shè)的快速發(fā)展，一系列云產(chǎn)品的快速迭代發(fā)展，單一的IP黑白名單的限制并不能覆蓋所有的安全檢測面。同時，微服務(wù)數(shù)量的急速增長，不同微服務(wù)會有不同的服務(wù)調(diào)用地址，每個微服務(wù)單獨鑒權(quán)的情況下，維護難度也在上升。因此，我們引入統(tǒng)一的認證授權(quán)。

集中認證授權(quán)的方式，為API接口調(diào)用提供了安全性保障，同時也解決了多服務(wù)單獨鑒權(quán)的問題。由網(wǎng)關(guān)統(tǒng)一管理，在流量入口進行鑒權(quán)認證，在分發(fā)到不同的服務(wù)上。

3.3  限流隔離/熔斷降級

封面網(wǎng)關(guān)作為南北流量的唯一入口，一般具有較高的訪問量，封面網(wǎng)關(guān)每天的流量平均在千萬以上，一些時段的峰值會很高，也就意味著很高的并發(fā)量。同時極高訪問量必然出現(xiàn)流量的復(fù)雜性問題。API接口本身也存在性能瓶頸，保障接口的穩(wěn)定性是必需的。而對流量進行整治管理是業(yè)務(wù)發(fā)展的必然趨勢。

限流隔離主要是作用在流入方向服務(wù)端側(cè)的流量控制，其中限流的目標是主動防御。對于服務(wù)接口提供者來講，它自己有自己接口壓力負載值，當達到這個閾值時，觸發(fā)限制請求機制，這就是限流，簡單而言就是限制接口訪問QPS,隔離主要是不同的服務(wù)分配獨立的、一定的資源，當自己的資源用完，直接返回失敗而不是占用別人的資源，從而達到服務(wù)隔離的目的。隔離策略可以使用線程隔離或信號隔離。

熔斷降級則是作用在流出方向客戶端側(cè)的流量控制，可以配置在一定錯誤率情況下進行熔斷，并配合降級數(shù)據(jù)快速返回。通俗來講，對于接口來說，接口的熔斷觸發(fā)條件是在某個時間片內(nèi)失敗達到一定指標，比如5分鐘內(nèi)接口調(diào)用錯誤次數(shù)比例達到50%以上，觸發(fā)熔斷，熔斷后，服務(wù)將進行降級(服務(wù)降級可以理解為服務(wù)保底策略，服務(wù)失敗或異常后，返回指定的默認信息)。

封面網(wǎng)關(guān)的限流隔離/熔斷降級基于管理平臺、消息隊列和網(wǎng)關(guān)實現(xiàn)。管理平臺可針對不同的接口配置單獨的策略，通過消息隊列的方式實時通知網(wǎng)關(guān)生效。

3.4 A/B分流

因為融媒體概念的提出，媒體行業(yè)技術(shù)發(fā)展日新月異，升級迭代愈加頻繁。在進行持續(xù)迭代的背后離不開試驗性工作，其中被互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用的就是A/B測試。A/B測試的本質(zhì)試驗，作為一種優(yōu)化方法，通過對比試驗獲取用戶反饋結(jié)果(成果轉(zhuǎn)換率和用戶滿意度),帶來產(chǎn)品和技術(shù)的創(chuàng)新，以實現(xiàn)各項指標的增長。

在互聯(lián)網(wǎng)產(chǎn)品迭代實驗中的A/B測試是指：為了驗證一個新的產(chǎn)品交互設(shè)計、產(chǎn)品功能或者策略的效果，在同一時間段，給多組用戶(一般叫作對照組和試驗組，用戶的分組方法統(tǒng)計上隨機，使多組用戶在統(tǒng)計角度無差別)分別展示優(yōu)化前(對照組)和優(yōu)化后(試驗組，可以有多組)的產(chǎn)品交互設(shè)計、產(chǎn)品功能或者策略、算法，并通過數(shù)據(jù)分析，判斷優(yōu)化前后的產(chǎn)品交互設(shè)計、產(chǎn)品功能或者策略、算法在一個或者多個評估指標上是否符合預(yù)期的一種試驗方法。

封面網(wǎng)關(guān)A/B測試被廣泛地應(yīng)用于算法服務(wù)迭代升級之中，以推薦算法為例，在技術(shù)改進的初期，將一定比例的流量導(dǎo)向新的推薦策略服務(wù)。通過數(shù)據(jù)比對，量化算法升級帶來的收益或風險，提供算法迭代的數(shù)據(jù)依據(jù)。

4  數(shù)據(jù)分析

4.1  數(shù)據(jù)可視化

通過網(wǎng)關(guān)日志收集記錄，我們可以很快地得到數(shù)據(jù)訪問報表，以數(shù)據(jù)為支撐，提供接口和網(wǎng)關(guān)策略優(yōu)化的支點，反哺整個數(shù)據(jù)基礎(chǔ)能力建設(shè)體系。

"

圖2  日志可視化界面

4.2  安全告警

通過日志中心建設(shè)，封面網(wǎng)關(guān)可以對日志進行不同維度的分析，自定義不同的告警規(guī)則(錯誤數(shù)、錯誤率、降級熔斷率等)通過任務(wù)調(diào)度平臺生成不同的監(jiān)控調(diào)度任務(wù)，實時告警提醒相關(guān)人員，從而保障了整個業(yè)務(wù)生態(tài)的穩(wěn)定性。

5總結(jié)

封面網(wǎng)關(guān)以保障封面建設(shè)先進的“引領(lǐng)人工智能時代的泛內(nèi)容生態(tài)平臺”為出發(fā)點，深入地分析當前業(yè)務(wù)的技術(shù)痛點和難點，與封面各業(yè)務(wù)線做深度的融合，形成了完整的安全保障體系。封面網(wǎng)關(guān)已經(jīng)具備了完善的使用流程和規(guī)范。

參考文獻：

[1]蓋泉賀，高傳集，顏亮，等，一種K8S環(huán)境下的API網(wǎng)關(guān)服務(wù)高可用實現(xiàn)方法：,CN112422683A[P].

2021.

[2]劉偉超，吳擁軍，陳亮，等，一種基于API網(wǎng)關(guān)的生產(chǎn)數(shù)據(jù)實時時鐘同步方法及系統(tǒng)：,CN112381348A[P].2021.

[3]吳潤，基于API網(wǎng)關(guān)的微服務(wù)組合策略研究[J].數(shù)碼世界，2019(3):3.

[4]溫馨，樊婧雯，王富強，基于OpenResty平臺的API網(wǎng)關(guān)系統(tǒng)的設(shè)計與實現(xiàn)[J].信息化研究，2020(3):

7.

[5]王小波，郭毅.論微服務(wù)中使用API網(wǎng)關(guān)的設(shè)計與實現(xiàn)[J].市場周刊·理論版，2020.6]馮騏，沈富可.高校能力開放平臺中的API網(wǎng)關(guān)設(shè)計與實現(xiàn)[J].中國教育信息化，2021(3):6.