時至今日，我們在觀影、追劇、直播時，發(fā)彈幕已成為大部分用戶的行為習慣。常規(guī)彈幕目前實現了彈幕與視頻分離，用戶可二選一，很好的規(guī)避了彈幕滿天飛的混沌狀態(tài)。但在直播、二次元等諸多的場景中，用戶更希望在不壓縮視頻質量的情況下同時享受“看”與“說”。
“(Dan)幕”這個詞源于射擊游戲，彈幕網站也源于此， Niconico視頻網站是相對較早擁有彈幕功能的網站。隨后，彈幕網站憑借共鳴性、易操作性，及人人都能享受的再創(chuàng)作娛樂化與對話語權等特性風靡。
自動躲避人像的彈幕
近日，游戲直播平臺虎牙發(fā)布了AI智能彈幕功能，滿足了用戶“看”與“說”同時進行的需求，當用戶在彈幕設置中選擇該功能后，彈幕就會自動躲避人像。也就是說，在直播過程中，用戶可以清晰的看到主播的整個臉以及整個輪廓。
虎牙AI產品總監(jiān)表示，在“大主播直播間、上電視玩法進行時”等場景下，常常會出現高密度彈幕的現象，高密度彈幕會遮擋住主播，對于希望看到主播的用戶來說是一種干擾，而關閉彈幕又讓用戶無法看到精彩彈幕內容且無法與其他用戶進行互動交流。為了改善這種現狀，許多視頻企業(yè)開發(fā)出了精簡彈幕、半屏顯示以及調節(jié)彈幕透明度等多種手段，但這些依然不是最完美的解決方案。
虎牙直播采用背景分割技術，能較好處理人和背景分離，實現智能彈幕。這項功能在虎牙娛樂品類得以實踐，而在有效分割了游戲主角和背景方面，虎牙表示后續(xù)該功能會繼續(xù)在游戲品類進行嘗試拓展。
AI智能彈幕背后的那些技術
虎牙AI技術負責人表示，AI智能彈幕功能背后有兩大核心技術，智能識別人像和人像掩碼的智能壓縮。
實時端上智能識別人像。實時端上智能人像動態(tài)識別的技術原理是利用計算機圖像分析、模型理論、人工智能及模式識別技術的非接觸性高端模式識別技術，從復雜的圖像場景中檢測出特征人臉信息，并進行匹配識別的智能分析過程。
人像掩碼的智能壓縮。 利用人工智能技術識別出 “人像”區(qū)域像素集掩碼(mask)，把掩碼用智能壓縮技術 壓入視頻流，觀眾端再把掩碼跟視頻幀同步解壓。幀跟掩碼一一對應，就可以知道幀中人像的精確位置。
在專訪中，虎牙AI技術負責人還向我們介紹了AI智能彈幕功能的特點：
1、常規(guī)處理彈幕的做法是“離線(Offline)”和云上處理，需要面對的只是識別問題;而虎牙是針對直播進行實時端上處理;
2、有的網站采用類似PS蒙版技術，采用人工方式為特定視頻添加蒙版來模糊彈幕;而虎牙則采用人景分離技術，讓人物與場景分離，讓彈幕在人物之后，場景之前;
3、AI智能彈幕與傳統(tǒng)直播彈幕相比，在幾乎不增加帶寬的前提下，把每幀的mask隨視頻流編碼。而常規(guī)方法在視頻點播的中則需要大量的流量來支撐彈幕傳輸。
用“黑科技”營造極致用戶體驗
當問及識別、掩碼壓縮、幀與掩碼對應等一系列操作，尤其在直播環(huán)境下，運維方面是不是要花費很大精力，也就是說，怎樣確保用戶體驗不受到智能彈幕功能的影響?
虎牙AI技術負責人這樣回答，端上對AI體驗最大的影響是計算量。 在虎牙設計AI彈幕功能時，就考慮到了算力受限的問題。故把人像識別，mask編碼放在主播端進行實時計算，不會影響到用戶的體驗。在用戶端，僅需要增加計算解碼mask和mask掩碼生成，計算量非常小。但是涉及到AI背景分割技術，游戲直播中落地的可能性還有待研究。
當前，AI技術已經在直播行業(yè)內容的生產、分發(fā)、消費、商業(yè)變現等多個關鍵環(huán)節(jié)進行嘗試和落地。前期主要的貢獻在于提升內容分發(fā)的效率，未來則會進一步變革直播內容的生產方式，提升生產效率。AI的核心技術包括語音識別、圖像識別、自然語言處理，虎牙也會進一步把這些技術落地到直播視頻的生產和分發(fā)中。
直播行業(yè)發(fā)展至今，從“千播大戰(zhàn)”到“大浪淘沙”，再到“激烈廝殺”，直播平臺簽約頭部主播從來都不惜重金。經過很長時間爭奪，游戲直播市場格局逐漸穩(wěn)定，AI智能彈幕功能更是為虎牙直播錦上添花。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
