近幾年，深度計算的應用可以說是越來越廣泛了。

(資料圖)

舉個例子，過去幾年時間，國內就有科研人員鼓搗著，用 AI 建立機器學習模型，對疫情可能擴散的范圍和趨勢進行預警，甚至還有科研人員通過訓練 AI 深度學習，檢測病毒感染情況。

到了電腦領域，深度學習帶來的最大變化，可能就是英偉達隨著RTX 20系Turing架構GPU引入的NVIDIA DLSS技術了。

通過預先訓練好的AI模型，DLSS技術允許用戶在渲染一個較低分辨率的畫面的基礎上，結合深度學習神經(jīng)網(wǎng)絡模型將其上采樣到設定的高分辨率，通過降低顯卡硬性負載的方式來提升游戲幀數(shù)。這樣就能在保證用戶畫面體驗的情況下，讓游戲更加流暢地運行。

（圖源：英偉達）

到了這里，有些思維活絡的讀者可能已經(jīng)想到了。DLSS技術本質上是一個提升幀數(shù)+畫質的技術，如果我們不將它應用到游戲上面，而是通過現(xiàn)有模型對低分辨率視頻本身進行超采樣呢？

那就是我們今天要聊的主角——RTX視頻超分辨率技術。

在線視頻之殤

事實上，應該有不少人擁有著和小雷同樣的感受，那就是對于視頻畫質的感知及要求明顯比過去高了不少。

以前只要手里端著臺手機，似乎480P、720P視頻都覺得清晰無比，而現(xiàn)在即便視頻網(wǎng)站普及了1080P、1440P甚至4K畫質，但是肉眼看上去的感覺似乎總是讓人覺得差點意思。

（圖源：嗶哩嗶哩@犬山玉姬）

為什么在線視頻網(wǎng)站的分辨率提升了，但是實際畫質卻變差了？

罪魁禍首，在于視頻碼率。無論是視頻上傳時的標準化轉碼，還是對原始視頻進行統(tǒng)一存儲、管理直到最后分發(fā)到用戶的設備上，這一整套流程的成本是十分昂貴的。

現(xiàn)如今，幾乎所有視頻平臺都面臨著嚴峻的營收問題，為了開源節(jié)流，他們選擇用壓縮碼率的方式來節(jié)約算力、帶寬與成本。盡管這樣可以維持視頻的分辨率，但是因為碼率降低，最終呈現(xiàn)出來的視頻上不可避免地存在一些肉眼可見的偽影、殘像或噪點，這就是信息丟失。

盡管這些信息丟失大概率不會影響觀眾去完整理解視頻，但它們必然會影響到用戶的觀看體驗。在2K、4K顯示器開始普及的當下，人們的在線視頻體驗反而一天不如一天，可謂是當今視頻平臺的一大原罪。

（圖源：知乎@犬山玉姬）

沒想到，英偉達成為了第一個看不下去的。

在CES 2023 GeForce Beyond直播中，英偉達宣布了新的RTX視頻超分辨率（RTX Video Super Resolution）技術。

根據(jù)官方介紹，該技術原理和DLSS類似，可以利用深度學習和神經(jīng)網(wǎng)絡AI技術移除視頻壓縮的塊效應并提高視頻分辨率，從而改善通過瀏覽器觀看的任何視頻的質量，讓人們能夠在高分辨率顯示器上以原生分辨率觀看在線內容。

（圖源：英偉達）

當然，類似的技術其實并不是第一次出現(xiàn)，例如anime4k、waifu2x等算法在超分辨率方面已經(jīng)非常成熟，只可惜這些功能大多只能對本地視頻處理，而我們正在經(jīng)歷的卻是一個毋庸置疑的流媒體時代。

（Waifu2x技術展示）

作為對比，視頻超分辨率技術最大的應用場景，正是流媒體領域，也就是我們平時在各種視頻平臺觀看的直播與視頻。根據(jù)官方介紹，無論是通過斗魚，虎牙，嗶哩嗶哩等平臺觀看您喜愛的主播的直播，還是觀看視頻主發(fā)布的視頻內容，都能借助視頻超分辨率技術來獲取更高分辨率且高清的畫面。

對于狂熱的視頻愛好者而言，這無疑是喜事一樁。

畫質的救世主？

問題來了，技術有了，什么時候才能用上呢？

終于，在2月28日這天，英偉達正式發(fā)布了531.18 WHQL驅動程序，該驅動不但為支持DLSS 3的最新游戲提供最佳優(yōu)化體驗，同時還實裝了用戶期待已久的視頻超分辨率技術。

（圖源：英偉達）

要想用上視頻超分辨率技術，我們需要準備兩樣東西。首先，是一張RTX 30/RTX 40系顯卡，目前僅有全新兩代顯卡才能使用視頻超分辨率技術，而RTX 20系顯卡支持將隨時間更新。

其次，則是v110版本或者以上的Chorme瀏覽器。目前只有Chorme瀏覽器加入了視頻超分辨率技術的支持，英偉達表示，未來使用Chormium內核的Edge瀏覽器等第三方瀏覽器都會加入支持。

接下來就簡單了，我們將驅動更新到 531.18 WHQL 版本，并在英偉達控制面板中打開視頻超分辨率選項，就可以在最新版Chrome瀏覽器中看到效果。

目前視頻超分辨率共有4檔可調，其中第1檔性能要求最低，但畫面提升就沒有那么顯著；第4檔性能要求最高，但畫面效果也最好。英偉達表示，所有RTX 30/40顯卡都可以開啟第1檔質量模式，但是只有70級及以上的高端顯卡才能播放第4檔內容，用戶可以綜合自己的需求選擇。

我們先來看看英偉達提供的官方示例，這是一段在城堡上空盤旋的無人機航拍風景視頻。

如圖所示，在開啟視頻超分辨率技術之后，原視頻中因為信息丟失而缺少立體感的墻體變得十分清晰，每塊磚頭的縫隙都清晰可見，周圍的樹葉也從糊成一塊變得區(qū)分明顯，畫面細節(jié)感強了不止一個檔次。

（左：原圖，右：VSR，圖源：英偉達）

接下來測試流媒體內容，為了盡最大可能展示超分辨率技術的性能，我們將畫面原生分辨率設置到360P，超分辨率設置為4檔，也就是它能夠接受的最低原生分辨率來展示效果。

首先是開箱視頻，如圖所示，在開啟視頻超分辨率技術后，刀身的圖像質量有了顯著提高，不但有效抑制了噪點和鋸齒的產(chǎn)生，就連刀上面刻下的署名也變得清晰許多。

（左：VSR，右：原圖，圖源：youtube）

再來看看在相對復雜的游戲視頻中的表現(xiàn)，在這份APEX的游戲錄像中，視頻超分辨率技術讓槍身上的殘彈提示和靶子上面的圖案都清晰了不少，但是高速移動時的殘影顯然無法處理。

（左：VSR，右：原圖，圖源：youtube）

考慮到整體輸入畫面只有360P，這樣的表現(xiàn)還是非常驚艷的。

當然，開啟顯卡超分辨率功能，自然會存在功耗的提升。根據(jù)外媒tomshardware測試，顯卡功耗會隨著超分辨率擋位的上升而提升，在1檔的情況下會增加4W左右的待機功耗，4檔的情況下所需功耗則會翻倍。整體來說，功耗增加情況并不明顯，但是存在功耗異常增加的情況，希望后續(xù)能夠修復。

（圖源：tomshardware）

普及仍需時日

最后，英偉達的視頻超分辨率技術有用嗎？

答案是有用的，經(jīng)過我們實際測試，在開啟視頻超分辨率技術后，碼率不足的視頻畫質明顯提升了一個檔次，不僅銳度、亮度都有了顯著提升，而且很多視頻上傳過程之中所丟失的細節(jié)也會得到補充，原本的模糊感幾乎都不見了。

（圖源：英偉達）

但是，這并不意味著視頻超分辨率就是萬能的。從目前測試的表現(xiàn)來看，這項技術可以讓畫面變得更清晰，但是并不能夠顯著提升視頻畫質，而且對于動態(tài)效果顯著的畫面也會出現(xiàn)失靈的情況。換言之，如果你的想法跟我一致，希望利用這項技術重看油管虛擬主播的打槍錄播的話，那體驗其實并不會很好。

不僅如此，受到英偉達產(chǎn)品戰(zhàn)略的影響，目前視頻超分辨率技術僅支持RTX 40系列和RTX 30系列GPU，而這兩個系列的GPU在市面上的占比僅有不到20%。換言之，目前超過80%的用戶都無法享受到該功能，即便理論上RTX 20系顯卡也能在未來通過驅動更新支持這一功能亦是如此。

好消息是，除了高貴的RTX 30、40系顯卡，根據(jù)Chorme更新的代碼顯示，其實英特爾的顯卡同樣支持這項功能。如果你擁有英特爾的核顯/獨顯，特別是Iris架構的核顯，那么不妨馬上更新Chrome瀏覽器試試，說不定就能省下一張RTX 30系列顯卡的價錢。

至于AMD ，目前是無緣了。

關鍵詞：