蘋果研究團隊攜手香港大學，共同推出了一項名為LGTM的革命性3D渲染框架，為虛擬現(xiàn)實領域帶來了新的突破。這一創(chuàng)新成果旨在解決現(xiàn)有技術在處理高分辨率3D場景時面臨的算力瓶頸問題。
傳統(tǒng)的前饋3D高斯?jié)姙R技術雖然能夠快速將2D圖像轉(zhuǎn)化為可多角度觀看的3D場景，但在處理4K及以上分辨率時，算力需求會隨像素數(shù)量呈指數(shù)級增長，導致設備性能難以承受。針對這一難題，LGTM框架通過解耦幾何結(jié)構(gòu)與表面紋理，實現(xiàn)了在保持簡單幾何形狀的同時，疊加多層紋理以達成超高清畫質(zhì)。
研究團隊采用分階段處理策略：首先利用低分辨率圖像訓練模型掌握場景結(jié)構(gòu)，確保幾何框架在2K或4K渲染下保持穩(wěn)定；隨后通過獨立網(wǎng)絡處理外觀細節(jié)，將高分辨率紋理精準映射到基礎結(jié)構(gòu)上。這種分工模式顯著降低了全鏈路計算負荷，有效避免了算力浪費。
對于蘋果Vision Pro用戶而言，這項技術具有重要現(xiàn)實意義。該頭顯雙眼屏幕總像素達2300萬，單眼分辨率超過4K電視標準?，F(xiàn)有渲染方案在此類高密度顯示設備上常出現(xiàn)卡頓或模糊現(xiàn)象，而LGTM框架通過優(yōu)化算力分配，有望帶來更流暢的沉浸式體驗。實際測試表明，應用該技術后生成的3D場景在紋理細節(jié)和文字清晰度方面均有顯著提升，視覺效果接近原始圖像質(zhì)量。
