傳統(tǒng)AI相機(jī)拍照方案：各家思路不同，缺乏統(tǒng)一的標(biāo)準(zhǔn)

在此之前我們先來(lái)看看傳統(tǒng)智能手機(jī)在拍照上的一些思路。目前為了實(shí)現(xiàn)拍照的畫(huà)質(zhì)提升，不少手機(jī)廠商都會(huì)加入所謂的多重拍攝、場(chǎng)景自動(dòng)識(shí)別等，希望能以算法來(lái)加強(qiáng)成像質(zhì)量。通俗地說(shuō)，就是手機(jī)在拍照時(shí)，會(huì)默認(rèn)拍攝很多張照片，然后從多張照片中進(jìn)行畫(huà)質(zhì)、色彩、噪點(diǎn)的計(jì)算以及位置的篩選，然后將有瑕疵的部分用沒(méi)有瑕疵的那一幀進(jìn)行位置替換，經(jīng)過(guò)反復(fù)加權(quán)、替換，就得到一張相對(duì)干凈的照片。

這種智能合成的處理方式固然能對(duì)畫(huà)質(zhì)質(zhì)量起到一定的增強(qiáng)，但其實(shí)最終成像的照片是由多個(gè)幀數(shù)的圖像合成的，所以很可能會(huì)因?yàn)槭謾C(jī)的拍照素質(zhì)不同、算法不同，且拍照?qǐng)鼍暗囊蛉硕?，?dǎo)致AI成像的效果天差地別。所以雖然每家都在談AI相機(jī)，但其實(shí)是“各掃門(mén)前雪”，很難有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。從目前來(lái)看，AI相機(jī)的基本硬條件至少需要一個(gè)大尺寸的鏡頭傳感器，畢竟傳感器大小決定了有多少光被捕捉。

常見(jiàn)幾款智能手機(jī)的攝像頭傳感器。

前幾年手機(jī)鏡頭的傳感器基本上都還是是IMX363、IMX380等，所以大家的表現(xiàn)相差無(wú)幾。而這幾年更新到IMX519、IMX586、IMX600等系列后，成像素質(zhì)得到明顯提升，而這背后其實(shí)就是來(lái)自于傳感器自身的不斷進(jìn)化，所以拋開(kāi)傳感器來(lái)談AI相機(jī)并不現(xiàn)實(shí)，從行業(yè)知名DxOMark圖像實(shí)驗(yàn)室這兩年發(fā)布的數(shù)據(jù)來(lái)看，要達(dá)到真AI相機(jī)的效果，其傳感器的尺寸至少要1/2.3以上，像素大小滿(mǎn)足1.55um以上(基本是要以IMX380為標(biāo)準(zhǔn))，目前能滿(mǎn)足的產(chǎn)品其實(shí)并不多，例如華為P20 Pro、榮耀V20、小米MIX3等幾大當(dāng)紅產(chǎn)品，所以未來(lái)的真AI相機(jī)其實(shí)在一定程度上將會(huì)推動(dòng)智能手機(jī)的拍照硬件提升。

AI圖形增強(qiáng)，強(qiáng)大算力和智能算法在拍照上的智能應(yīng)用

不過(guò)由于相機(jī)傳感器本質(zhì)上也如同CPU般，同樣面臨硬件能力增長(zhǎng)匱乏的問(wèn)題，所以不斷升級(jí)傳感器來(lái)增強(qiáng)拍照并不是一個(gè)切實(shí)可行的方式。而在目前AI算力大幅提升的環(huán)境下，使用AI進(jìn)行圖形智能化增強(qiáng)，在結(jié)合深度學(xué)習(xí)和大數(shù)據(jù)，其效果已經(jīng)比傳統(tǒng)的傳感器甚至是ISP/DSP優(yōu)化更加出色，而這也就是聯(lián)發(fā)科P90的真AI相機(jī)的思路。

諸多數(shù)據(jù)顯示，聯(lián)發(fā)科P90的AI運(yùn)算性能已經(jīng)高達(dá)1165 GMACs (每秒可執(zhí)行11270億次定點(diǎn)乘累加運(yùn)算)，蘇黎世跑分25645分，大大超越了同級(jí)別的7納米競(jìng)爭(zhēng)對(duì)手。而憑借聯(lián)發(fā)科P90的APU 2.0強(qiáng)大算力，用戶(hù)在暗光環(huán)境下拍攝照片時(shí)產(chǎn)生的畫(huà)面偏暗、噪點(diǎn)多等問(wèn)題，都可以通過(guò)人工智能學(xué)習(xí)模仿高畫(huà)質(zhì)數(shù)碼相機(jī)的成像特性，通過(guò)算法將周遭環(huán)境噪點(diǎn)進(jìn)行覆蓋，提升背景光特征，實(shí)現(xiàn)了類(lèi)似傳統(tǒng)相機(jī)ISO降2-3檔的效果，在抓拍畫(huà)質(zhì)上藉由3毫秒水準(zhǔn)的曝光時(shí)間，最大限度的保留了原有的細(xì)節(jié)紋理和畫(huà)面純凈度，使畫(huà)面品質(zhì)得到整體提升。

目前相機(jī)在ISP、DSP和AI人工智能上的共同協(xié)作算法。

所以未來(lái)當(dāng)你使用helio P90的手機(jī)進(jìn)行夜間拍照時(shí)，AI會(huì)預(yù)先分析背景的物體和光線，顯示鎖定拍照主體來(lái)保證整體效果，緊接著開(kāi)啟AI對(duì)畫(huà)面噪點(diǎn)和明暗度的調(diào)整，在你點(diǎn)擊拍照的同時(shí)，實(shí)際上系統(tǒng)已經(jīng)預(yù)先完成了大量的畫(huà)面計(jì)算和噪點(diǎn)分析，并進(jìn)行智能化像素補(bǔ)充，實(shí)現(xiàn)AI降噪的過(guò)程。當(dāng)然同樣的還有夜間抓拍，AI會(huì)輔助進(jìn)行多張圖片的拍攝，從而分析動(dòng)作、畫(huà)面明亮度、陰暗細(xì)節(jié)等，自動(dòng)補(bǔ)充合成為一張最穩(wěn)定和純凈的動(dòng)作抓拍，強(qiáng)有力的AI算力顯然在背后提供了強(qiáng)有力的支撐，而這也進(jìn)一步要求未來(lái)具備“真AI相機(jī)”屬性的設(shè)備至少要在蘇黎世AI跑分的第一梯隊(duì)，即AI算力要大于21000分。(目前麒麟980、高通855均在這一分?jǐn)?shù)之上)

圖形信號(hào)處理器的進(jìn)化：多核ISP成趨勢(shì)

目業(yè)內(nèi)對(duì)照片后期優(yōu)化的做法大部分是通過(guò)ISP(圖像信號(hào)處理器)和DSP(數(shù)字信號(hào)處理器)以及軟件算法的多方配合形式來(lái)實(shí)現(xiàn)，其中ISP主要就是針對(duì)曝光、白平衡、色彩校正等進(jìn)行矯正處理，而在ISP在處理完數(shù)據(jù)后，會(huì)將其轉(zhuǎn)交給DSP進(jìn)行圖形計(jì)算負(fù)載，這里就包括針對(duì)圖形部分的增強(qiáng)處理，例如強(qiáng)化暗部細(xì)節(jié)、圖片合并執(zhí)行等，可以接管原本屬于CPU或GPU處理的工作，并降低功耗。

相機(jī)的常見(jiàn)標(biāo)準(zhǔn)作業(yè)流程，ISP在其中扮演了相當(dāng)重要的角色。

有了AI的特殊加持外，多核ISP也是真AI相機(jī)的一個(gè)趨勢(shì)。例如目前聯(lián)發(fā)科Helio P90就首創(chuàng)三核ISP技術(shù)和雙核APU技術(shù)，可同時(shí)開(kāi)啟三顆ISP，實(shí)現(xiàn)最高4800萬(wàn)像素廣角+1600萬(wàn)像素超廣角+800萬(wàn)像素變焦三顆攝像頭的搭配配置，并進(jìn)行三焦段光學(xué)變焦的無(wú)縫切換，而多項(xiàng)技術(shù)的堆疊，也讓P90大幅提升了夜間降噪的技術(shù)，例如Helio P90 可以使信噪比提升 25%，大大增強(qiáng)了出片質(zhì)量。

目前消費(fèi)者已經(jīng)愈發(fā)看中AI相機(jī)的具體實(shí)際表現(xiàn)，而聯(lián)發(fā)科P90的“真AI相機(jī)”理念實(shí)際上給行業(yè)提供了一個(gè)好思路，即傳感器、AI算力和ISP三者缺一不可。我們大膽猜測(cè)，明年即將興起的4800萬(wàn)超高清攝像頭，就很有可能會(huì)配合聯(lián)發(fā)科Helio P90的真AI相機(jī)技術(shù)，掀起一輪拍照畫(huà)質(zhì)提升的革命，而未來(lái)真AI相機(jī)也勢(shì)必成為智能手機(jī)梯隊(duì)階層的分水嶺。