ISP技術(shù)是一種攝像機(jī)的技術(shù),是按照人眼視覺的要求對攝像機(jī)拍攝到的數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理的一種技術(shù)。目標(biāo)是使視頻或圖片適于人眼觀看。一般包含很多的功能模塊,每個模塊都會針對原始數(shù)據(jù)的一種問題進(jìn)行相應(yīng)的調(diào)節(jié),像降噪模塊可以減少噪聲的干擾,顏色調(diào)節(jié)模塊可以使圖像的顏色更加真實自然等。近些年隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步和高清攝像機(jī)的發(fā)展,人們對攝像機(jī)的圖像質(zhì)量要求不斷提高,ISP技術(shù)也在相應(yīng)的發(fā)展進(jìn)步。
圖像質(zhì)量的重要性
客戶對圖像質(zhì)量的要求提高,要求看的更清晰、看的更廣并且看的更多。
模擬時代的視頻分辨率不足,客戶不得不受限于霧里看花般的視覺效果。現(xiàn)在隨著百萬像素的高清攝像機(jī)不斷普及,客戶希望能看到更多的圖像細(xì)節(jié)、更大的視野以及更多的顏色、亮度信息。
首先,現(xiàn)在的攝像機(jī)必須包含豐富的細(xì)節(jié),要能清楚的分辨出人臉、車牌等物體,這就要求ISP技術(shù)不斷挑戰(zhàn)分辨率極限。同時在國內(nèi)外攝像機(jī)評測中清晰度測試也是重要的一個環(huán)節(jié),這也從另一個方面說明了清晰度的重要性。這就要求廠家不斷改進(jìn)Debayer、降噪和邊緣增強(qiáng)等算法模塊以及這些模塊之前的配合方式以提升攝像機(jī)的整體清晰度。
其次,現(xiàn)在的攝像機(jī)必須有更廣闊的視野,客戶希望在一臺攝像機(jī)實現(xiàn)原先多臺攝像機(jī)的監(jiān)控效果,為了實現(xiàn)這一點(diǎn),攝像機(jī)廠家有時會使用更廣角的鏡頭甚至是魚眼鏡頭。這種廣角鏡頭確實能有更廣闊的視野,但不可避免的會帶來邊緣圖像的畸變,這又對ISP技術(shù)提出了新的要求——能夠支持鏡頭畸變的校正或者魚眼鏡頭的校正。
再者,現(xiàn)在的攝像機(jī)必須能夠看的更多,ISP技術(shù)必須通過改進(jìn)技術(shù)提高在各種場景下的適應(yīng)性。例如在超低照度下也要能夠顯示盡可能多的亮度/顏色信息,這就要求ISP技術(shù)通過二維降噪、三維降噪和低照度拉伸等技術(shù)提升圖像的信噪比,在超低照度下也能提供給客戶足夠多的信息。再比如在一些門口機(jī)或者樓宇監(jiān)控中,經(jīng)常會碰到寬動態(tài)場景,動態(tài)范圍很大,一般的普通相機(jī)無法同時拍攝到暗處和亮處的細(xì)節(jié),這就要求ISP寬動態(tài)功能模塊并提升寬動態(tài)的動態(tài)范圍。
數(shù)據(jù)處理需求增加 ISP需要處理的數(shù)據(jù)量急劇增加,復(fù)雜度也隨之增加。進(jìn)入高清時代以來,攝像機(jī)的像素數(shù)目和視頻的實時性都在不斷提升,百萬像素已經(jīng)成為基本配置,千萬像素的攝像機(jī)也可以在市場上找到。同時客戶對視頻的實時性要求也越來越高,一般都要求每秒達(dá)到30幀、60幀甚至120幀。更多的像素乘以更多的幀數(shù),這就使得ISP系統(tǒng)需要處理的數(shù)據(jù)量急劇增加,這都需要ISP技術(shù)的數(shù)據(jù)處理能力不斷提高。
各廠家用于實現(xiàn)ISP的硬件一般有的DSP、ASIC架構(gòu)或者FPGA芯片,這些方法有各自的優(yōu)缺點(diǎn),但在處理的數(shù)據(jù)量急劇增長的情況下復(fù)雜度都明顯提高。如何在復(fù)雜度提高的同時控制硬件成本、功耗和體積成為了這些廠家的技術(shù)難點(diǎn),使得可以自制ISP系統(tǒng)的廠家明顯減少。
提升ISP功能
ISP的附加功能已經(jīng)不足以成為項目的控標(biāo)點(diǎn),各廠商普遍具備。
兩年前一些大的廠家還可以使用特殊的ISP技術(shù),例如寬動態(tài)、三維降噪、去霧、防抖或者強(qiáng)光抑制這種功能來進(jìn)行重大項目的控標(biāo),使得小廠家無法加入項目的競爭。但現(xiàn)在這些功能已經(jīng)不足以成為控標(biāo)點(diǎn),大多數(shù)廠家都已經(jīng)具備了這些功能。
下一步要想在項目中取得,各廠家就必須要提升這些ISP功能的效果。例如要求寬動態(tài)對比中不僅僅對比普通寬動態(tài)場景的效果,還需要對比極限的寬動態(tài)范圍、亮部和暗部的細(xì)節(jié)差異以及顏色是否真實自然等。再比如三維降噪功能不能再滿足于對比是否有此功能,更要對比極低照度下的噪聲效果和動態(tài)場景的運(yùn)動模糊等。
信噪比與碼流壓縮率
信噪比和碼流壓縮率zui為關(guān)鍵。在攝像機(jī)技術(shù)中,具有決定意義的的指標(biāo)還是要提高信噪比和碼流的壓縮率,ISP技術(shù)也必須持續(xù)不斷的在這兩個方面進(jìn)行改進(jìn)。
信噪比是客戶獲取到的有用信息與無用噪聲的比值,是攝像機(jī)信息獲取效率zui直接的衡量,從模擬攝像機(jī)時代起這個參數(shù)就是攝像機(jī)zui重要的指標(biāo)之一。近些年來攝像機(jī)的信噪比獲得了巨大的提升,其中大部分是感光元器件廠家的功勞。ISP技術(shù)在其中也做出了一定貢獻(xiàn),例如更好的Debayer算法以及更好三維降噪算法,都明顯的提升了攝像機(jī)的信噪比,為我們帶來了更多的細(xì)節(jié)和更少的噪聲。
而碼流壓縮率也是客戶十分渴望能有所提升的指標(biāo),它對于網(wǎng)絡(luò)傳輸和存儲性能有著巨大的意義。近些年來編解碼標(biāo)準(zhǔn)的改進(jìn)對碼流壓縮率的非常巨大,從已經(jīng)過時的H.263到zui近主流的H.264,到即將普及的H.265,每次編解碼規(guī)范的改進(jìn)都為我們降低了一半的碼流。這意味著原先只能傳輸標(biāo)清視頻的網(wǎng)絡(luò)在沒有硬件改動的情況下可以傳輸高清視頻了,也意味著原先只能存儲一個月的存儲設(shè)備可以存儲兩個月了。通過改進(jìn)降噪算法、增強(qiáng)算法等,ISP也可以在不損失畫質(zhì)的情況下使碼流更低。
結(jié)語
ISP技術(shù)是繼編解碼技術(shù)后的又一個技術(shù)密集型模塊,各個芯片廠家和攝像機(jī)廠家都在進(jìn)行激烈的競爭。誰能夠提供更好的畫質(zhì)并為客戶提供更好的圖像處理功能,誰才能夠在市場中占得一線先機(jī)。