O processador de sinal de imagem (ISP, na sigla em inglês) combina hardware e software para transformar em imagem os dados vindos do sensor da câmera digital. O ISP calcula a cor e brilho de cada pixel, aumenta a nitidez, e busca gerar a maior qualidade de imagem em celulares, câmeras mirrorless e DSLR, drones e mais aparelhos.
O ISP pode ser um chip separado, ficar integrado ao sensor de imagem ou vir incorporado no SoC de um celular, como fazem a Qualcomm e a Apple. Celulares com mais de uma câmera geralmente têm mais de um ISP. Os processadores de imagem podem atuar juntos para ajustar a profundidade de campo, capturar cores mais ricas e fazer zoom óptico.
Índice
- Como funciona o processador de sinal de imagem?
- Quais são as atribuições do processador ISP?
- Gerenciamento de cores
- Redução de ruído
- Aumento de nitidez
- Foco automático
- Correção de lentes
- Quais são as principais fabricantes de processadores ISPs?
Como funciona o processador de sinal de imagem?
O processador de sinal de imagem obtém a cor de cada pixel, e compara esses valores com as informações dos pixels vizinhos. Então, um algoritmo calcula a cor correta de cada pixel através da interpolação cromática (demosaicing).
O ISP também analisa a foto como um todo para determinar o brilho e contraste corretos, conforme explica Urs Tillmanns, especialista austríaco em fotografia.
Após a entrada da luz pela objetiva da câmera, sensores de imagem usam um filtro de cores para que cada pixel receba somente uma tonalidade. No caso de sensores CMOS, o filtro Bayer é o mais comum, deixando passar somente as cores RGB (vermelho, verde e azul).
O sensor converte as luzes de cada cor em sinais elétricos, que são enviados ao processador ISP. A câmera também pode trazer um DSP (processador de sinal digital) para auxiliar durante a captura de fotos e vídeos, reduzindo o ruído da imagem e melhorando a profundidade de cor.
Quais são as atribuições do processador ISP?
O ISP reconstrói a cor, brilho e contraste de uma cena usando os dados fornecidos pelo sensor de imagem. Ele também faz a redução de ruído, correção de lente, foco, entre outros.
A autonomia do ISP varia de acordo com a fabricante da câmera ou do smartphone. Por exemplo, a Apple prioriza ajustes de forma automática, enquanto celulares Android oferecem mais liberdade ao usuário com o modo Pro.
Gerenciamento de cores
O processador de sinal de imagem detecta a iluminação ambiente para definir como as cores serão reproduzidas na foto. Há quatro componentes principais:
- Balanço de branco automático (AWB): ajusta a tonalidade das cores com base no branco definido como padrão;
- Exposição automática (AE): ajusta o brilho e contraste controlando a abertura, velocidade do obturador e ISO;
- Gamma correction: ajusta a intensidade da luz nas partes mais claras e escuras da imagem;
- Mapeamento de tons (tone mapping): gera imagens HDR ao expandir a faixa dinâmica da foto.
Redução de ruído
O processador de imagem remove o ruído vindo do sensor. O ISP ajusta os pixels cuja cor e brilho sejam muito diferentes dos outros pixels ao redor. O ruído cromático está relacionado à cor; o ruído luminoso envolve o brilho.
A quantidade de ruído geralmente é maior com valores ISO mais altos, tempos de exposição mais longos, e temperaturas ambientes mais altas. O trabalho do ISP pode ser difícil em áreas com detalhes muito finos: se eles forem tratados como ruído pelo processador, a imagem perde em definição e textura.
Aumento de nitidez
O ISP usa algoritmos para suavizar as bordas e os contornos dos objetos, deixando a imagem mais nítida e detalhada. O processador faz a interpolação para calcular os valores de cor e brilho de cada pixel, e suaviza a imagem para compensar quaisquer desvios de cor em pixels individuais.
Algumas câmeras também fazem pixel binning, tratando pixels adjacentes como um só, para maior nitidez. O ISP pode afetar a qualidade da foto, dependendo de sua capacidade em reconhecer as bordas dos objetos, e em remover artefatos indesejados.
Foco automático
O ISP realiza o foco automático (AF) da imagem, seja por contraste ou por detecção de fase. No AF por contraste, ele calcula o foco ao obter o maior contraste de cores por meio de tentativa e erro. No AF por detecção de fase, ele mede a distância do objeto usando dados do sensor de profundidade, e ajusta o foco com precisão.
O ISP também pode incluir a função de EIS (estabilização óptica de imagem), que usa o giroscópio para reduzir vibrações em vídeos.
Correção de lentes
O processador ISP corrige problemas que podem surgir devido a uma lente pequena ou sensor de imagem compacto, tais como:
- aberração cromática: distorção de cores que gera um contorno nas bordas de objetos;
- distorção geométrica: diferença em relação à geometria do objeto real, causada pela curvatura da lente, distância focal ou ângulo da foto;
- vinhetagem: escurecimento das bordas da foto;
- shading: redução gradual do brilho, indo do centro até as bordas.
Essas distorções podem ser corrigidas com a ajuda de inteligência artificial e aprendizado de máquina, como mencionam estudos publicados pela IEEE e pela Springer.
Quais são as principais fabricantes de processadores ISPs?
Estas são as principais fabricantes de ISPs, de acordo com a consultoria Precision Reports:
- Qualcomm
- Samsung
- Arm
- Fujitsu
- STMicroelectronics
- OmniVision Technologies
- Renesas Electronics
- THine Electronics
- NXP Semiconductors
Estes são os principais ISPs de câmeras mirrorless e DSLR:
- Canon Digic
- Nikon Expeed
- Olympus TruePic
- Panasonic Venus Engine
- Pentax Prime
- Sigma True
- Sony Bionz
Os processadores de imagem são usados em celulares (setor no qual os ISPs vêm ganhando mais destaque com a evolução da fotografia computacional), na indústria automotiva, em câmeras de segurança. O mercado de ISPs deve movimentar US$ 4,3 bilhões em 2024, de acordo com a consultoria Yole Intelligence.