Desde os primórdios dos smartphones com alguns milhões de pixels até as câmeras DSLR de hoje e smartphones com dezenas de milhões ou até mesmo mais de cem milhões de pixels, a busca incessante pela qualidade de imagem perfeita impulsionou os avanços iterativos em dispositivos de imagem. Afinal, diante dos nossos próprios olhos, com seus surpreendentes 576 milhões de pixels de resolução, tudo ainda parece menos real.
O desenvolvimento de câmeras sempre contou com o apoio do ISP (Image Signal Processor) tecnologia. Para a tecnologia ISP tradicional, a captura de cenas noturnas e cenas de alto alcance dinâmico (HDR) tem sido particularmente desafiadora. Problemas como ruído, desfoque de movimento, superexposição e perda de informações com pouca luz em cenas noturnas dinâmicas não só não atendem à crescente demanda por gravação de imagens, mas também dificultam o progresso de indústrias como vigilância por vídeo e gerenciamento de tráfego.
No entanto, a tecnologia continua a quebrar barreiras, ultrapassando sempre a nossa imaginação. Embora as pessoas ainda critiquem as falhas no ISP tradicional, o rápido progresso da IA nos oferece mais possibilidades. O surgimento da tecnologia AI-ISP torna possível a geração de imagens coloridas de alta definição em condições de pouca luz. As câmeras estão fazendo a transição de "ver" para "ver claramente" e até mesmo "entender" as cenas que capturam.
A era de "True Black-light" está oficialmente chegando.
"True Blacklight", capacitando o inteligente IoT
Vamos falar sobre "True Blacklight". Com base em diferentes efeitos de visão noturna, as câmeras podem ser distinguidas por vários nomes, como luz baixa, luz das estrelas, super luz das estrelas e luz negra. Esses termos não têm um padrão unificado, mas o foco está em saber se a câmera pode manter imagens coloridas em condições de pouca luz. Geralmente, "nível de luz negra" significa que a câmera pode operar a 0,01lux ou abaixo.
Tradicionalmente, a obtenção de efeitos de luz negra envolvia o uso de sensores de grande formato, sensores de baixa resolução com tamanhos de pixel maiores, aumento do tamanho da abertura ou redução das taxas de quadros de vídeo para capturar mais informações de luz e cor à noite. No entanto, esses métodos muitas vezes resultaram em menos de 100% de saturação de cores, artefatos de movimento e aumento de custos devido a sensores e aberturas maiores, que não podiam atender totalmente às demandas da indústria.
Por outras palavras, "não se pode ter o seu bolo e comê-lo também" em ambientes extremamente escuros.
No entanto, existe uma solução com tecnologia AI-ISP que traz a verdadeira imagem colorida de luz negra para a realidade. Câmeras equipadas com AI-ISP pode alcançar restauração de cores em tempo real a menos de 0,01Lux sem a necessidade de luz branca ou iluminação infravermelha. A saturação de cores permanece em ou acima de 100%, e os objetos em movimento aparecem sem problemas significativos de rastro, fantasma ou perspetiva. De acordo com especialistas, somente atendendo aos seguintes seis elementos-chave pode ser chamado de "True Blacklight" e realmente ajudar os usuários a alcançar um melhor desempenho de vídeo em cenários extremamente escuros.
!["AI-ISP_six_key_elements.jpg"]("/uploads/image/20230728/AI-ISP_six_key_elements.jpg" "\"AI-ISP_six_key_elements.jpg\"")
Graças ao avanço do "True Blacklight", as cidades inteligentes e a IoT inteligente expandiram seus cenários de aplicação. Em ambientes extremamente escuros, como cruzamentos, montanhas, lagoas e fazendas, o brilho do vídeo pode ser aprimorado sem sacrificar a qualidade da imagem, permitindo que as câmeras capturem vídeos coloridos bem estruturados e restaurados com precisão. Além disso, esta tecnologia alcança efeitos de vídeo de cena completa, fornecendo uma análise inteligente mais precisa em locais como lagoas e terras agrícolas onde a iluminação suplementar não é viável.
módulos chave habilitados para IA, otimizados para borda - maximizando o desempenho
AI-ISP
ISP significa Image Signal Processor, responsável por converter sinais de sensores de imagem em informações reconhecíveis para humanos e máquinas. Desempenha um papel crucial na qualidade da imagem. Em uma analogia humana, o ISP funciona como o cérebro do sistema de imagem, processando, aprimorando e melhorando as imagens coletadas do sensor de lente para oferecer uma qualidade de imagem verdadeira ou até melhor.
O ISP tradicional pega a saída de dados brutos dos sensores CIS e a converte em dados YUV legíveis por humanos seguindo uma sequência de pipeline específica. O processamento de imagens no ISP tradicional baseia-se na modelagem matemática e na compreensão ingênua das imagens por parte do ser humano. Em contraste, o AI-ISP, um conceito tecnológico recente, baseia-se no pipeline tradicional do ISP, mas supera suas limitações usando redes neurais de IA. Ao simular o cérebro humano com parâmetros mais ricos e estabelecer modelos mais complexos, o AI-ISP ultrapassa o teto do ISP tradicional, alcançando uma qualidade de imagem superior.
Atualmente, o AI-ISP capacita os quatro módulos críticos no pipeline do ISP — HDR, 3DNR, RLTM e Demosaic — melhorando continuamente seu desempenho por meio de treinamento de IA. Este avanço no AI-ISP quebra as limitações da imagem tradicional do ISP.
A razão para escolher a IA-capacitar os módulos principais é que o poder de computação do lado da borda é muitas vezes limitado. Considerando a implantação prática com preocupações sobre consumo de energia e custos, a aplicação do processamento de IA a todo o pipeline não é viável. O AI-ISP, em essência, está mais próximo da verdadeira produtização, pois foca a IA nas funcionalidades mais críticas e visualmente discerníveis, fazendo o melhor uso do poder de computação limitado para um desempenho ideal de AI-ISP.
Portanto, em aplicações práticas, o AI-ISP pode melhorar o desempenho iterando modelos visuais, facilitando atualizações rápidas de produtos de chip em termos de qualidade de imagem. Isso significa que um único chip pode cobrir diferentes cenários e mercados, reduzindo os custos gerais de aplicação de IA e aumentando significativamente a produtividade.
Atualmente, não estamos apenas continuando a otimizar e iterar os algoritmos de IA relacionados a HDR, 3DNR, RLTM e Demosaic, mas também explorando o empoderamento de IA de outros módulos no pipeline tradicional de ISP. Além disso, para atender aos requisitos de alto poder de computação do AI-ISP, também desenvolvemos de forma independente uma NPU de precisão mista, acelerando ainda mais a eficiência do desenvolvimento e implementação de IA.
Em relação à relação entre AI-ISP e "True Black Light", os especialistas apontam que, na era da luz negra de 0,01 lux, simplesmente melhorar as lentes e sensores não pode resolver as questões fundamentais. Os ISPs tradicionais são incapazes de atender às demandas de avanço tecnológico para luz negra, levando a várias abordagens enganosas, como redução da taxa de quadros e aumento da iluminação suplementar. Eles acreditam que uma câmera colorida de luz preta verdadeira qualificada deve garantir o desempenho em tempo real (25-30) fps sem a necessidade de iluminação suplementar em cenários de 0,01 lux, distinguir com precisão objetos em movimento e reproduzir fielmente as cores. Esta é precisamente a vantagem distintiva do AI-ISP.
Na verdade, foi em 2020 que o AI-ISP entrou oficialmente no mercado, levando ao rápido desenvolvimento da nova categoria de "True Black Light Full-Color Cameras."
Como podemos ver, com a crescente demanda por maior qualidade de imagem em cenários extremos, como pouca luz, alta dinâmica e poluição luminosa, o AI-ISP está se tornando cada vez mais crucial no campo da imagem visual de inteligência artificial. Ao abordar de forma inovadora os principais pontos problemáticos da indústria relacionados à pouca luz e alta dinâmica, a AI-ISP criou novas categorias de produtos, como a True Black Light Full-Color Camera, abrindo novas possibilidades visuais para as pessoas. No futuro, pode até levar-nos a uma nova era de imagiologia.
