A NVIDIA Enterprise anuncia a plataforma NVIDIA Maxine, que fornece aos desenvolvedores um pacote baseado em nuvem de software de videoconferência com IA acelerado por GPU para aprimorar o streaming de vídeo – a principal fonte de tráfego da Internet.
NVIDIA Maxine é uma plataforma de IA de streaming de vídeo nativa da nuvem que possibilita aos provedores de serviços trazer novos recursos alimentados por IA para mais de 30 milhões de reuniões na web, estimadas para ocorrer todos os dias. Os provedores de serviços de videoconferência que executam a plataforma em GPUs NVIDIA na nuvem podem oferecer aos usuários novos efeitos de IA – incluindo correção de olhar, super-resolução, cancelamento de ruído, re-iluminação facial e muito mais.
Como os dados são processados na nuvem, e não em dispositivos locais, os usuários finais podem aproveitar os novos recursos sem nenhum hardware especializado.
“A videoconferência agora faz parte da vida cotidiana, ajudando milhões de pessoas a trabalhar, aprender e se divertir, e até mesmo a ver o médico”, conta Ian Buck, vice-presidente e gerente geral de computação acelerada da NVIDIA. “NVIDIA Maxine integra nossos recursos mais avançados de vídeo, áudio e IA de conversação para trazer eficiência inovadora e novos recursos para as plataformas que estão nos mantendo todos conectados.”
Eficiência inovadora de IA reduz largura de banda para aumentar a qualidade das chamadas
A plataforma NVIDIA Maxine reduz drasticamente a quantidade de largura de banda necessária para chamadas de vídeo. Em vez de transmitir a tela inteira de pixels, o software de IA analisa os principais pontos faciais de cada pessoa em uma chamada e, em seguida, reanima de forma inteligente o rosto no vídeo do outro lado. Isso possibilita o streaming de vídeo com muito menos dados fluindo de um lado para outro na Internet.
Usando esta nova tecnologia de compressão de vídeo, baseada em IA em execução em GPUs NVIDIA, os desenvolvedores podem reduzir o consumo de largura de banda de vídeo em um décimo dos requisitos do padrão de compressão de streaming de vídeo H.264. Isso diminui custos para os provedores e oferece uma experiência de videoconferência mais suave para os usuários finais, que podem desfrutar de mais serviços baseados em IA enquanto transmitem menos dados em seus computadores, tablets e telefones.
Os recursos de IA melhoram as experiências de videoconferência
Os novos avanços dos pesquisadores da NVIDIA, que serão incluídos no Maxine, tornam a videoconferência mais parecida com uma conversa cara a cara. Os provedores de serviços de videoconferência poderão tirar proveito da pesquisa da NVIDIA em GANs ou redes adversárias geradoras para oferecer uma variedade de novos recursos.
Por exemplo, o alinhamento de rosto permite que as faces sejam ajustadas automaticamente para que as pessoas pareçam estar de frente uma para a outra durante uma chamada, enquanto a correção do olhar ajuda a simular o contato visual, mesmo se a câmera não estiver alinhada com a tela do usuário. Com a videoconferência crescendo 10 vezes mais desde o início do ano, esses recursos ajudam as pessoas a se manterem envolvidas na conversa, em vez de olhar para a câmera.
Os desenvolvedores também podem adicionar recursos que permitem aos participantes da chamada escolherem seus próprios avatares animados com animação realista automaticamente orientada por sua voz e tom emocional em tempo real. Uma opção de quadro automático permite que o feed de vídeo siga o locutor, mesmo que ele se afaste da tela.
Usando recursos de IA de conversação com o NVIDIA Jarvis SDK, os desenvolvedores podem integrar assistentes virtuais que usam modelos de linguagem de IA de última geração para reconhecimento de fala, compreensão de linguagem e geração de fala. Os assistentes virtuais podem fazer anotações, definir itens de ação e responder a perguntas em vozes humanas. Serviços adicionais de IA de conversação, como traduções, legendas ocultas e transcrições, ajudam a garantir que os participantes entendam o que está sendo discutido na chamada.
Arquitetura nativa da nuvem oferece economia e IA em escala
A demanda por videoconferência em um determinado momento pode ser difícil de prever, com centenas ou mesmo milhares de usuários tentando entrar na mesma chamada. NVIDIA Maxine tira proveito de microsserviços de IA em execução em clusters de contêiner Kubernetes em GPUs NVIDIA para ajudar os desenvolvedores a dimensionar seus serviços de acordo com as demandas em tempo real. Os usuários podem executar vários recursos de IA simultaneamente, permanecendo dentro dos requisitos de latência do aplicativo.
Os provedores de serviços de videoconferência podem usar o Maxine para fornecer recursos avançados de IA para centenas de milhares de usuários, executando cargas de trabalho de inferência de IA em GPUs NVIDIA na nuvem. O design modular da plataforma Maxine permite que os desenvolvedores selecionem facilmente os recursos de IA para integrar em suas soluções de videoconferência.
All-Star suite de ferramentas de desenvolvedor de IA da NVIDIA
A plataforma Maxine integra tecnologia de vários SDKs de IA e APIs da NVIDIA Enterprise. Além do NVIDIA Jarvis, a plataforma Maxine aproveita o SDK de streaming de áudio e vídeo de alto rendimento NVIDIA DeepStream e o SDK do NVIDIA TensorRT™ para inferência de alto desempenho de deep learning.
Os recursos de áudio, vídeo e linguagem natural de IA, fornecidos nos SDKs da NVIDIA e usados na plataforma Maxine, foram desenvolvidos por centenas de milhares de horas de treinamento em sistemas NVIDIA DGX™, a plataforma líder mundial para cargas de trabalho de treinamento, inferência e ciência de dados.
Disponibilidade
Desenvolvedores de IA de visão computacional, parceiros de software, startups e fabricantes de computadores – que criam aplicativos e serviços de áudio e vídeo – podem se inscrever para acesso antecipado à plataforma NVIDIA Maxine.