A Adobe continua aprimorando o Firefly, sua plataforma de IA generativa, com atualizações significativas quase mensais desde o seu redesenho em abril. O foco mais recente está em aprimorar os recursos de vídeo, tornando mais fácil a adição de efeitos sonoros personalizados aos clipes gerados por inteligência artificial.
Tradicionalmente, os modelos de vídeo de IA produzem imagens sem áudio. A Adobe resolveu essa limitação com uma ferramenta inovadora que permite aos usuários descrever o efeito sonoro desejado e, em seguida, gravá-lo. O sistema analisa a gravação não para imitá-la diretamente, mas para entender a intensidade e o ritmo pretendidos pelo usuário. Em uma demonstração, um funcionário da Adobe adicionou o som de um zíper abrindo, imitando o som “zzzztttt”. O modelo reproduziu o efeito com volume apropriado. A ferramenta também oferece um editor de linha do tempo para facilitar o ajuste preciso do áudio.
Além da geração de efeitos sonoros, a Adobe introduziu novos recursos como Composition Reference, Keyframe Cropping e Video Presets. O Composition Reference permite que os usuários carreguem um vídeo ou imagem para guiar o processo de geração. Em combinação com o Video Presets, é possível definir o estilo do resultado final, com opções como anime, preto e branco ou arte vetorial. O Keyframe Cropping permite que os usuários carreguem o primeiro e o último quadro de um vídeo, selecionem uma proporção e o Firefly gerará um vídeo que permaneça dentro do formato desejado. Outra novidade é a inclusão do Veo 3 do Google, um dos poucos modelos de IA que consegue gerar vídeo com som, dentro da plataforma Firefly. A Adobe garante que os dados dos usuários não serão utilizados para o treinamento de modelos futuros de terceiros e que cada imagem e vídeo criado no Firefly é assinado digitalmente com o modelo utilizado, evitando problemas de direitos autorais.
Origem: Link