O Gemini Live do iOS poderá “enxergar” usando a câmera do aparelho ou o compartilhamento de tela, assim como já acontece com o app para Android. Assim, o usuário poderá fazer perguntas sobre o que está ao seu redor.
Além disso, a busca do Google terá acesso a esses recursos no chamado Modo IA, que responde perguntas complexas feitas diretamente na barra de pesquisa. Neste caso, o lançamento vai demorar um pouco mais: segundo a empresa, o recurso chega no fim do terceiro trimestre e será disponibilizado apenas como beta no Labs.
Em todos esses casos, o recurso estará disponível gratuitamente, e não mais apenas para assinantes do Gemini Advanced.
Como funcionam as ferramentas visuais do Gemini Live?
No Android e no iOS, ao abrir o app do Gemini, o usuário deve tocar no ícone do Live, que fica no canto inferior direito, ao lado da caixa de texto. O reconhecimento de voz será ativado, e o usuário pode tocar nos ícones de câmera ou compartilhamento de tela.
Usuários do Android também podem acessar a IA visual a partir do atalho do assistente no sistema — ele varia de acordo com o fabricante, podendo ser um botão dedicado ou ao segurar a tecla de bloquear a tela, por exemplo.
Por fim, no Modo IA da busca, quando o recurso estiver liberado, ele ficará ao lado do ícone do Google Lens.
Daí em diante, é possível conversar com a IA e incluir imagens em tempo real nos assuntos do bate-papo. As possibilidades são bastante amplas: dicas para consertar aparelhos quebrados, sugestões de receitas com o que está na geladeira e ajuda para construir um projeto de ciências.
Em um dos exemplos, o usuário mostra um ambiente de sua casa e pede dicas de decoração. Em outro, a pessoa usa o compartilhamento de tela para que o assistente analise uma calça que está à venda em uma loja online e dê dicas de roupas para combinar.
O Google também promete que o Gemini Live — seja por voz, seja por vídeo — vai se integrar com outros serviços da empresa, como a Agenda, o Maps e o Keep, por exemplo.
Assim, ao pedir dicas de restaurantes, será possível acessar detalhes que estão no Maps, e ao pedir ajuda para organizar uma festa, o assistente poderá criar um evento diretamente na Agenda.
Com informações do Google e do Verge