Tema
A IA que ouve o áudio e lê a foto: o que mudou no atendimento automático do WhatsApp
Existe um detalhe que toda demonstração de chatbot esconde: o cliente brasileiro não digita. Ele manda áudio de 40 segundos. Manda foto da peça quebrada. Manda print do erro, PDF do pedido, comprovante do Pix. Até este mês, qualquer um desses conteúdos tinha o mesmo efeito no Columba: a IA saía da conversa e transferia para um atendente, porque tudo o que ela recebia era um "🎵 Áudio" ou um "📷 Imagem".
Este artigo explica o que mudou, o que isso muda nos fluxos que você já publicou, e conta duas correções que fizemos no caminho, uma delas com um número que a gente preferia não ter medido.
Áudio vira texto em segundos
Todo áudio recebido passa a ser transcrito automaticamente, em português, poucos segundos depois de chegar. O texto aparece embaixo do player no Chat, então o atendente lê sem dar play (quem já atendeu 60 conversas num dia sabe o que isso significa). Transcrições longas aparecem resumidas, com "Mostrar tudo".
Nas automações, o nó Resposta IA recebe a transcrição como se fosse texto: a IA responde ao que foi dito no áudio em vez de transferir. Áudios de até 10 minutos; acima disso, ou se a transcrição falhar, o áudio continua disponível, só sem o texto.
A transcrição usa o Amazon Transcribe, na mesma infraestrutura da AWS onde o Columba roda. O texto fica gravado junto com a mensagem, sujeito às mesmas regras de acesso da conversa, inclusive o sigilo por time. Os minutos transcritos contam no plano:
| Plano | Minutos de áudio transcritos por mês |
|---|---|
| Básico | 100 |
| Profissional | 500 |
| Escala | 1.500 |
| Corporativo | 5.000 |
Foto, print e PDF entram na conversa da IA
Com a opção IA lê imagens e arquivos ligada (ela vem ligada), o nó Resposta IA recebe as fotos, prints e documentos que o contato mandou: PDF, Word, Excel, CSV e TXT. A IA passa a conseguir, por exemplo:
- Conferir um comprovante de pagamento e seguir o atendimento;
- Reconhecer o produto na foto e responder sobre ele;
- Ler um desenho técnico ou uma planilha de quantidades para montar o pedido de orçamento, como na usinagem que recebe orçamentos fora do expediente;
- Ler o documento que a escola pediu para a matrícula e confirmar se está completo.
Vídeo não é lido em nenhum caso e continua transferindo para uma pessoa. E há um interruptor por fluxo: no nó Resposta IA, desmarcar Ler imagens e arquivos faz a IA saber apenas que chegou um anexo e responder pelo texto, sem transferir. Útil quando o fluxo lida com documentos sensíveis que você não quer enviar ao modelo.
Isso muda os fluxos que você já publicou
Antes, uma foto ou um áudio em conversa atendida pela IA transferia para humano. Agora não transfere. Se a sua operação dependia desse comportamento (por exemplo, "cliente mandou foto = chamar o técnico"), desligue a opção em Configurações › Inteligência Artificial ou no nó, ou trate o caso nas instruções da IA.
A IA agora sabe que dia é hoje
Um caso real ilustra um erro que parece bobo e não é. Uma pousada em Porto de Galinhas cobra tarifa diferente no fim de semana. Um hóspede perguntou o valor para "sábado, dia 19", e a IA respondeu com a tarifa de dia útil. O modelo simplesmente errou o dia da semana. Testamos com dois modelos diferentes e colocar o calendário inteiro nas instruções não resolveu: a IA continuava "calculando" errado de vez em quando.
A solução não foi um prompt melhor. Foi o motor de automação passar a calcular o dia da semana de qualquer data que o contato cita e injetar isso no contexto da IA, junto com a data e a hora atuais. "Amanhã", "semana que vem", "dia 19" deixam de ser chute. A lição vale para qualquer assistente: o que pode ser computado com certeza não deve ser delegado ao modelo.
O bug que a gente preferia não ter medido
Ao validar a transcrição em produção, encontramos áudios que nunca chegavam a ser transcritos. Investigando, o problema era anterior: o WhatsApp entrega a notificação da mensagem e o arquivo da mídia por caminhos paralelos, e, quando a notificação ganhava a corrida, o pedido de download recebia uma recusa momentânea. O sistema desistia na primeira tentativa, porque a regra geral é não repetir erros desse tipo.
O resultado era uma mídia com link cru do WhatsApp: o player não tocava, a transcrição nunca entrava na fila e a IA recebia apenas "🎵 Áudio". Perda permanente.
Medimos antes de corrigir. Num dia, 4 de 59 mídias recebidas. Em sete dias, 58 ocorrências, cerca de 7% das mídias. A correção foi em duas camadas: uma nova tentativa curta logo no recebimento e uma segunda tentativa, minutos depois, no processo que faz a transcrição. Os áudios perdidos daquela semana foram recuperados, porque a mídia sobrevive alguns dias no servidor do WhatsApp.
Contamos isso aqui por um motivo: se você usa qualquer plataforma de atendimento e nota que "às vezes o áudio não abre", pergunte ao fornecedor qual é a taxa. Ela existe e é mensurável.
O que fazer nos seus fluxos
- Revise as instruções do assistente para dizer o que fazer com foto e áudio: "se o cliente mandar foto do produto, identifique e pergunte o tamanho"; "se mandar comprovante, confirme o valor e a data".
- Decida por fluxo o que não deve ir para o modelo. Documentos com dados pessoais sensíveis podem ficar com a leitura desligada naquele nó.
- Acompanhe os minutos em Configurações › Assinatura. Uma operação que recebe muito áudio consome a cota mais rápido do que imagina.
- Teste com o próprio celular: mande um áudio, uma foto e um PDF para o número da empresa e leia o que a IA respondeu.
Transcrição e leitura de arquivos estão disponíveis em todos os planos do Columba. Detalhes em Inteligência Artificial e Recursos de mensagens na central de ajuda, ou teste por 7 dias.