No mundo acelerado da inteligência artificial, os LLMs (Large Language Models) se tornaram ferramentas indispensáveis para automatizar tarefas complexas, como a escrita de conteúdo. Mas será que esses modelos conseguem escrever textos que realmente cativam e conectam com o público? Para responder a essa pergunta, colocamos três LLMs – Claude Sonnet 3.5, ChatGPT-4o e Gemini 1.5 Pro – à prova, desafiando-os a criar um e-mail de boas-vindas para novos clientes da "Tess.
A Missão: Criar um E-mail que Conquiste
O objetivo era simples: gerar um e-mail de boas-vindas que fosse informativo, convidativo e, acima de tudo, humano. Para avaliar o desempenho dos LLMs, analisamos os e-mails gerados com base em quatro critérios essenciais para cada um dos modelos:
O Prompt:
Utilizamos o chat Multi-LLM da Tess AI e fornecemos o seguinte briefing para os modelos:
Os Resultados? Uma verdadeira batalha de estilos!
Cada modelo imprimiu sua própria marca no e-mail de boas-vindas, revelando seus pontos fortes e estilos distintos:
Claude Sonnet 3.5:
Qualidade e Relevância do Conteúdo: O e-mail do Claude Sonnet 3.5 apresentou informações relevantes sobre a plataforma e seus benefícios, mas pecou em não detalhar como o usuário pode começar a usar a ferramenta imediatamente.
Personalização e Tom de Voz: O tom foi positivo e amigável, mas a personalização se limitou ao uso do nome do cliente.
Estrutura, Organização e Escrita Humanizada: A estrutura foi organizada, mas a escrita continha frases "marketeiras" e pouco naturais.
Correção Gramatical, Ortográfica e Efetividade: O e-mail estava livre de erros gramaticais e ortográficos, mas a chamada à ação foi pouco específica.
ChatGPT-4o:
Qualidade e Relevância do Conteúdo: O ChatGPT-4o, por sua vez, seguiu a mesma linha, destacando os benefícios da plataforma, mas também deixou de apresentar um guia prático para o novo usuário.
Personalização e Tom de Voz: O ChatGPT-4o também demonstrou um bom desempenho no tom de voz, utilizando linguagem receptiva e entusiasta, mas a personalização se limitou ao uso do nome do cliente.
Estrutura, Organização e Escrita Humanizada: A estrutura foi organizada, mas algumas frases soaram "engessadas" e faltou naturalidade.
Correção Gramatical, Ortográfica e Efetividade: O e-mail estava livre de erros gramaticais e ortográficos, e a chamada à ação foi mais específica, mas ainda poderia ser mais direcionada.
Gemini 1.5 Pro:
Qualidade e Relevância do Conteúdo: O Gemini 1.5 Pro se destacou nesse quesito. O e-mail gerado apresentou informações relevantes e direcionadas ao usuário, abordando os benefícios da plataforma e incluindo uma chamada à ação clara para acessar recursos e a comunidade.
Personalização e Tom de Voz: O Gemini 1.5 Pro optou por um tom mais profissional (apesar do excesso de emojis) e menos pessoal, priorizando a apresentação da marca e seus recursos. Essa abordagem, apesar de não ser tão próxima do usuário, se encaixa melhor na proposta da plataforma. O modelo, no entanto, pecou em não apresentar personalização além do uso do nome do cliente.
Estrutura, Organização e Escrita Humanizada: O e-mail gerado pelo Gemini 1.5 Pro se destacou por apresentar uma estrutura clara, uma linguagem mais natural e próxima do usuário, e por evitar frases "marketeiras". No entanto, o uso excessivo de emojis pode ter prejudicado a formalidade do e-mail, tornando-o menos profissional.
Correção Gramatical, Ortográfica e Efetividade: O e-mail estava livre de erros gramaticais e ortográficos, e a chamada à ação foi clara e específica, incluindo links para recursos e a comunidade.
A Batalha dos Gigantes: Quem Leva a Taça?
O Gemini 1.5 Pro se destacou por apresentar uma linguagem mais natural e próxima do usuário, com uma estrutura organizada e uma chamada à ação clara e direcionada. No entanto, o uso excessivo de emojis e a falta de personalização prejudicaram a formalidade do e-mail, tornando-o menos profissional. O Claude Sonnet 3.5 e o ChatGPT-4o, embora tenham apresentado um ótimo desempenho, ainda apresentam “vícios robóticos” como conteúdos engessados ou adjetivos exagerados.
A Evolução da Escrita de LLMs
Essa análise nos mostra que os LLMs estão evoluindo rapidamente, mas ainda há um longo caminho a percorrer para alcançar a escrita natural e personalizada de um humano. A escolha do LLM ideal para suas necessidades dependerá do tipo de texto que você precisa gerar e do público-alvo que deseja alcançar.
Lembre-se, o objetivo final é construir relacionamentos fortes com seus clientes, e a escrita humanizada e autêntica ainda desempenha um papel fundamental nesse processo.