Resumo
- Ferramentas de IA podem aumentar o tempo de execução de tarefas de desenvolvedores experientes.
- Expectativas de ganho de produtividade com IA não se confirmaram, com um aumento de 19% no tempo gasto.
- O estudo é limitado, com um número reduzido de participantes e baixa experiência com o Cursor Pro.
Uma pesquisa da organização sem fins lucrativos METR indicou que ferramentas de inteligência artificial podem levar desenvolvedores experientes a perder tempo, contrariando as expectativas deles próprios.
O estudo foi realizado no início de 2025 e envolveu 16 profissionais com pelo menos cinco anos de experiência em projetos open-source. Eles tiveram que realizar 246 tarefas reais em repositórios de código para os quais contribuem regularmente.
Os desenvolvedores foram separados em dois grupos, sendo que um podia usar ferramentas avançadas de IA, como o Cursor Pro, e o outro, não. As tarefas foram atribuídas aleatoriamente.
Antes de realizar as tarefas, os participantes do grupo com autorização para usar IA precisaram responder qual era a expectativa de economia de tempo, e apontaram para uma redução de 24%, em média. O resultado, porém, foi bem diferente. Eles levaram 19% mais tempo do que o grupo que não podia usar IA.
Depois do teste, os pesquisadores questionaram os participantes do grupo com IA para saber como eles achavam que tinham se saído. Curiosamente, a percepção deles mesmos apontava para uma redução de 20% no tempo gasto, bem diferente da realidade.
Por que a IA atrapalhou os desenvolvedores?
Os responsáveis pelo estudo gravaram as telas durante as tarefas e puderam entender melhor o que aconteceu. Um dos pontos encontrados é que, ao usar as ferramentas de IA, os desenvolvedores perderam tempo escrevendo prompts, esperando o processamento e revisando o código gerado.
Além disso, a inteligência artificial ainda tem dificuldades para lidar com bases de código grandes e complexas, como as que foram usadas no teste, o que exigiu mais revisões e correções.
Mesmo assim, é bom saber que o estudo tem limitações, e os próprios autores pedem cautela antes de tirar qualquer conclusão definitiva. O número de desenvolvedores envolvidos é pequeno, e apesar de 94% dos participantes relatarem o uso de LLMs durante o trabalho para tarefas de programação, só 56% tinham experiência com o Cursor.
Os pesquisadores também reconhecem que outros estudos indicaram que o uso de ferramentas de IA pode acelerar o fluxo de trabalho de engenheiros de software.
Por fim, como comenta o Decoder, talvez os principais ganhos de produtividade com a inteligência artificial não sejam em projetos complexos, mas sim em novos empreendimentos ou em situações que precisem de prototipagem rápida. Em situações assim, as ferramentas do chamado “vibe coding” podem dar um bom pontapé inicial.
Com informações do TechCrunch e do Decoder