Uma equipa do MIT CSAIL, em colaboração com a Google e a Northeastern University, desenvolveu o InstructMesh, um software que gera modelos 3D a partir de um simples pedido em texto e permite depois corrigir, também em linguagem natural, os defeitos que impediriam esse modelo de funcionar depois de impresso. O trabalho vai ser apresentado em novembro no ACM Symposium on User Interface Software and Technology.
O problema que motivou esta investigação é conhecido por quem já experimentou gerar modelos 3D com inteligência artificial para imprimir, as ferramentas atuais sabem como um objeto deve parecer, mas não necessariamente como deve funcionar na prática. Uma caneca gerada por IA pode parecer perfeita visualmente e ainda assim não conseguir segurar café, por exemplo, por falhas estruturais na malha que não são óbvias a olho nu.
Este é um tema particularmente relevante depois de um recente relatório da CGTrader ter mostrado que os compradores de modelos para impressão 3D continuam bastante céticos em relação a conteúdo gerado por IA, precisamente por este tipo de problema técnico.
Como funciona o InstructMesh
O InstructMesh combina o gerador TRELLIS, da Microsoft, com o modelo de linguagem GPT-4. O utilizador começa por gerar um modelo a partir de um pedido em texto, tal como acontece em qualquer ferramenta de geração de 3D por IA. Depois, em vez de ter de recorrer a software de modelação especializado para corrigir problemas, o utilizador pode simplesmente destacar a zona problemática do modelo, descrever o defeito em linguagem normal, e o sistema aplica uma correção geométrica localizada. Para ajustes mais simples, como aumentar a espessura de uma parede, o sistema também disponibiliza controlos deslizantes.
Segundo a equipa, esta manipulação acontece no espaço latente do próprio modelo generativo, o que permite ao InstructMesh interpretar descrições em linguagem natural sobre os problemas e transformá-las em alterações geométricas concretas que o utilizador pode avaliar e aprovar antes de imprimir.
Um problema mais comum do que se poderia pensar
Para perceber a dimensão do problema, a equipa usou o TRELLIS para recriar modelos populares do Thingiverse, uma das maiores plataformas de modelos para impressão 3D. Quase 80 por cento dos modelos gerados apresentavam algum tipo de falha estrutural que comprometeria a impressão ou a funcionalidade final da peça.
Depois, a equipa pediu a pessoas sem experiência em modelação 3D que identificassem e corrigissem esses problemas usando o InstructMesh. Segundo avaliação de um especialista, estas pessoas conseguiram identificar e corrigir os problemas com sucesso em cerca de 90 por cento dos casos, mesmo sem qualquer formação prévia em ferramentas de modelação tradicionais.
O que já foi possível imprimir com esta ferramenta
A equipa do CSAIL usou modelos corrigidos com o InstructMesh para imprimir objetos domésticos reais, incluindo uma caneca envolvida por um dragão cuja cauda funciona como pega, óculos com hastes em forma de asas de borboleta, um apito com forma de concha e um dispensador em forma de polvo que verte líquido a partir de cada um dos tentáculos, mostrando que a ferramenta consegue lidar tanto com correções funcionais simples como com geometrias criativas mais complexas.
Porque interessa esta ferramenta ao setor
Segundo Stefanie Mueller, professora do MIT e autora sénior do estudo, o InstructMesh ajuda a resolver uma das maiores barreiras da geração de modelos 3D por IA para impressão, o facto de a modelação corretiva exigir normalmente conhecimento técnico especializado que a maioria das pessoas não tem. Ao permitir que utilizadores sem experiência corrijam problemas usando apenas descrições em linguagem natural, este tipo de ferramenta pode ajudar a fechar a diferença entre a facilidade de gerar um modelo com IA e a fiabilidade necessária para que esse modelo realmente funcione depois de impresso.
O que fica desta investigação
O InstructMesh não resolve todos os problemas da geração de modelos 3D por IA, mas mostra um caminho concreto para tornar essa tecnologia mais fiável sem exigir que o utilizador aprenda software de modelação tradicional. Vale a pena continuar a acompanhar este tipo de ferramenta, já que pode ajudar a mudar a perceção atual de que modelos gerados por IA são pouco fiáveis para impressão, um dos principais obstáculos identificados recentemente pelo mercado.
