A Apple discute a compressão de modelos de IA com a PrismML; modelos com 27 mil milhões de parâmetros para correr no iPhone

A Apple está em discussões numa fase inicial com a startup de IA PrismML para integrar a sua tecnologia de compressão de modelos no iPhone, segundo o CEO da PrismML. A colaboração poderá permitir que modelos de IA com 27 mil milhões de parâmetros corram diretamente no dispositivo, reforçando as capacidades da Siri e fortalecendo a posição da Apple em matéria de privacidade.

A 14 de julho, a PrismML anunciou o seu avanço na compressão: reduzir o modelo open source Qwen da Alibaba, de 54 GB para menos de 4 GB, mantendo a escala de 27 mil milhões de parâmetros para um funcionamento fluido no iPhone 15 e em dispositivos mais recentes. A tecnologia reduz o uso de memória em 10–15 vezes e aumenta a velocidade de resposta em 6–8 vezes, embora o CEO tenha reconhecido compensações na recordação factual versus as capacidades de raciocínio e de programação.