Tether lanza el marco BitNet LoRA multiplataforma, los modelos de mil millones de parámetros pueden completar ajuste fino en dispositivos de consumo

Techub News informa que Tether ha anunciado el lanzamiento de un marco de ajuste fino LoRA multiplataforma en QVAC Fabric para BitNet, optimizado para el entrenamiento y la inferencia de Microsoft BitNet (LLM de 1 bit). Este marco reduce significativamente los requisitos de potencia de cálculo y memoria, permitiendo que modelos de mil millones de parámetros puedan ser entrenados y ajustados en laptops, GPU de consumo y teléfonos inteligentes. Por primera vez, se ha logrado ajustar modelos BitNet en GPU móviles (incluyendo Adreno, Mali y Apple Bionic). Las pruebas muestran que un modelo de 125 millones de parámetros puede ajustarse en aproximadamente 10 minutos, mientras que un modelo de 1 mil millones en alrededor de una hora, e incluso en teléfonos móviles se puede escalar hasta modelos de 13 mil millones de parámetros. Además, el marco soporta hardware heterogéneo como Intel, AMD y Apple Silicon, y por primera vez se ha logrado ajustar finamente un LLM de 1 bit en dispositivos no NVIDIA con LoRA. En cuanto a rendimiento, la inferencia de modelos BitNet en GPU móviles es de 2 a 11 veces más rápida que en CPU, y el uso de memoria de video se reduce hasta en un 77.8% en comparación con los modelos tradicionales de 16 bits. Tether afirma que esta tecnología podría romper la dependencia de infraestructura de alta gama y computación en la nube, promoviendo un desarrollo de entrenamiento de IA más descentralizado y local, y sentando las bases para nuevas aplicaciones como el aprendizaje federado.