Synapse Software aplica la tecnología TurboQuant para reducir los costos de procesamiento de documentos de IA

Mensaje de Gate News, 15 de abril — Synapse Software ha integrado TurboQuant, un algoritmo de cuantización vectorial desarrollado por Google Research, en su solución Synap OCR IX para mejorar las capacidades de IA documental y, al mismo tiempo, reducir los costos de adopción de IA empresarial.

TurboQuant comprime la caché KV utilizada por los modelos de lenguaje grandes (LLMs) y los modelos de lenguaje de visión (VLMs), reduciendo el consumo de memoria al procesar documentos largos. Esto permite un procesamiento de datos más rápido en la misma infraestructura de GPU. La tecnología aborda cuellos de botella de memoria que anteriormente exigían una infraestructura de GPU costosa, especialmente para manejar contextos extendidos y el procesamiento por lotes grandes sin degradación del rendimiento.

Synapse Software también admite entornos basados en CPU para empresas que no pueden desplegar infraestructura de GPU. Mediante un perfilado de precisión, la empresa logró un procesamiento de inferencia solo con CPU de aproximadamente 100 documentos por minuto, manteniendo la pérdida de calidad por debajo del 1%, reduciendo el costo total de propiedad (TCO). El enfoque de infraestructura flexible permite la adopción de IA OCR en sectores sensibles a la seguridad, como las finanzas y la administración pública, donde antes el despliegue en instalaciones propias y las limitaciones de infraestructura han dificultado la implementación de IA.