Synapse Software застосовує технологію TurboQuant, щоб знизити витрати на обробку документів ШІ

Повідомлення Gate News, 15 квітня — Synapse Software інтегрувала TurboQuant, алгоритм векторного квантування, розроблений Google Research, у своє рішення Synap OCR IX, щоб посилити можливості документального ШІ та водночас знизити витрати компаній на впровадження ШІ.

TurboQuant стискає KV-кеш, який використовують великі мовні моделі (LLMs) та моделі візуально-мовного розуміння (VLMs), зменшуючи споживання пам’яті під час обробки довгих документів. Це дає змогу швидше обробляти дані на тій самій інфраструктурі GPU. Технологія вирішує проблеми з пропускною спроможністю пам’яті, які раніше вимагали дороговартісної GPU-інфраструктури, зокрема під час роботи з розширеними контекстами та пакетною обробкою великих обсягів без погіршення продуктивності.

Synapse Software також підтримує середовища на основі CPU для підприємств, які не можуть розгорнути GPU-інфраструктуру. Завдяки прецизійному профілюванню компанія досягла процесингу інференсу лише на CPU приблизно 100 документів на хвилину, при цьому втрати якості було утримано нижче 1%, знижуючи загальну вартість володіння (TCO). Гнучкий підхід до інфраструктури дає змогу впроваджувати AI OCR у сектор, чутливий до безпеки, наприклад у фінансах і державному управлінні, де раніше розгортання on-premises та інфраструктурні обмеження заважали реалізації ШІ.