Учёные Университета Цинхуа разработали метод Cache-to-Cache (C2C), позволяющий моделям ИИ обмениваться данными напрямую, минуя генерацию текста. Исходный код уже опубликован разработчиками.
Метод пока работает только с моделями открытого типа, так как требует прямого доступа к кешу и структуре слоёв. Обычно при совместной работе моделей одна из них переводит свои «рассуждения» в текст, чтобы другая могла его прочитать — это расходует ресурсы и теряет детали.
C2C убирает этот этап: модель передаёт содержимое своей памяти (кеша) напрямую в память другой модели. За преобразование данных отвечает вспомогательный модуль Fuser — он адаптирует информацию под формат принимающей модели.
Поскольку разные модели ИИ используют разные внутренние структуры хранения данных, C2C применяет интеллектуальный фильтр: одни слои принимают новые данные сразу, другие продолжают работать автономно.
По данным исследователей, подход увеличивает скорость совместной работы моделей на 100–150%. Точность вычислений возрастает на 14,2% по сравнению с автономным режимом и на 3,1–5,4% по сравнению с обменом через текст.