Apple представила языковую модель, пишущую тексты в 128 раз быстрее аналогов
RSS
Исследователи из Apple и Университета Огайо представили новую языковую модель на основе диффузионных алгоритмов, которая создает качественные тексты значительно быстрее существующих аналогов.
Модель под названием FS-DFM (Few-Step Discrete Flow-Matching) способна генерировать связные тексты всего за 8 шагов, в то время как другим моделям для сопоставимого результата требуются тысячи итераций. Это ускоряет процесс генерации текста до 128 раз.
Модель использует трёхэтапный подход:
- обучение на разных объёмах итераций,
- использование «учителя» — модели-наставника, корректирующей крупные правки,
- оптимизацию самого процесса генерации для более точных и стабильных шагов.
По результатам тестов FS-DFM показала лучшие показатели по двум ключевым метрикам — перплексии (естественность текста) и энтропии (уверенность в выборе слов). Причём даже самые компактные версии FS-DFM — с 170 млн параметров — превзошли гораздо более крупные аналоги вроде Dream (7 млрд параметров) и LLaDA (8 млрд параметров).
Авторы исследования отмечают, что планируют опубликовать исходный код и контрольные точки модели, чтобы другие учёные могли повторить результаты и развить методику.
