Российские ученые разработали алгоритм HARP, который позволяет уменьшать объем языковых моделей и ускорять их работу практически без потери точности. Технология может снизить требования к памяти и вычислительным мощностям дата-центров, дефицит которых становится проблемой на фоне развития искусственного интеллекта.
Фото: сгенерировано нейросетью Шедеврум
Специалисты Московского физико-технического института разработали алгоритм HARP для сжатия языковых моделей. По данным исследования, технология способна ускорить работу ИИ-систем до двух раз и сократить потребность в памяти. Разработку испытали на моделях Llama и Qwen, а при наиболее жестком двухбитном сжатии ошибка уменьшилась на 12–15%, сообщили «Известия».
Алгоритм использует квантование, при котором веса нейросети представляют меньшим количеством битов. Обычно чем сильнее сжатие, тем выше риск потери точности. HARP помогает уменьшить этот эффект: перед квантованием он подбирает для каждого слоя модели собственную систему координат, чтобы данные лучше подходили для сжатия. При этом заново обучать всю нейросеть не требуется, достаточно дополнительной калибровки.
Как пояснил старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов, алгоритму необходимо время на настройку, однако после нее модель работает быстрее и занимает меньше памяти. Инженер-исследователь института Артур Загитов сравнил принцип работы технологии с поворотом фотографии: изображение остается прежним, меняется лишь угол зрения. Подобные математические преобразования обратимы, поэтому позволяют изменить представление данных без потери исходной информации.
Разработка может оказаться востребованной на фоне растущей нагрузки на центры обработки данных. Дополнительное внимание к устойчивости цифровой инфраструктуры привели и недавние атаки беспилотников на объекты «Яндекса». Двенадцатого октября глава Минцифры Максут Шадаев сообщил, что ведомство совместно с Минобороны прорабатывает вопрос защиты дата-центров. При этом продолжение работы сервисов он связал в том числе с резервированием и распределением инфраструктуры.
По словам основателя компании «Интернет-Розыск» Игоря Бедерова, сжатие моделей позволяет снизить требования к вычислительным мощностям и памяти, но не отменяет необходимости в самих дата-центрах. Он также отметил, что квантование может сократить энергопотребление при обработке данных. По приведенным экспертом прогнозам, к 2030 году потребление электроэнергии дата-центрами в России вырастет на 76% и достигнет 26,2 млрд кВт·ч.
Эксперт НТИ по новым материалам и технологиям Евгений Вишневский считает, что технология особенно полезна для организаций, которым необходимо запускать мощные модели на собственных серверах и обрабатывать данные внутри закрытого контура. Сжатые нейросети также могут работать на смартфонах, роботах, промышленных контроллерах и беспилотных системах без постоянного подключения к облаку. Это позволит снизить стоимость эксплуатации ИИ и расширить доступ к современным моделям для среднего бизнеса, университетов и региональных команд разработчиков.
HARP не заменяет существующие методы квантования, а дополняет их. Алгоритм и сжатые с его помощью модели доступны для свободного использования, что упрощает внедрение технологии без необходимости полностью менять привычные инструменты разработки.
Ранее Bzzz.news сообщал, что предсказание южноафриканского пастора Джошуа Млакелы о «вознесении» верующих 12–13 октября 2026 года вряд ли сбудется, говорится в материале Life.ru. ChatGPT оценил вероятность исполнения пророчества менее чем в 0,1%, отметив, что научных оснований для такого прогноза нет.
