DeepSeek выпускает модель Prover-V2 с 671 миллиардом параметров

Сегодня компания DeepSeek представила новую модель под названием DeepSeek-Prover-V2-671B в сообществе разработчиков искусственного интеллекта с открытым исходным кодом Hugging Face. Сообщается, что DeepSeek-Prover-V2-671B использует более эффективный формат файла safetensors и поддерживает несколько уровней точности вычислений, что способствует более быстрому и ресурсосберегающему обучению и развертыванию моделей. Она содержит 671 миллиард параметров и может представлять собой усовершенствованную версию математической модели Prover-V1.5, выпущенной в прошлом году. С точки зрения архитектуры модели, модель использует архитектуру DeepSeek-V3, принимает режим MoE (смешанный экспертный режим), имеет 61 слой Transformer и 7168-мерных скрытых слоев. Он также поддерживает сверхдлинные контексты с максимальным вложением позиций 163 800, что позволяет обрабатывать сложные математические доказательства. Он также использует квантование FP8, которое позволяет уменьшить размер модели и повысить эффективность рассуждений за счет технологии квантования. (Золотая десятка)