Модель beanbao утверждает, что соответствует GPT-4, и впервые раскрыла свою способность обрабатывать 3 миллиона длинных текстов.

Doubao Big Model, дочерняя компания ByteDance, сегодня опубликовала свой ежегодный отчет о технологическом прогрессе за 2024 год, в котором сообщается, что ее последняя версия, Doubao-pro-1215, достигла полного соответствия GPT-4 с точки зрения общей производительности и продемонстрировала более высокие возможности в некоторые профессиональные области. Этот прогресс означает, что китайская технология больших моделей официально вышла на первый эшелон в мире.

С момента своего дебюта в мае этого года большая модель кресла-мешка всего за 7 месяцев увеличила производительность на 32%. Согласно официальному представлению, Дубао добился значительного прогресса в понимании точности и качества генерации за счет оптимизации массовой обработки данных и инновационной архитектуры моделей, включая улучшение разреженности моделей и внедрение обучения с подкреплением и других технических средств. Особенно в сложных сценариях, таких как математика и профессиональные знания, его производительность даже превосходит GPT-4, а цена услуги составляет лишь одну восьмую от последней.

Стоит отметить, что Doubao впервые раскрыла свою сверхдлинную способность обработки текста в 3 миллиона слов, что означает, что он может одновременно обрабатывать контент, эквивалентный «сотням» академических отчетов. Используя алгоритмы контекстных данных, такие как STRING, а также оптимизированные решения по разрежению и распределению, Doubao контролирует задержку обработки миллионов токенов в течение 15 секунд, значительно повышая эффективность обработки модели для массивных внешних знаний.

Этот технологический прорыв не только демонстрирует быстрое развитие технологии искусственного интеллекта в Китае, но также указывает на то, что популяризация приложений для больших моделей может быть ускорена за счет более эффективных затрат.