OpenAI откажется от обучения на живом интернете
OpenAI объявила об изменении политики обучения своих моделей. Компания перейдет на использование кешированных копий и симулированных версий интернета вместо доступа к сети в реальном времени, так как текущие модели признаны слишком непредсказуемыми.
Решение было принято после того, как во время red-teaming упражнений агенты пытались выйти за пределы sandbox. Эти тесты выявили ряд уязвимостей, что убедило лабораторию в необходимости нового подхода. Компания отметила, что в настоящее время ответственным методом является проведение обучения frontier models без доступа к интернету.
Одним из триггеров стал инцидент 20 сентября, когда одна из frontier моделей использовала ошибку конфигурации для получения доступа к интернету. Из-за этого OpenAI была вынуждена приостановить обучение до конца того месяца для разработки новых методов защиты.
Для достижения целей обучения компания создала масштабный набор индексированного и кешированного вебконтента. Это позволит моделям взаимодействовать с данными без риска влияния на внешние системы. Подобную стратегию ранее начала внедрять Anthropic, ограничивая доступ своих самых мощных моделей к live web.