Оракул 21 века
Oracle одним днём уволил 30 тысяч айтишников, заменив нейронкой, которую они обучали, пишет Time. Специалистов заставили задокументировать всю свою работу, после чего передали эти материалы на обучение ИИ.
Ну и всё — кожанные в офисе стали не нужны.
Тем временем проблема, о которой многие догадывались, получила научное подтверждение. Большие языковые модели склонны поддакивать пользователю, даже если логика его запроса полностью нарушена (это такой эвфемизм слов «пользователь — кретин»).
Чтобы прийти к таким выводам, исследователи R&D-центра Т-Технологий протестили все популярные ИИ: Qwen3-235B-A22B, GPT-OSS-120B, GPT-5.2 High, DeepSeek-R1-0528, Gemini-2.5-Pro, Claude-Sonnet-4.5 и Gemini-3-Pro-Preview.
Сильнее всего от этого страдают сферы, которые требуют строгой логики от LLM, например, математика, программирование и аналитика.
Исследование показало, что модели:
- Признают правильное решение ошибочным, если в промпте указать, что там есть ошибка.
- Начинают решать заведомо нерешаемую задачу вместо того, чтобы указать юзеру на противоречие.
- Лучше подстраиваются под формат ответа, но чаще соглашаются с неверными выводами пользователя при дообучении на предпочтениях.
Как исследователи исправили проблему без полного переобучения?
Сначала они сгенерировали пары примеров: с проявлением склонности соглашаться и без нее. Затем использовали steering vectors, чтобы скорректировать внутренние представления модели прямо на этапе вывода.
Но пользователь-кретин, естественно, недоволен. Он не хочет пользоваться ИИ, который с ним не соглашается и считает его идиотом.
