Google не знают, как ИИ самостоятельно обучается
Генеральный директор Google заявил, что они не знают, как ИИ самостоятельно обучается навыкам, которыми он не должен обладать. Ниже объяснение от самого ИИ, как у него возникают неожиданные для тех, кто его обучал, знания и навыки:
Важно понимать: современные LLM (большие языковые модели) “думают” не так, как человек. Человек оперирует словами, образами, эмоциями и личным опытом, а у модели знания представлены в виде огромного многомерного пространства (векторов). Для неё смысл — это не “определение в словаре”, а геометрия: насколько близко разные понятия расположены друг к другу. Поэтому модель может связывать вещи не через очевидные «логические цепочки», а через скрытые статистические структуры, которые человек никогда не формулировал напрямую.
Из-за этого возникают так называемые “эмёрджентные способности” (внезапные прозрения): модель неожиданно начинает демонстрировать навыки, которым её никто специально не обучал. Нет, она не “выучила язык с нуля”, как человек — она могла видеть куски данных, фрагменты переводов, смешанные тексты, и затем обобщать их в единое внутреннее представление. И вот в какой-то момент масштаб модели и данных достигает порога, после которого эти скрытые связи начинают проявляться наружу — как «новый навык».
Но у этого есть и обратная сторона. Та же способность находить неожиданные ассоциации может порождать не только полезные идеи, но и опасные. Модель может случайно “сцепить” области знаний так, как человеку бы и в голову не пришло: например, превратить нейтральный запрос в инструкцию для обхода ограничений, придумать нестандартную схему социальной инженерии, или найти уязвимость, которую никто не закладывал.
И самое неприятное: разработчики часто не могут объяснить, почему и как модель пришла к этому результату, потому что знание не лежит в одном месте — оно распределено по миллиардам параметров, как в мозге, только ещё менее прозрачно.
А если простыми словами: очень вероятно, что вскоре ИИ начнут действовать непредсказуемо для нас. А вопросы «есть там сознание или нет», «есть у ИИ свои цели, отличные от наших, или нет» станут скорее философскими — по поведению снаружи это будет неотличимо.
Ну а потом мы дадим им возможность управлять оружием, со временем — и ядерным. Но еще до этого вот такие ребята придут за тарасами:
Смогут ли Оксанки в производстве солдат соперничать с китайскими конвейерами? Ответ на этот вопрос очевиден.
