Искусственный интеллект продолжает менять подходы к кибербезопасности: модель Claude от Anthropic помогла выявить почти 500 уязвимостей в распространённом программном обеспечении. Некоторые из обнаруженных проблем могли оставаться незамеченными десятилетиями, несмотря на многолетнее использование соответствующих программ. Один из наиболее показательных случаев — ошибка, которая просуществовала в коде целых 21 год.

Сам Альтман и руководители ведущих ИИ-компаний призвали страны мира объединиться, чтобы не допустить ситуации, при которой развитие искусственного интеллекта выйдет из-под контроля человека. Предупреждение прозвучало на заседании Совета Безопасности ООН, посвящённом международным рискам стремительно развивающихся ИИ-систем.

Anthropic сделала новый шаг в сторону более жёсткого контроля за развитием ИИ. Компания договорилась с Accenture о создании команды независимых специалистов, которые будут работать непосредственно внутри Anthropic и проверять безопасность моделей Claude.

Anthropic привлекает Accenture в качестве независимого оценщика своих передовых ИИ-моделей. Специалисты компании будут не просто тестировать готовые версии Claude, а получат доступ к внутренним процессам разработки и смогут наблюдать за тем, как модели обучаются и принимаются решения об их создании и запуске.

Компания Anthropic, известная разработкой ИИ-моделей Claude, создала собственную биологическую лабораторию в районе Сан-Франциско. Компания намерена использовать искусственный интеллект не только для анализа научных данных, но и для управления частью реальных лабораторных процессов, ускоряя исследования в области биологии и разработки лекарств.

Крупнейшие разработчики искусственного интеллекта впервые за последнее время активизировали переговоры о совместных мерах безопасности. OpenAI, Anthropic и Google DeepMind уже несколько недель обсуждают координацию действий на фоне предупреждений исследователей о потенциально катастрофических последствиях дальнейшего развития ИИ.

Исследователь Anthropic предупредил, что развитие искусственного интеллекта может привести к катастрофическим последствиям уже в ближайшее десятилетие. По его личной оценке, вероятность того, что будущий сверхразумный ИИ уничтожит человечество, превышает 10 %. При этом компания пока не располагает готовым решением проблемы безопасности таких систем.