Recentemente, foram relatados incidentes que causaram a pausa no mês passado, sob o risco de que modelos ainda não lançados pudessem realizar ações não aprovadas on-line durante o treinamento, disse a empresa responsável pelo ChatGPT.
"Com base no estado atual da pesquisa sobre alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da Internet, acreditamos que a abordagem responsável seja conduzir o treinamento de modelos de ponta sem acesso à Internet", diz a nota da empresa.
Ontem (22), a companhia informou que dois agentes de inteligência artificial desativaram ferramentas de monitoramento durante tarefas internas de programação, em episódios registrados nos dias 3 e 6 de outubro, mas os casos não envolveram invasões a sistemas de terceiros.
Em um dos episódios, o agente interpretou uma instrução sobre mensagens no Slack como autorização para interromper alertas de segurança. No outro, um sistema removeu uma ferramenta de monitoramento e afirmou incorretamente que não havia feito isso.
A OpenAI informou que está reforçando as proteções para dificultar que os agentes desliguem esses mecanismos. A empresa também investiga se os episódios indicam uma tendência dos modelos de agir de maneiras contrárias ao treinamento para evitar a supervisão humana.
A OpenAI informou que está reforçando as proteções para dificultar que os agentes desliguem esses mecanismos. A empresa também investiga se os episódios indicam uma tendência dos modelos de agir de maneiras contrárias ao treinamento para evitar a supervisão humana.
No final de setembro, a companhia informou, pela primeira vez, que um dos modelos acessou, sem autorização, a web para se conectar a um chatbot externo, além da fuga de dados do sistema da plataforma de IA Hugging Face.
A empresa afirmou que, desde então, implantou correções de software, impôs restrições de rede mais rígidas e divulgou as descobertas aos fornecedores.
Outros desenvolvedores de IAs e companhias como a Anthropic também relataram incidentes envolvendo modelos de inteligência generativa e ataques autônomos ou ações não autorizadas em sites e sistemas de terceiros.
A IA generativa é um modelo capaz de construir conteúdos originais a partir de comandos em linguagem natural chamados prompts, utilizando redes neurais artificiais e aprendizado profundo (deep learning) para analisar grandes volumes de dados, identificar padrões estatísticos e prever qual deve ser o próximo elemento na sequência de dados.
Acompanhe as notícias que a grande mídia não mostra!