OpenAI: conselho pode contrariar CEO e vetar IA por questões de segurança

Equipe de prevenção analisará mensalmente risco de modelos em desenvolvimento. CEO tomará decisões, mas conselho pode vetá-las.

Giovanni Santa Rosa

O conselho administrativo da OpenAI tem o poder de contrariar o CEO da empresa e vetar o desenvolvimento de inteligências artificiais, caso considere que os riscos envolvidos são críticos. A “regra” faz parte de um conjunto de diretrizes para mitigar questões de segurança envolvendo a tecnologia.

As diretrizes estão em um documento de 27 páginas, publicado hoje pela equipe de prevenção da OpenAI. O CEO da OpenAI ficará encarregado do dia a dia da empresa, mas o conselho será informado sobre análises de risco e poderá reverter as decisões do chefe executivo.

Como analisa o site Axios, a OpenAI também está tentando melhorar sua governança, após a saída repentina de Sam Altman e sua volta ao cargo de CEO.

Sistemas com risco crítico serão cancelados pela OpenAI

Em linhas gerais, a organização vai classificar os riscos de cada modelo em quatro níveis: baixo, médio, alto e crítico. A equipe de prevenção da OpenAI fará essa avaliação para cada uma de várias categorias, como riscos de cibersegurança, acesso a armas nucleares ou biológicas, capacidade de convencimento e autonomia do próprio modelo.

O risco de um modelo será o risco mais elevado de qualquer categoria. Se alguma categoria tem um risco alto, por exemplo, o modelo será considerado de alto risco, não importando as categorias restantes.

Apenas modelos de risco médio ou baixo poderão ser implementados. Modelos de risco alto podem ser desenvolvidos, mas não implementados. Modelos de risco crítico não podem sequer ser desenvolvidos.

ChatGPT e Sam Altman, CEO da OpenAI
Sam Altman, CEO da OpenAI, pode ter decisões revertidas por conselho (Imagem: Vitor Pádua / Tecnoblog)

As avaliações serão feitas por essa equipe de prevenção, que trabalha com os modelos de “fronteira”, como são chamadas as tecnologias de alta capacidade, ainda em desenvolvimento. Ela não trabalha com modelos já disponíveis, que ficam a cargo das equipes de segurança.

A equipe de prevenção foi criada em outubro e é chefiada por Aleksander Madry. Ela possui apenas quatro pessoas, mas Madry pretende ter entre 15 e 20 funcionários.

Segundo o documento, esta equipe de prevenção fará relatórios mensais de segurança. Um grupo consultivo vai analisar este trabalho e fazer recomendações ao CEO (atualmente, Sam Altman) e ao conselho. O CEO tomará as decisões, mas elas podem ser revertidas pelo conselho.

Com informações: Axios, Bloomberg, OpenAI

Relacionados

Escrito por

Giovanni Santa Rosa

Giovanni Santa Rosa

Repórter

Giovanni Santa Rosa é formado em jornalismo pela ECA-USP e cobre ciência e tecnologia desde 2012. Foi editor-assistente do Gizmodo Brasil e escreveu para o UOL Tilt e para o Jornal da USP. Cobriu o Snapdragon Tech Summit, em Maui (EUA), o Fórum Internacional de Software Livre, em Porto Alegre (RS), e a Campus Party, em São Paulo (SP). Atualmente, é autor no Tecnoblog.