OpenAI: conselho pode contrariar CEO e vetar IA por questões de segurança
Equipe de prevenção analisará mensalmente risco de modelos em desenvolvimento. CEO tomará decisões, mas conselho pode vetá-las.
O conselho administrativo da OpenAI tem o poder de contrariar o CEO da empresa e vetar o desenvolvimento de inteligências artificiais, caso considere que os riscos envolvidos são críticos. A “regra” faz parte de um conjunto de diretrizes para mitigar questões de segurança envolvendo a tecnologia.
As diretrizes estão em um documento de 27 páginas, publicado hoje pela equipe de prevenção da OpenAI. O CEO da OpenAI ficará encarregado do dia a dia da empresa, mas o conselho será informado sobre análises de risco e poderá reverter as decisões do chefe executivo.
Como analisa o site Axios, a OpenAI também está tentando melhorar sua governança, após a saída repentina de Sam Altman e sua volta ao cargo de CEO.
Sistemas com risco crítico serão cancelados pela OpenAI
Em linhas gerais, a organização vai classificar os riscos de cada modelo em quatro níveis: baixo, médio, alto e crítico. A equipe de prevenção da OpenAI fará essa avaliação para cada uma de várias categorias, como riscos de cibersegurança, acesso a armas nucleares ou biológicas, capacidade de convencimento e autonomia do próprio modelo.
O risco de um modelo será o risco mais elevado de qualquer categoria. Se alguma categoria tem um risco alto, por exemplo, o modelo será considerado de alto risco, não importando as categorias restantes.
Apenas modelos de risco médio ou baixo poderão ser implementados. Modelos de risco alto podem ser desenvolvidos, mas não implementados. Modelos de risco crítico não podem sequer ser desenvolvidos.
As avaliações serão feitas por essa equipe de prevenção, que trabalha com os modelos de “fronteira”, como são chamadas as tecnologias de alta capacidade, ainda em desenvolvimento. Ela não trabalha com modelos já disponíveis, que ficam a cargo das equipes de segurança.
A equipe de prevenção foi criada em outubro e é chefiada por Aleksander Madry. Ela possui apenas quatro pessoas, mas Madry pretende ter entre 15 e 20 funcionários.
Segundo o documento, esta equipe de prevenção fará relatórios mensais de segurança. Um grupo consultivo vai analisar este trabalho e fazer recomendações ao CEO (atualmente, Sam Altman) e ao conselho. O CEO tomará as decisões, mas elas podem ser revertidas pelo conselho.
Com informações: Axios, Bloomberg, OpenAI
