Meta diz que pode parar desenvolvimento de IA se risco for extremo

Em documento de políticas de segurança, empresa detalha o que fará caso seus modelos viabilizem ataques cibernéticos, químicos ou biológicos.

Giovanni Santa Rosa
• Atualizado 04/02/2025 às 10:10
Resumo
  • A Meta poderá interromper o desenvolvimento de um sistema de IA caso identifique um risco extremo de catástrofe associado a ele.
  • Segundo um documento da plataforma, os riscos são classificados em dois níveis: alto, quando o sistema facilita uma ação perigosa, e crítico, quando ele a torna possível.
  • A avaliação desses riscos será conduzida por pesquisadores internos e externos, enquanto as decisões ficarão a cargo de “tomadores de decisão de nível sênior”.

A Meta publicou um novo documento sobre suas políticas para inteligência artificial, em que afirma que pode parar o desenvolvimento de um sistema caso considere que existe um risco extremo de catástrofe associado a ele, e pode não lançar um produto caso exista um risco alto.

O documento, chamado “Frontier AI Framework” (ou “Estrutura para IA de vanguarda”, em tradução livre), tem 21 páginas. Ele traz informações sobre a classificação de riscos adotada pela Meta e como esta avaliação será feita.

Quais as classificações de risco das IAs da Meta?

A Meta tem duas classificações de risco em que tomará medidas para evitar problemas: risco alto e risco extremo (ou crítico, como a empresa chama). Nos dois casos, a companhia considera os riscos de que estes sistemas possam ajudar em ataques de cibersegurança, químicos ou biológicos. Contudo, há uma diferença entre eles:

  • Risco alto: o sistema facilita a ação, mas não chega a torná-la viável
  • Risco crítico: o sistema torna a ação possível e os riscos não podem ser mitigados durante a implementação

O que a Meta faria nestas situações?

No caso de risco alto, a Meta diz que o sistema não seria lançado, tendo seu acesso limitado a um time de pesquisadores, como forma de proteção contra vazamentos. Neste cenário, a empresa trabalharia para mitigar o risco e reduzi-lo ao nível moderado (em que a IA não poderia ajudar em um ataque).

Já no caso de risco crítico, as medidas são mais extremas. A Meta diz que, neste cenário, pausaria o desenvolvimento para avaliar se existem barreiras para impedir um cenário de catástrofe. O acesso seria limitado a um pequeno número de especialistas, com medidas para evitar invasões e vazamentos.

Como a Meta vai avaliar os riscos?

De acordo com o documento, a Meta vai considerar a opinião de pesquisadores internos e externos, com “tomadores de decisão de nível sênior” revisando estes comentários. A companhia diz que o campo científico de avaliações de risco não é, neste momento, suficientemente robusta para fornecer métricas quantitativas.

Com informações de Meta e TechCrunch

Relacionados

Escrito por

Giovanni Santa Rosa

Giovanni Santa Rosa

Repórter

Giovanni Santa Rosa é formado em jornalismo pela ECA-USP e cobre ciência e tecnologia desde 2012. Foi editor-assistente do Gizmodo Brasil e escreveu para o UOL Tilt e para o Jornal da USP. Cobriu o Snapdragon Tech Summit, em Maui (EUA), o Fórum Internacional de Software Livre, em Porto Alegre (RS), e a Campus Party, em São Paulo (SP). Atualmente, é autor no Tecnoblog.