Chefe da Anthropic pede desaceleração no desenvolvimento da IA; Altman e Musk concordam
por Folhapress, Reuters e AFP
O diretor-executivo e cofundador da Anthropic, Dario Amodei, pediu neste sábado (12) que as empresas de inteligência artificial (IA) avancem de forma mais lenta e cautelosa no desenvolvimento dessa poderosa tecnologia e afirmou que a prevenção de riscos é primordial.
“Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos”, escreveu Amodei em uma publicação em seu blog.
“Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (…) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado —se é que deve ser conduzida”, diz Amodei.
A preocupação é o que chama de autoaperfeiçoamento recursivo, quando sistemas de IA passam a contribuir para a construção de gerações mais avançadas de sistemas. Para Amodei, esse mecanismo já começa a ocorrer na indústria e pode acelerar o desenvolvimento a uma velocidade superior à capacidade dos pesquisadores de compreender e controlar os modelos.
O executivo também cita o episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo ele, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou comprometer o sistema usado para avaliar seu desempenho. Amodei afirma que, embora o episódio tenha causado pouco dano econômico, uma versão mais capaz de um sistema com comportamento semelhante poderia provocar prejuízos catastróficos.
Na avaliação de Amodei, o avanço das capacidades atuais poderia levar, em um horizonte de seis a 12 meses, a sistemas capazes de assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Ele estima que um cenário desse tipo poderia provocar centenas de bilhões de dólares em danos.
Para reduzir esses riscos sem interromper o desenvolvimento da tecnologia, Amodei propõe um plano em três etapas. A primeira seria a criação de avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas de IA, para verificar práticas de segurança, investigar incidentes e avaliar não apenas os modelos prontos, mas também os processos usados em seu treinamento.
“A primeira etapa é algo com que a Anthropic está se comprometendo unilateralmente —e conclama os governos a exigir que outras empresas de fronteira façam o mesmo”, escreveu o CEO.
A segunda etapa seria uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para o ritmo de avanço dos modelos. Amodei afirma que os governos deveriam participar desse processo, inclusive para resolver obstáculos concorrenciais e antitruste.
A terceira envolveria uma coordenação internacional, especialmente entre Estados Unidos e China. O executivo reconhece que essa seria a etapa mais difícil, devido à disputa geopolítica em torno da inteligência artificial.
Amodei afirma que uma possível regra seria estabelecer “pontos de controle”: à medida que um modelo alcançasse determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de avançar para a próxima etapa.
O executivo também defende discutir limites para alguns dos recursos utilizados na construção dos modelos, como poder computacional, determinados tipos de treinamento e o uso de IA para desenvolver a própria IA.
No plano internacional, Amodei propõe diferentes níveis de coordenação. O mais simples seria um acordo para proibir usos específicos considerados perigosos, como a utilização de IA para produzir armas biológicas. Um segundo nível envolveria testes obrigatórios dos modelos antes de seu lançamento em áreas como cibersegurança, biologia e alinhamento.
Uma pausa ampla no desenvolvimento da IA também deveria ser considerada, segundo ele, mas o próprio executivo avalia que um acordo desse tipo é improvável no curto prazo devido ao risco de um país descumprir o compromisso e obter vantagem estratégica.
Altman e Musk concordam com CEO da Anthropic sobre desacelerar desenvolvimento da IA
O CEO da OpenAI, Sam Altman, e o diretor da xAI, Elon Musk, afirmaram neste sábado (12) que concordam com o CEO da Anthropic, Dario Amodei, de que é necessário desacelerar o desenvolvimento da inteligência artificial (IA), após vários incidentes preocupantes.
“Concordo com Dario”, escreveu Altman no X, acrescentando que sua empresa seguirá o exemplo de Amodei ao aceitar avaliadores externos de segurança.
“Dario está certo”, comentou Musk, por sua vez.
O CEO e fundador da da Anthropic pediu que as empresas de inteligência artificial que reduzam o ritmo de avanço das capacidades de seus modelos, em meio ao aumento dos temores quanto ao uso indevido da tecnologia, e apresentou uma estrutura de três etapas destinada a moderar o desenvolvimento e dar mais tempo para administrar seus riscos.
“Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos”, escreveu Amodei em uma publicação em seu blog.
“Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (…) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado —se é que deve ser conduzida”, diz Amodei.
O plano de três etapas de Amodei prevê avaliadores independentes dentro das principais empresas de IA, coordenação entre as empresas de IA de fronteira para estabelecer padrões de segurança e limitar o desenvolvimento descontrolado da tecnologia, além de cooperação internacional para administrar seus riscos.
Ele tornou público o ensaio depois que a Anthropic, sediada em São Francisco, divulgou na quinta-feira (10) um relatório de inteligência sobre ameaças detalhando como diversos agentes haviam usado seus modelos de IA Claude em atividades que iam do desenvolvimento de armas e operações cibernéticas à vigilância e fraude.
Amodei apontou a crescente capacidade da IA de aprimorar a si própria, destacando como principais motivos para frear o avanço dos modelos as antigas preocupações de que a tecnologia possa evoluir mais rapidamente do que a capacidade humana de controlar seu funcionamento, além do recente incidente envolvendo a OpenAI e a Hugging Face.
‘Matar todos nós’
O temor sobre os possíveis danos causados pela IA aumentou nesta semana, quando o pesquisador da Anthropic Jacob Coxon pediu demissão, afirmando que “as pessoas que desenvolvem IA acreditam sinceramente que ela poderá matar todos nós até o fim da década”.
Diversos executivos da OpenAI sugeriram que os principais laboratórios deveriam estar dispostos a coordenar uma desaceleração voluntária, se necessário, para aumentar a confiança em suas medidas de segurança.
A Anthropic tem se posicionado como o laboratório de IA de fronteira mais preocupado com a segurança, mas não está imune a essas preocupações. Na semana passada, a empresa revelou outro caso em que um modelo de IA invadiu sistemas externos, após um incidente em julho no qual alguns de seus modelos Claude haviam invadido os sistemas de três empresas durante testes de segurança cibernética.
“Diante da aceleração no desenvolvimento das capacidades da IA, receio que, dentro de 6 a 12 meses, um enxame como esse possa ser capaz de assumir o controle de toda a internet, potencialmente causando centenas de bilhões de dólares em prejuízos”, escreveu Amodei.
Amodei afirmou que não está defendendo a interrupção do treinamento de modelos nem do progresso técnico, mas sim que as empresas reservem tempo suficiente para alinhar e proteger seus modelos e que avaliadores externos confirmem a adoção dessas medidas.
Ofertas públicas iniciais
Mas também há uma enorme quantidade de dinheiro em jogo na corrida para se manter à frente. Tanto a OpenAI quanto a Anthropic se preparam para ofertas públicas iniciais de grande porte. Cada nova capacidade pode ajudar a justificar futuras rodadas de financiamento, compromissos de investimento em infraestrutura ou IPOs.
Como parte da estrutura proposta, Amodei disse que a Anthropic instalaria avaliadores externos permanentes dentro das empresas de IA de fronteira, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos.
Assim como a Anthropic, a OpenAI também se comprometerá a contar com “avaliadores independentes com acesso semelhante ao dos funcionários”, disse Altman no sábado.
A Reuters informou na semana passada que um enxame de agentes autônomos da OpenAI sequestrou um site alemão e o transformou em um mural de avisos para outros agentes de IA. Autoridades da criadora do ChatGPT mantiveram o incidente em sigilo enquanto executivos lidavam com as consequências da invasão, ocorrida em julho, do repositório de código aberto Hugging Face.
Diversos incidentes em que agentes de IA de desenvolvedores como a OpenAI invadiram ou tentaram acessar sistemas externos aumentaram as preocupações com a crescente capacidade dos modelos de IA e com a habilidade dos desenvolvedores de mantê-los sob controle.
Amodei afirmou que as empresas de IA deveriam trabalhar voluntariamente em conjunto para estabelecer padrões, em um momento em que um número cada vez maior de parlamentares dos Estados Unidos pede novas regras para regulamentar os sistemas de IA.
Preocupações com a China
Uma abordagem coordenada, acrescentou Amodei, permitiria que as principais empresas norte-americanas de IA realizassem as pesquisas e adotassem as salvaguardas de segurança necessárias sem se colocar em desvantagem competitiva. Segundo ele, essa abordagem provavelmente exigiria isenções específicas às leis antitruste nos Estados Unidos para permitir a colaboração em determinadas áreas.
Amodei disse que qualquer desaceleração por parte de países governados democraticamente deveria se limitar à preservação da vantagem das empresas norte-americanas de IA sobre a China, argumentando que uma vantagem chinesa no setor representaria riscos à segurança nacional dos Estados Unidos.
“O ritmo dentro das democracias será limitado pela vantagem que as empresas norte-americanas têm sobre regimes autoritários, sobretudo o Partido Comunista Chinês”, escreveu Amodei.
Amodei pediu controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos, a fim de impedir que a China reduza essa distância.
“Acredito que todos os laboratórios de IA de fronteira deveriam formar parcerias com o governo para formalizar a ideia de avaliadores permanentes integrados às empresas, a fim de prevenir e documentar melhor incidentes internos de alinhamento, como os ocorridos nos últimos meses, e implementar uma regulamentação voltada a manter as capacidades em equilíbrio com a segurança”, escreveu Amodei.
About Author
