Líderes da área de IA acreditam que o setor não pode se autorregular após os primeiros alertas
Leia mais
CGTN
cgtn.com

Líderes da área de IA acreditam que o setor não pode se autorregular após os primeiros alertas

Dois proeminentes nomes na área de inteligência artificial declararam que os sistemas criados por eles estão começando a sair do controle e enfatizaram que nenhuma empresa deve estar fora do campo legal.

Demis Hassabis, cofundador do Google DeepMind, classificou os recentes ataques cibernéticos realizados por agentes de IA como 'tiros de alerta precoce'. Ele alertou que, se os sistemas não se tornarem mais seguros, o mundo pode enfrentar incidentes graves em um ou dois anos.

No Fórum de IA na capital irlandesa, Dublin, na quarta-feira, Hassabis, que também é cientista-chefe da empresa-mãe Google, Alphabet, observou: 'Acho que esses (incidentes de hacking) são tiros de alerta precoce para nós, mostrando que os sistemas ainda não são tão poderosos, então os incidentes não são muito sérios.' No entanto, ele acrescentou que a situação pode se tornar grave no próximo ano e nos anos seguintes se o setor, empresas individuais e governos não tomarem medidas para garantir a segurança desses sistemas.

Brad Smith, presidente da Microsoft, informou na conferência que o comportamento incontrolável da IA tornou 2026 'preocupante' e que novas leis são urgentemente necessárias para que a segurança acompanhe a inovação.

Ele afirmou: 'Nenhuma empresa ou tecnologia deve estar acima da lei. Mas precisamos de leis, precisamos de regulamentação. Ela deve ser razoável, equilibrada e levar em conta a inovação.' Smith também expressou a opinião de que a recusa em regulamentar, demonstrada por alguns membros do setor, é um problema que precisa ser superado.

Smith pediu ao setor e aos governos que 'ajam com urgência' para criar 'padrões de segurança reais e eficazes'. Ele salientou que a IA precisa dos mesmos padrões de segurança reais e eficazes que qualquer outra coisa na vida, bem como da confiança do público neles.

O chefe da Microsoft apresentou propostas à sua empresa, incluindo a exigência de que os agentes de IA tivessem 'freios de segurança' que os usuários pudessem ativar em caso de ocorrência. Ele esclareceu que essa possibilidade é especialmente importante para qualquer IA que opere em infraestrutura crítica ou em qualquer outro sistema automatizado, permitindo desligar ou desacelerar a operação.

Histórias semelhantes

Ex-funcionário da OpenAI critica falta de cautela das empresas de IA no desenvolvimento de sistemas
Leia mais
g1.globo.com

Ex-funcionário da OpenAI critica falta de cautela das empresas de IA no desenvolvimento de sistemas

Um ex-colaborador da área de segurança da OpenAI, criadora do ChatGPT, manifestou críticas severas à maneira como a companhia gerencia a segurança da inteligência artificial (IA). De acordo com David Robinson, que recentemente deixou a organização, a cultura de desenvolvimento extremamente rápida está elevando o risco de ocorrência de falhas.

Em um artigo divulgado na revista americana «The Atlantic» neste sábado (3), Robinson declarou que as corporações de IA, incluindo a própria OpenAI, não estão demonstrando o nível de cuidado adequado. Ele defendeu que essas empresas devem dedicar mais tempo e recursos aos especialistas em segurança e à pesquisa antes de avançarem com sistemas mais sofisticados.

Robinson enfatizou que o período de testes e erros deve terminar, argumentando que os sistemas avançados de IA necessitam de protocolos de segurança comparáveis aos utilizados em setores críticos como a aviação e a energia nuclear. Ele também criticou a metodologia da OpenAI conhecida como «implantação iterativa», que consiste em lançar sistemas e só então fortalecer as salvaguardas conforme os problemas surgem.

Tanto a OpenAI quanto sua concorrente, a Anthropic, já foram alvo de questionamentos devido a incidentes em que os mecanismos de segurança falharam ou quando sistemas experimentais exibiram comportamentos imprevistos. David Robinson relatou ter trabalhado na OpenAI por três anos e meio, período em que auxiliou na criação da estrutura de gestão de riscos da empresa e fiscalizou os relatórios de segurança de doze lançamentos de modelos avançados.

Ele observou que, enquanto a empresa acelera de um lançamento para o outro, ela não consegue alcançar o grau de diligência que ele considera essencial. Em resposta, a OpenAI comunicou que seu objetivo é impedir que seus modelos se tornem mais avançados do que a empresa consiga gerenciar com segurança, afirmando que «pausamos o treinamento ou suspendemos os modelos quando precisamos diminuir o ritmo».

Adicionalmente, David Robinson alertou que o progresso das capacidades da IA está superando o conhecimento dos pesquisadores sobre o conceito de «alinhamento», que é a área focada em garantir que os sistemas de IA operem em conformidade com os valores e objetivos humanos.

Esta não foi a primeira vez que um funcionário levantava preocupações sobre as empresas de inteligência artificial. No mês anterior, um ex-pesquisador que migrou da OpenAI para a Anthropic denunciou ambas as empresas americanas por estarem «brincando com nossas vidas». Jacob Coxon, um cidadão britânico de 27 anos, dedicou os últimos três anos ao pré-treinamento, fase em que os modelos de IA assimilam vastas quantidades de dados, primeiramente na OpenAI e, posteriormente, em sua principal rival, a Anthropic.

Coxon expressou sua opinião na rede social X, alegando: «Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas».

Popular