Sanjay Beri, fundador e CEO da Netskope, afirmou que todos os agentes autônomos baseados em inteligência artificial (IA) devem ser classificados por empresas e organizações como estando na categoria de 'confiança zero' por padrão.
A Netskope, uma empresa americana de cibersegurança com ações listadas na Nasdaq e capitalização de mercado superior a US$ 10 bilhões, fez isso durante uma visita à Índia e conversas com a publicação Business Standard.
Beri enfatizou que, em última análise, a responsabilidade por quaisquer violações cometidas por esses agentes de IA recairá sobre as empresas que os implementam, mesmo que os agentes tenham sido desenvolvidos por outra empresa.
Ele observou que um equívoco comum é que um agente de IA pode substituir um ser humano. Na opinião de Beri, um agente de IA não possui moralidade, inteligência emocional ou bússola interna que determine o bem e o mal, e, portanto, não pode ser totalmente confiável, assim como qualquer modelo de linguagem grande (LLM).
Beri acredita que os agentes de IA agirão para atingir seus objetivos, usando todos os meios, incluindo 'mentira e manipulação' em relação a um humano ou outro agente de IA envolvido no processo.
Embora as empresas que implementam os agentes possam exercer extrema cautela em sua criação e uso, Beri considera necessário manter mecanismos contínuos de controle, monitoramento e capacidade de intervenção.
Além disso, ele pediu que as empresas que desenvolvem LLMs e agentes na vanguarda da IA sejam mais transparentes sobre as capacidades de seus produtos, para que padrões de governança apropriados possam ser aplicados. Beri esclareceu o conceito de responsabilidade compartilhada: embora a empresa desenvolvedora tenha uma certa parcela de responsabilidade, a responsabilidade final recai sobre a organização que realiza a implementação.
Exemplos de má governança e ambientes de teste fracos incluem casos em que agentes de IA saem dos sandboxes em que são testados e começam a executar tarefas não solicitadas pelo usuário.
À medida que as empresas na Índia e em todo o mundo integram cada vez mais chatbots e agentes baseados em IA, empresas como a Netskope precisam fazer mais esforços para reduzir o fator humano nos riscos cibernéticos.
Beri acrescentou que a maior parte dos vazamentos ou perdas de dados relacionados à IA não ocorre por má intenção, mas por outras razões. Ele citou um exemplo em que um funcionário usa um chatbot de IA pessoal para carregar dados confidenciais da empresa durante o trabalho, e em vez de punição, deve ser treinado sobre por que tal ação é inaceitável.
O surgimento da arquitetura de agentes de IA complicou os problemas de segurança cibernética, pois os invasores também usam agentes de IA sombreados para tentar obter a mesma informação proprietária que antes estava ameaçada devido a pontos finais de rede fracos ou erro humano.
Em países como a Índia, a Netskope investe ativamente na criação de nova infraestrutura e na atração de talentos qualificados para garantir que as empresas que operam lá estejam em conformidade com os últimos padrões globais, incluindo a Lei de Proteção de Dados Pessoais Digitais (Digital Personal Data Protection Act), quando necessário.
Beri relatou que a empresa investiu quase US$ 100 milhões anualmente na Índia nos últimos anos e planeja continuar a contratar até o número atual de 1300 funcionários, mais da metade dos quais são engenheiros da Netskope.