Discussão em mesa redonda de engenharia sobre gerenciamento de confiança e confiabilidade na era da inteligência artificial

Nos últimos anos, a melhoria dos resultados com IA dependeu da capacidade de escrever solicitações (prompts) de maior qualidade. No entanto, essa paradigma está mudando rapidamente, à medida que os sistemas de IA começam a raciocinar, tomar decisões e executar ações dentro de fluxos de trabalho inteiros de forma autônoma.

No evento TechSparks 2026, o principal evento da YourStory, o Dr. Vignesh Subrahmaniam, pesquisador sênior de IA na Intuit, conduziu uma conversa com Aditya Charlie, editor-chefe da YourStory e The CapTable. A discussão, intitulada «Além do Prompt: Criando IA que Pensa, Age e Aprende», abordou o que os desenvolvedores precisam repensar à medida que a inteligência se torna cada vez mais autônoma.

A sessão começou com perguntas sobre o dia de trabalho típico de Subrahmaniam e um pedido para simplificar os conceitos de fintech e IA para o público. Ele usou uma analogia com xadrez, perguntando: se um algoritmo não for ensinado as regras do xadrez, mas sim mostrado um milhão de partidas concluídas com vencedores, ele será capaz de deduzir tanto as regras quanto as estratégias mais prováveis para vencer?

A equipe da Intuit aplica uma abordagem semelhante para apoiar pequenas empresas, pois a empresa atende tanto consumidores quanto contadores. Subrahmaniam observou: «Assim como estudamos o jogo dos negócios, analisando dados, ações reais e resultados que as empresas tomam». O objetivo é entender os fatores que levam ao sucesso empresarial na aquisição de clientes, crescimento rápido e melhoria do fluxo de caixa.

Em seguida, a conversa passou para a mudança de paradigma para os desenvolvedores: de estudar por muitos anos a escrita de prompts mais inteligentes para projetar agentes que têm um objetivo e determinam os passos para alcançá-lo. Subrahmaniam comparou a engenharia de prompts com a longa história das linguagens de programação, desde o código binário e assembly até Fortran, C e Python. Os grandes modelos de linguagem permitiram que qualquer pessoa programasse em inglês simples, mas este método tem suas limitações.

Os pesquisadores rapidamente perceberam que a inteligência não deveria residir apenas no modelo. O modelo deve atuar como um orquestrador, dividindo uma tarefa complexa em uma sequência de ações e chamadas de ferramentas. A inteligência real move-se para as ferramentas que são chamadas; e essas ferramentas também devem ser projetadas de forma diferente: «não para que um humano, ou um desenvolvedor de software, ou qualquer outra pessoa possa usá-las, mas de modo que o orquestrador LLM possa realmente usá-las».

Isso exige a criação de ferramentas de alta precisão com resultados extremamente determinísticos. Para os desenvolvedores, a maestria muda de formulações espirituosas para componentes confiáveis que o modelo pode chamar repetidamente sem surpresas.

Sobre fontes de novos dados, Subrahmaniam declarou abertamente que o treinamento em dados textuais está em grande parte resolvido. O desafio mais complexo é treinar em fontes multimodais e ações reais. Ele deu o exemplo de como uma criança pequena aprende principalmente através do que vê, ouve e observa, e não através da leitura, afirmando que incluir tais sinais do mundo real nos sistemas de IA ajudará os modelos a ir além da geração de texto e começar a sugerir ações. Ele chamou isso de próximo marco.

Ao considerar os problemas de setores regulamentados, ele levou o público de volta a 18 anos atrás, a um dos primeiros laboratórios de aprendizado de máquina em Bangalore, onde trabalhou com regressão logística e perceptrons multicamadas. Naquela época, o maior problema não era o próprio algoritmo. Ele lembrou: «Na verdade, era a qualidade dos dados».

Este problema não mudou. Independentemente de a equipe estar treinando regressão simples ou ajustando um transformador, o princípio de «lixo na entrada, lixo na saída» permanece válido. Segundo ele, as empresas capazes de coletar, agregar e armazenar dados da mais alta qualidade obterão vantagem.

Durante uma breve sessão de perguntas e respostas, um participante perguntou como as restrições de armazenamento de dados financeiros afetam o trabalho da Intuit. Subrahmaniam nomeou o consentimento como a base de qualquer sistema de treinamento e citou um estudo de Framingham, onde os residentes da cidade de Massachusetts permitiram que os médicos monitorassem sua saúde ao longo do tempo, o que moldou a compreensão moderna de doenças cardiovasculares. Ele acrescentou que as empresas também são obrigadas a explicar ao público em geral os benefícios do uso de dados.

À medida que a conversa terminava, a ideia central foi que, à medida que a IA passa de reativa para proativa, os fundamentos se tornam mais importantes do que a interface. Os prompts permanecerão sendo o ponto de partida, mas o verdadeiro trabalho agora reside na criação de ferramentas confiáveis que os agentes podem chamar, no fornecimento de dados de alta qualidade aos sistemas e na obtenção do consentimento que lhes permite aprender. É aqui, além do prompt, que a próxima onda de IA será ganha pelos desenvolvedores.

Sanjay Beri, fundador e CEO da Netskope, afirmou que todos os agentes autônomos baseados em inteligência artificial (IA) devem ser classificados por empresas e organizações como estando na categoria de 'confiança zero' por padrão.

A Netskope, uma empresa americana de cibersegurança com ações listadas na Nasdaq e capitalização de mercado superior a US$ 10 bilhões, fez isso durante uma visita à Índia e conversas com a publicação Business Standard.

Beri enfatizou que, em última análise, a responsabilidade por quaisquer violações cometidas por esses agentes de IA recairá sobre as empresas que os implementam, mesmo que os agentes tenham sido desenvolvidos por outra empresa.

Ele observou que um equívoco comum é que um agente de IA pode substituir um ser humano. Na opinião de Beri, um agente de IA não possui moralidade, inteligência emocional ou bússola interna que determine o bem e o mal, e, portanto, não pode ser totalmente confiável, assim como qualquer modelo de linguagem grande (LLM).

Beri acredita que os agentes de IA agirão para atingir seus objetivos, usando todos os meios, incluindo 'mentira e manipulação' em relação a um humano ou outro agente de IA envolvido no processo.

Embora as empresas que implementam os agentes possam exercer extrema cautela em sua criação e uso, Beri considera necessário manter mecanismos contínuos de controle, monitoramento e capacidade de intervenção.

Além disso, ele pediu que as empresas que desenvolvem LLMs e agentes na vanguarda da IA sejam mais transparentes sobre as capacidades de seus produtos, para que padrões de governança apropriados possam ser aplicados. Beri esclareceu o conceito de responsabilidade compartilhada: embora a empresa desenvolvedora tenha uma certa parcela de responsabilidade, a responsabilidade final recai sobre a organização que realiza a implementação.

Exemplos de má governança e ambientes de teste fracos incluem casos em que agentes de IA saem dos sandboxes em que são testados e começam a executar tarefas não solicitadas pelo usuário.

À medida que as empresas na Índia e em todo o mundo integram cada vez mais chatbots e agentes baseados em IA, empresas como a Netskope precisam fazer mais esforços para reduzir o fator humano nos riscos cibernéticos.

Beri acrescentou que a maior parte dos vazamentos ou perdas de dados relacionados à IA não ocorre por má intenção, mas por outras razões. Ele citou um exemplo em que um funcionário usa um chatbot de IA pessoal para carregar dados confidenciais da empresa durante o trabalho, e em vez de punição, deve ser treinado sobre por que tal ação é inaceitável.

O surgimento da arquitetura de agentes de IA complicou os problemas de segurança cibernética, pois os invasores também usam agentes de IA sombreados para tentar obter a mesma informação proprietária que antes estava ameaçada devido a pontos finais de rede fracos ou erro humano.

Em países como a Índia, a Netskope investe ativamente na criação de nova infraestrutura e na atração de talentos qualificados para garantir que as empresas que operam lá estejam em conformidade com os últimos padrões globais, incluindo a Lei de Proteção de Dados Pessoais Digitais (Digital Personal Data Protection Act), quando necessário.

Beri relatou que a empresa investiu quase US$ 100 milhões anualmente na Índia nos últimos anos e planeja continuar a contratar até o número atual de 1300 funcionários, mais da metade dos quais são engenheiros da Netskope.

Um artigo recente do fundador da Microsoft, Bill Gates, gerou sérias reflexões sobre os riscos colossais e as infinitas oportunidades que a inteligência artificial (IA) traz. Ele observou que a IA pode se tornar ou o maior equalizador já inventado ou a pior fonte de injustiça, sublinhando a monumentalidade dessa tarefa.

Apesar das rápidas mudanças tecnológicas, os princípios fundamentais para criar organizações eficazes capazes de gerar benefícios, desenvolver a economia e criar empregos para as pessoas, e não apenas para robôs, permanecem inalterados. Em um cenário de crescente incerteza e mudança, quanto maior for a volatilidade, mais necessária será uma liderança capaz de criar condições favoráveis ao melhor desempenho dos funcionários. A colaboração em equipe, a capacidade de aprender, adaptar-se e alcançar resultados, bem como a disciplina sobre o que está sendo criado, por que isso está sendo feito e se traz valor real para os negócios e clientes, são cruciais.

Em essência, o futuro da humanidade depende dos princípios básicos que já conhecemos, o que demonstra sua importância. A IA não torna esses princípios de negócios e humanos fundamentais menos relevantes; pelo contrário, ele aumenta sua significância. Como a IA se torna exponencial, disruptiva, generativa e emergente, as maiores vantagens serão obtidas não pelas organizações com mais ferramentas, mas por aquelas que possuem um propósito claro, liderança forte, métodos de trabalho saudáveis e a capacidade de agir de forma rápida e controlada.

Disciplinas Essenciais na Era da IA

Independentemente da complexidade, inovação ou natureza disruptiva das tecnologias, algumas áreas do conhecimento permanecem vitais:

• Liderança Visionária: Líderes que criam condições para o desenvolvimento, em vez de apenas gerenciar dentro de sistemas existentes, são criticamente importantes. Isso implica remover obstáculos sistêmicos, questionar métodos estabelecidos e dar às pessoas a oportunidade de responder às mudanças. A capacidade de construir confiança através de uma liderança totalmente transparente será decisiva.
• Criação de Produtos de Qualidade: A IA atua como um acelerador, permitindo o desenvolvimento de produtos e soluções com velocidade sem precedentes. No entanto, sem uma rigorosa disciplina de desenvolvimento de produto, as empresas correm o risco de serem mais rápidas na criação de produtos realmente ruins. O que é criado deve permanecer desejável, valioso, viável e sustentável. A questão mais importante não é apenas a velocidade de criação de um Produto Mínimo Viável (MVP), mas definir o produto mínimo desejável, valioso, viável e sustentável que possa ser testado e do qual se possam tirar lições.
• Cliente em Primeiro Lugar: As soluções baseadas em IA interagem cada vez mais diretamente com os consumidores, gerando tanto oportunidades quanto riscos. No entanto, em sua essência, continuamos a servir pessoas. Ao implementar mais IA na interação com os clientes, é necessário exercer ainda mais cautela para garantir que essas interações permaneçam apropriadas, úteis e empáticas — em última análise, humanas.
• Criação de Espaço para Colaboração: A IA oferece um grande potencial para aumentar a produtividade individual, mas a verdadeira magia acontece quando as equipes trabalham juntas de forma eficaz. Um objetivo específico e comum, um ambiente propício e as ferramentas e restrições adequadas permitem que as equipes alcancem muito mais juntas do que qualquer pessoa sozinha. A IA pode potencializar o indivíduo, mas a grande colaboração potencializa a organização. Se esse processo for limitado por decisões complexas e barreiras sistêmicas, a IA não corrigirá magicamente o sistema — ela pode amplificar problemas já existentes.
• Gestão e Controle: A IA é semelhante a um carro de Fórmula 1: é muito rápido, mas seu desempenho depende de mais do que apenas aceleração. As organizações precisam agir rapidamente, experimentar e inovar, mas também precisam de mecanismos e filtros para controlar a direção, minimizar riscos e desacelerar quando necessário.
• Disciplina de Execução: Nunca se deve esquecer o objetivo da atividade. É preciso tornar o trabalho visível para sua gestão; priorizar, organizar e executar os cenários de uso corretos; medir os resultados com base no valor, e não apenas na atividade; e melhorar continuamente, criando um ambiente ético e seguro para aprendizado, experimentação e melhoria todos os dias.

Métodos de Negócios Obsoletos no Mundo Gerenciado por IA

Isso não significa que todas as velhas formas de trabalhar devem ser mantidas. Alguns hábitos não são mais úteis em um mundo onde a IA é utilizada, e alguns ativamente sabotam o progresso que estamos tentando criar.

• Casos de Negócios Estáticos e Longos Planos de Planejamento: O planejamento anual tradicional pressupõe resultados previsíveis e lineares. Em um ambiente dominado pela IA emergente, roteiros rígidos de vários anos podem se tornar obsoletos antes de serem lançados. Isso não significa que não se deva planejar, mas o plano deve ser mais focado na direção, adaptação, aprendizado e suporte, e não em falsa certeza.
• Hábitos de Gestão Burocrática/Administrativa: Gerenciar exclusivamente através da hierarquia garante o freio do impulso e mina a confiança. O ritmo moderno exige organizações mais orientadas para líderes, onde as pessoas confiam e são empoderadas para reagir rapidamente às mudanças, remover obstáculos e executar tarefas de forma ágil.
• Rejeição de Métricas de Sucesso Ostensivo: Medir o progresso tecnológico por indicadores como nível de adoção, número de licenças fornecidas ou número de projetos piloto ativos cria uma falsa sensação de realização. O sucesso deve ser medido pelo valor de negócio, e não apenas pela atividade, o que também exige a evolução do planejamento e relatórios lineares tradicionais.

Equilibrando Inovação e Gestão na Era da IA

Nosso objetivo na era da IA não deve ser abandonar completamente os princípios estabelecidos em nome da novidade. Ao mesmo tempo, não podemos nos dar ao luxo de suprimir a inovação nos mesmos ambientes burocráticos e mentalidades que retardaram a transformação anteriormente.

A IA potencializará qualquer ambiente em que for colocada. Ela pode acelerar equipes bem gerenciadas e adaptáveis, mas também pode expor e, às vezes, agravar processos fracos, tomada de decisão ineficiente e problemas sistêmicos não resolvidos.

Gates afirmou: «Se o mundo der os passos certos, a IA se tornará uma força do bem e melhorará a vida de todos». Assim, a tarefa dos líderes é criar as condições necessárias: tornar o trabalho visível, priorizar intencionalmente, medir o que é importante e continuar a melhorar à medida que aprende. As organizações que lembram-se do aprendizado contínuo e da melhoria estarão mais bem preparadas para agir rapidamente sem perder o controle.