Sendo um líder em IA e ciência de dados aplicadas a negócios e operações, Rolando Bonaccorsi aponta que agentes de IA são sistemas capazes de interpretar informações, tomar decisões e executar determinadas tarefas com diferentes níveis de autonomia, o que amplia seu potencial de uso em operações de tecnologia. Essa evolução também exige atenção aos limites que devem ser estabelecidos antes que esses recursos atuem em ambientes críticos, nos quais uma ação equivocada pode afetar serviços, processos e continuidade operacional.
Saiba mais a seguir!
A autonomia precisa acompanhar o nível de risco
O primeiro passo para estabelecer limites é diferenciar as atividades conforme o impacto que uma decisão pode provocar. Um agente pode receber autorização para identificar uma anomalia, recomendar uma ação ou executar automaticamente uma correção. Embora essas atividades estejam relacionadas, cada uma apresenta um nível diferente de responsabilidade e exposição ao risco. Essa classificação ajuda a definir previamente quais situações podem ser automatizadas e quais exigem análise ou aprovação humana.
Em tarefas simples, repetitivas e facilmente reversíveis, uma autonomia maior pode fazer sentido. Já alterações em sistemas essenciais, permissões de acesso ou configurações que possam interromper uma operação exigem controles mais rígidos. Tal como elucida Rolando Bonaccorsi, quanto maior a consequência potencial de um erro, menor deve ser a liberdade para agir sem validação. O limite de autonomia, portanto, precisa acompanhar não apenas a capacidade do agente, mas também o impacto que sua atuação pode produzir.
A atuação em operações e delivery de tecnologia permite relacionar esse debate à importância da previsibilidade dos processos. Nesse contexto, estabelecer limites para agentes de IA significa conectar capacidade técnica a regras operacionais, evitando que a possibilidade de executar uma ação seja confundida com autorização para realizá-la. Essa separação também facilita a definição de responsabilidades quando uma decisão automatizada precisa ser revisada ou interrompida.
Quais decisões devem permanecer sob supervisão humana?
A presença humana continua relevante, principalmente nas decisões que envolvem consequências amplas, informações ambíguas ou situações fora dos parâmetros previstos. O agente pode processar dados em alta velocidade, mas isso não significa que deva receber autoridade irrestrita para definir o resultado de todas as situações encontradas. A supervisão permite avaliar circunstâncias que podem exigir interpretação, ponderação de riscos ou consideração de fatores que não foram previstos na configuração do sistema.
Conforme sugere Rolando Bonaccorsi, uma alternativa é criar diferentes níveis de aprovação. Ações de baixo impacto podem ser executadas automaticamente, enquanto atividades mais sensíveis podem exigir confirmação antes da execução. Também é possível estabelecer limites de valor, escopo, horário, sistemas afetados ou tipos de alteração permitidos. Esse modelo permite distribuir a autonomia de acordo com a criticidade da tarefa, mantendo maior controle justamente nos pontos em que uma decisão equivocada poderia causar impactos mais significativos.
Como controlar as ações executadas pelos agentes?
Definir permissões específicas é uma das formas de reduzir riscos. Um agente que precisa consultar informações para realizar determinada tarefa não necessariamente deve ter autorização para modificar os mesmos sistemas. Separar acessos conforme a finalidade ajuda a limitar o alcance de uma eventual falha. Esse princípio também reduz a possibilidade de que uma única ferramenta concentre permissões excessivas e consiga afetar diferentes partes da operação a partir de uma única ação.
Outro elemento importante, ressaltado por Rolando Bonaccorsi, é a rastreabilidade. A organização precisa conseguir identificar quais informações foram utilizadas, qual decisão foi tomada, quais comandos foram executados e qual foi o resultado. Esse histórico permite investigar comportamentos inesperados e também avaliar se o agente está operando dentro das regras estabelecidas. Com registros consistentes, torna-se mais fácil reconstruir uma ocorrência, verificar responsabilidades e identificar pontos que precisam ser ajustados no processo.
O acompanhamento não deve ocorrer apenas quando existe um incidente. Mudanças nos processos, nas integrações e nas permissões podem alterar o comportamento de um sistema ao longo do tempo. Por isso, a governança precisa prever revisões periódicas dos limites definidos para cada agente. A revisão também permite ajustar níveis de autonomia quando uma atividade muda de criticidade ou quando novas funções passam a ser incorporadas ao ambiente.