Como mitigar o risco de um sistema de IA ser comprometido?

A Inteligência artificial trouxe novos requisitos de confiança, riscos e gerenciamento de segurança que os controles convencionais não abordam. Líderes e gerentes de TI, portanto, devem estar sempre de olho nos dados e análises para garantir a confiabilidade e segurança de seus recursos.
Pensando nisso, a Microsoft oferece uma estrutura de avaliação de risco de segurança de IA como um passo para capacitar as organizações a auditar, rastrear e melhorar, de forma confiável, a segurança desses sistemas.
Além disso, foram lançadas novas atualizações para o Counterfit, ferramenta de código aberto que simplifica a avaliação da postura de segurança dos sistemas de IA, e tem sido muito explorada por empresas de todos os tamanhos.
O chamado Machine Learning Evasion Competition dobrou a quantidade de participantes e técnicas do que no ano anterior. Esse interesse demonstra a mentalidade de crescimento e a oportunidade de cada vez mais protegermos os sistemas de IA.
Mas como aproveitamos o interesse e transformamos em ações que possam elevar essa postura de segurança? Como podemos mitigar o risco de um sistema de IA ser comprometido? Vamos dar uma olhada:

Melhores práticas para gerenciamento de riscos de segurança de IA

1 – Estrutura de avaliação de risco de segurança de IA

O déficit é claro: de acordo com o relatório do Gartner (Market Guide for AI Trust, Risk and Security Management) publicado em setembro de 2021, “A IA apresenta novos requisitos de gerenciamento de confiança, risco e segurança que os controles convencionais não abordam”. 

Para resolver essa lacuna, e ao analisar todo o cenário atual, a Microsoft moldou a sua avaliação de risco de segurança de IA para ficar de acordo com as atuais estruturas de avaliação de risco de segurança.

Para avaliar de forma abrangente o risco de um sistema de IA, é preciso analisar todo o seu ciclo de vida, do desenvolvimento a implantação do sistema. Para realmente proteger o modelo de IA, precisamos levar em conta toda a cadeia de suprimentos e o gerenciamento dos sistemas de IA.

Através da experiência operacional na construção e modelos de equipe na Microsoft, proteger sistemas de IA é importantíssimo em cada equipe.

Pesquisadores de IA projetam arquiteturas de modelos. Engenheiros de aprendizado de máquina constroem pipelines de ingestão de dados, treinamento de modelos e implantação. Arquitetos de segurança estabelecem políticas de segurança apropriadas. Analistas de segurança respondem a ameaças. Para esse fim, foi criado um quadro que envolveria a participação de cada uma dessas partes interessadas. Como resultado dessa colaboração, a estrutura apresenta as seguintes características:

1 – Fornecer uma perspectiva abrangente para a segurança do sistema de IA

É preciso analisar cada elemento do ciclo de vida do sistema de IA em um ambiente de produção: desde a coleta de dados, processamento de dados até a implantação do modelo, além de contabilizar as cadeias de suprimentos de IA, bem como os controles e políticas em relação ao planejamento de backup, recuperação e contingência relacionados aos sistemas de IA.

2 – Descrever ameaças de aprendizado de máquina e recomendações para reduzi-las
Para ajudar diretamente engenheiros e profissionais de segurança, é preciso enumerar as ameaça em cada etapa do processo de construção do sistema de IA. Em seguida, fornecer um conjunto de melhores práticas que sobrepõem e reforçam as práticas de segurança de software existentes no contexto da proteção de sistemas de IA.
3 – Permitir que as organizações realizem avaliações de risco
A estrutura deve fornecer a capacidade de coletar informações sobre o estado atual de segurança dos sistemas de IA em uma organização, realizar análises de lacunas e acompanhar o progresso da postura de segurança.

2 – Atualizações no Counterfit

Para ajudar os profissionais a obter uma visão mais ampla dessa postura de segurança, houve também a expansão significativa do Counterfit. A nova versão agora apresenta o seguinte:

• Uma arquitetura extensível que simplifica a integração de novas estruturas de ataque;
• Ataques que incluem acesso aos modelos internos de aprendizado de máquina ou apenas acesso de consulta ao modelo de aprendizado de máquina;
• Paradigmas de ameaças que incluem evasão, inversão de modelo, inferência de modelo e extração de modelo;
• Além dos ataques algorítmicos fornecidos, ataques comuns de corrupção através do AugLy também foram incluídos;
• Ataques são suportados para modelos que aceitam dados tabulares, imagens, texto, HTML ou arquivos executáveis do Windows como entrada.

3 – Outros recursos

Esses esforços fazem parte de um investimento mais amplo da Microsoft para capacitar os engenheiros a desenvolver e implantar sistemas de IA com segurança. Entretanto, a empresa recomenda usá-lo junto com os seguintes recursos, já que esta estrutura é viva e está sempre se transformando:

• Para analistas de segurança orientarem-se das ameaças contra sistemas de IA, a Microsoft, em colaboração com a MITRE, lançou uma Matriz de Ameaças Adversárias estilo ATT&CK completa com estudos de caso de ataques a sistemas de aprendizado de máquina de produção, que evoluiu para o MITRE ATLAS;
• Para socorristas de incidentes de segurança, foi lançada uma própria barra de bugs para triagem sistemática de ataques em sistemas de aprendizado de máquina;
• Para desenvolvedores, há orientações de modelagem de ameaças especificamente para sistemas de aprendizado de máquina;
• Para engenheiros e formuladores de políticas, a Microsoft, em colaboração com o Berkman Klein Center da Universidade de Harvard, divulgou uma taxonomia documentando vários modos de falha de aprendizado de máquina;
• Para profissionais de segurança, a Microsoft abriu o Counterfit para ajudar a avaliar a postura dos sistemas de IA;
• Para a comunidade de segurança mais ampla, a Microsoft sediou o Concurso Anual de Evasão de Aprendizado de Máquina;
• Para clientes de aprendizado de máquina Azure, também há orientação sobre segurança e governança corporativas.

Fonte: Microsoft Blog
Para saber mais sobre questões de segurança, veja mais artigos em nosso blog. Além disso, siga-nos no Linkedin para as últimas notícias e atualizações sobre tecnologia e softwares.