Em meio à corrida pela adoção da Inteligência Artificial, o grande desafio para os líderes de Cyber é manter-se atentos para os riscos invisíveis que acompanham essa revolução tecnológica. Neste artigo, Rangel Rodrigues, Security Advisor, analisa como frameworks de Segurança, capacitação técnica e uma visão estratégica sobre nuvem e governança são fundamentais para proteger dados, garantir a ética e preservar a empregabilidade em um cenário cada vez mais automatizado
*Por Rangel Rodrigues
Dada a importância da Inteligência Artificial, tenho me aprofundado neste tema nos últimos meses, mas com cautela, procurando entender o ponto chave de como podemos proteger aplicações baseadas em GenAI.
É evidente que estamos vivendo tempos em que a IA é o tema central em todas as áreas, e que pode proporcionar benefícios tanto para as organizações quanto ao usuário final. Além disso, ela pode agregar benefícios à proteção e à antecipação na deteção de ciberameaças, seja com Threat Intelligence, Resposta a Incidentes, e soluções de EDR, SOAR, entre outros.
Contudo, a pergunta que devemos fazer é o quanto estamos olhando para os riscos desta tecnologia emergente. À medida que a IA vai ganhando proporção, por meio do uso de soluções como ChatGPT, Claude.ai, Meta.ai, Copilot, Gemini, Grok, todas baseadas em SaaS, é fato que a IA está preenchendo a nossa rotina, e quem não se adaptar a ela pode ser considerado uma peça fora do tabuleiro.
Seja para gravar reuniões e criar resumos automatizados com Hynote.ai, ou para preparar um plano de Gestão de Riscos, realmente temos que reconhecer a velocidade e agilidade que a IA proporciona às tarefas diárias. Já vemos que, em algumas empresas onde o colaborador decide mudar de emprego, a posição pode não ser mais substituída, e a organização considera realizar estudos avaliando a viabilidade de aplicar essa ferramenta em determinadas tarefas.
Aqui entra um ponto de preocupação que talvez alguns profissionais não estejam percebendo. Estamos sendo dominados pela IA? Porventura, a resposta possa ser “Sim”, “Não” ou “Talvez”, mas isso depende do grau de visibilidade que possuímos desta tecnologia. A realidade é que existe um perigo por trás, e então nosso trabalho é saber como se preparar para remediar tais riscos.
Devemos indagar onde nos encaixaremos profissionalmente nesse ambiente, e como nos preparamos para manter a nossa empregabilidade?
Dados os riscos de alucinações, ainda factíveis recorrentes em soluções de IA, a resposta a uma determinada pergunta pode não ser precisa. Isso porque os métodos existentes por trás dos modelos de difusão usados nos treinamentos de IA utilizam técnicas de geração de código como “transformes” em LLMs. Por ora, esses recursos ainda apresentam limitações para validar um determinado dado antes de fornecer a resposta ao requisitante (usuário, API, etc).
Isso significa que ainda é preciso considerar o fator humano para avaliar determinadas respostas antes de prover uma decisão que pode ser relevante no contexto corporativo e real. A análise do resultado de um diagnóstico médico, por exemplo, ainda demanda a uma avaliação de um especialista, da mesma forma que uma avaliação quantitativa de um sistema crítico. De fato, é um ponto a se pensar!
Outra pergunta importante: Até onde devemos limitar e confiar em uma solução de IA? Como mencionado, muitos resultados podem ser positivos, mas é preciso que toda a organização pense e mantenha cautela com os riscos de privacidade, bias, justiça (Fairness) e transparência com os dados fornecidos. Pontos estes que têm levantado a atenção dos profissionais de Segurança da Informação.
Basicamente, o processo de execução de um modelo IA é composto em 3 fases:
1- Os dados que são inseridos em uma requisição;
2- Avaliação dos dados por uma arquitetura de treinamento;
3- O resultado da informação que será entregue.
Do ponto de vista de profissionais de Segurança da Informação, devemos julgar esses tópicos no escopo de avaliação e perspectiva de proteção dos dados.
No mercado já existem frameworks, como NIST RMF AI, SAIF Google, ISO 42001, AI Control Matrix (AICM) e AI Model Risk Management Framework da Cloud Security Alliance (CSA), além do MITRE ATLAS para a linha de Threat Intelligence e OWASP Top 10 LLMs, para Segurança em desenvolvimento de aplicações em IA, em quem apresenta as principais vulnerabilidades conhecidas no campo de AI/ML. Pretendo explorar essa temática em um outro artigo.
Hoje, tenho estudado particularmente o NIST RMF AI e o AI Model Risk Management Framework da CSA, pois, na minha visão, são eficazes para mapear e adicionar soluções de AI/ML no escopo do programa de Gestão de Riscos Cibernéticos da organização. Estes frameworks ajudam a entender e contextualizar as aplicações de IA, endereçar riscos, impactos e danos que podem acontecer por meio desse uso.
Fazendo uma pauta sobre os frameworks mais populares, o NIST AI RMF 1.0 foca olhando para o grupo de pessoas, organização e o ecossistema envolvido. Esses grupos são divididos nas fases de 1-Govern (Cultiva uma cultura do risco), 2-Map (Contexto do risco identificado e classificação dos ativos), 3-Measure (Identifica, avalia e mitiga o risco), e 4-Manage (Os riscos são priorizados de acordo com o impacto). Este modelo permite uma integração com o NIST CSF para a lente de controles de Cibersegurança, e o que é mais interessante: é um framework gratuito.
Outro modelo que não posso deixar de comentar é o AI Control Matrix (AICM), que contém 243 objetivos de controles divididos em 18 domínios e permite avaliar todos os pilares de Segurança de uma solução de IA, especificamente em ambiente de nuvem.
O AICM está integrado com AI-CAIQ, abrangendo outros frameworks, incluindo BSI AIC4 Catalog, NIST AI RMF e ISO 42001. É evidente que qualquer solução robusta de IA precisa de muito processamento e energia, que só podem ser encontrados em datacenters. Por este motivo, temos visto grandes investimentos de big techs na expansão de novas estruturas como estas em todas as regiões.
Assim, entender profundamente conceitos de nuvem (cloud) e responsabilidades compartilhadas (shared responsibilities) é fundamental para implementar uma solução de IA com precisão, Segurança e capaz de satisfazer o negócio, alavancando a capacidade da organização frente à concorrência.
Como resultado, tenho feito algumas pesquisas sobre GenAI à luz destes frameworks, caracterizando e visualizando o grande desafio para nós, profissionais de Cibersegurança, a fim de estabelecer a relevância da conexão entre os times envolvidos em um projeto de IA. A conexão é prioridade para o sucesso do projeto e, portanto, não devemos negligenciar o envolvimento das áreas de Governança, Risco Cibernético, Ética, Regulatório e Compliance, Cibersegurança, Ciência de Dados, Desenvolvedores de IA e ML, Recursos Humanos e Infraestrutura e Operações de TI.
Outro grande desafio é a demanda por mais treinamento dos profissionais de Cibersegurança nas competências ligadas a tecnologias de IA/ML. Isso inclui entender os aspectos técnicos da arquitetura, modelos de treinamentos utilizados, técnicas como RAG (Retrieval-Augmented Generation) – que propõem melhorias no modelo – e a aplicação da estratégia de Cibersegurança mais eficiente. Os olhos do CISO, do time de Cibersegurança e demais frentes envolvidas devem analisar a importância de controles dentro destas áreas: 1-Dado, 2-Infraestrutura, 3-Modelo, 4-Aplicação, 5-Garantia (Assurance) e 6-Governança.
Outro fator a ser considerado no escopo: o compartilhamento de responsabilidade em aplicações de Inteligência Artificial em ambiente de nuvem. Os princípios de Segurança dos modelos de GenAI e respectivas aplicações devem pensar em como o modelo da aplicação IA irá rodar nesses contextos.
Aqui destaco alguns pontos cruciais para estabelecer as responsabilidades compartilhadas na nuvem; 1- IA generativa como uma aplicação (Pública, SaaS), 2- IA generativa como uma plataforma (IaaS ou PaaS) e 3- Construir sua própria aplicação de IA (IaaS, On Premises).
Neste modelo, com ajuda dos frameworks mencionados acima, será possível mapear, ordenar e gerir os riscos na estratégia de IA adotada no que tange ao Controle de Acesso para dados e modelos de treinamento, Gestão e Treinamento de dados, Controles de Prompt, Desenvolvimento do Modelo, Inferência, Monitoramento e Infraestrutura.
Enfim, o ponto-chave que desejo despertar aos leitores neste artigo é pensar como nós, profissionais de Cibersegurança, estamos observando os riscos e impactos em nosso ambiente, e como nos preparar para avaliar tais soluções de GenAI em nosso mundo de forma real.
Eu, particularmente, tenho explorado alguns destes modelos conhecidos em ambiente de nuvem (SaaS), mas tenho me divertido muito na solução da Anthropic (cloude.ai). Neste modelo, é possível construir soluções robustas com código, bastando apenas ser criativo. Como exemplo, solicitei que criasse uma solução de Gestão de Risco completa e sugerisse comparar com algumas soluções no mercado e atender às melhores práticas como PCI-DSS, NIST, CRI, ISO 27001, etc.
Noto que a solução criou todo o back-end, faltando apenas a criação do frontend. Um projeto que poderia levar meses pode ser reduzido para semanas, a depender do investimento e esforço da mão de obra envolvida.
Em conclusão, recomendo buscar a nova certificação Trusted AI Safety Expert (TAISE), da Cloud Security Alliance (CSA), para quem tem interesse em explorar a arquitetura e os principais mecanismos de proteção em soluções de AI/ML. Tive a oportunidade de participar como contribuidor do programa de revisão do material, e reforço o alto padrão desse título.
Entretanto, levando em conta outras certificações nesta área, também tenho explorado e indico o material de AAISM da ISACA, que, por sua vez, é bem interessante no ponto de vista de Governança de Risco e Segurança em AI/ML. Contudo, a TAISE traz uma raiz mais abrangente no âmbito técnico que também incorpora Gestão de Risco e Governança em ambientes de nuvem. Considerando o mundo de hoje, a IA precisa de grande processamento e o ambiente ideal para rodar é a cloud.
Todavia, ambas se complementam e cabe ao profissional avaliar a melhor alternativa e direção na qual deixa de seguir. Como diz o provérbio do sábio: “Não abandone a sabedoria e o conhecimento, e ela guardará você; ame-a, e ela o protegerá”.
Até a próxima…
Este artigo foi publicado no portal Security Report.
*Rangel Rodrigues é advisor e security evangelist em Segurança da Informação, CISSP, CCSP, CGRC, CRISC, CCISO, CCSK, CCTZ, TAISE, e pós-graduado em Redes de Internet e Segurança da Informação pela FIAP e IBTA e Cyber Risk Management pela Harvard University. Tem MBA em Gestão de TI pela FIA-USP e é professor de Pós-Graduação em Gestão de Cibersegurança e Riscos Tecnológicos na FIA, instrutor da ISC2 e colaborador da Cloud Security Alliance (CSA) para a certificação CCSK e materiais como o Security Guidance for Critical Areas of Focus in Cloud Computing v5. Atualmente, trabalha para uma instituição financeira nos Estados Unidos.
*Por Rangel Rodrigues
Dada a importância da Inteligência Artificial, tenho me aprofundado neste tema nos últimos meses, mas com cautela, procurando entender o ponto chave de como podemos proteger aplicações baseadas em GenAI.
É evidente que estamos vivendo tempos em que a IA é o tema central em todas as áreas, e que pode proporcionar benefícios tanto para as organizações quanto ao usuário final. Além disso, ela pode agregar benefícios à proteção e à antecipação na deteção de ciberameaças, seja com Threat Intelligence, Resposta a Incidentes, e soluções de EDR, SOAR, entre outros.
Contudo, a pergunta que devemos fazer é o quanto estamos olhando para os riscos desta tecnologia emergente. À medida que a IA vai ganhando proporção, por meio do uso de soluções como ChatGPT, Claude.ai, Meta.ai, Copilot, Gemini, Grok, todas baseadas em SaaS, é fato que a IA está preenchendo a nossa rotina, e quem não se adaptar a ela pode ser considerado uma peça fora do tabuleiro.
Seja para gravar reuniões e criar resumos automatizados com Hynote.ai, ou para preparar um plano de Gestão de Riscos, realmente temos que reconhecer a velocidade e agilidade que a IA proporciona às tarefas diárias. Já vemos que, em algumas empresas onde o colaborador decide mudar de emprego, a posição pode não ser mais substituída, e a organização considera realizar estudos avaliando a viabilidade de aplicar essa ferramenta em determinadas tarefas.
Os riscos por trás da IA
Aqui entra um ponto de preocupação que talvez alguns profissionais não estejam percebendo. Estamos sendo dominados pela IA? Porventura, a resposta possa ser “Sim”, “Não” ou “Talvez”, mas isso depende do grau de visibilidade que possuímos desta tecnologia. A realidade é que existe um perigo por trás, e então nosso trabalho é saber como se preparar para remediar tais riscos.
Devemos indagar onde nos encaixaremos profissionalmente nesse ambiente, e como nos preparamos para manter a nossa empregabilidade?
Dados os riscos de alucinações, ainda factíveis recorrentes em soluções de IA, a resposta a uma determinada pergunta pode não ser precisa. Isso porque os métodos existentes por trás dos modelos de difusão usados nos treinamentos de IA utilizam técnicas de geração de código como “transformes” em LLMs. Por ora, esses recursos ainda apresentam limitações para validar um determinado dado antes de fornecer a resposta ao requisitante (usuário, API, etc).
Isso significa que ainda é preciso considerar o fator humano para avaliar determinadas respostas antes de prover uma decisão que pode ser relevante no contexto corporativo e real. A análise do resultado de um diagnóstico médico, por exemplo, ainda demanda a uma avaliação de um especialista, da mesma forma que uma avaliação quantitativa de um sistema crítico. De fato, é um ponto a se pensar!
Outra pergunta importante: Até onde devemos limitar e confiar em uma solução de IA? Como mencionado, muitos resultados podem ser positivos, mas é preciso que toda a organização pense e mantenha cautela com os riscos de privacidade, bias, justiça (Fairness) e transparência com os dados fornecidos. Pontos estes que têm levantado a atenção dos profissionais de Segurança da Informação.
Basicamente, o processo de execução de um modelo IA é composto em 3 fases:
1- Os dados que são inseridos em uma requisição;
2- Avaliação dos dados por uma arquitetura de treinamento;
3- O resultado da informação que será entregue.
Do ponto de vista de profissionais de Segurança da Informação, devemos julgar esses tópicos no escopo de avaliação e perspectiva de proteção dos dados.
No mercado já existem frameworks, como NIST RMF AI, SAIF Google, ISO 42001, AI Control Matrix (AICM) e AI Model Risk Management Framework da Cloud Security Alliance (CSA), além do MITRE ATLAS para a linha de Threat Intelligence e OWASP Top 10 LLMs, para Segurança em desenvolvimento de aplicações em IA, em quem apresenta as principais vulnerabilidades conhecidas no campo de AI/ML. Pretendo explorar essa temática em um outro artigo.
Hoje, tenho estudado particularmente o NIST RMF AI e o AI Model Risk Management Framework da CSA, pois, na minha visão, são eficazes para mapear e adicionar soluções de AI/ML no escopo do programa de Gestão de Riscos Cibernéticos da organização. Estes frameworks ajudam a entender e contextualizar as aplicações de IA, endereçar riscos, impactos e danos que podem acontecer por meio desse uso.
Sobre o uso dos Frameworks NIST AI RMF e AI Control Matrix (AICM)
Fazendo uma pauta sobre os frameworks mais populares, o NIST AI RMF 1.0 foca olhando para o grupo de pessoas, organização e o ecossistema envolvido. Esses grupos são divididos nas fases de 1-Govern (Cultiva uma cultura do risco), 2-Map (Contexto do risco identificado e classificação dos ativos), 3-Measure (Identifica, avalia e mitiga o risco), e 4-Manage (Os riscos são priorizados de acordo com o impacto). Este modelo permite uma integração com o NIST CSF para a lente de controles de Cibersegurança, e o que é mais interessante: é um framework gratuito.
Outro modelo que não posso deixar de comentar é o AI Control Matrix (AICM), que contém 243 objetivos de controles divididos em 18 domínios e permite avaliar todos os pilares de Segurança de uma solução de IA, especificamente em ambiente de nuvem.
O AICM está integrado com AI-CAIQ, abrangendo outros frameworks, incluindo BSI AIC4 Catalog, NIST AI RMF e ISO 42001. É evidente que qualquer solução robusta de IA precisa de muito processamento e energia, que só podem ser encontrados em datacenters. Por este motivo, temos visto grandes investimentos de big techs na expansão de novas estruturas como estas em todas as regiões.
Assim, entender profundamente conceitos de nuvem (cloud) e responsabilidades compartilhadas (shared responsibilities) é fundamental para implementar uma solução de IA com precisão, Segurança e capaz de satisfazer o negócio, alavancando a capacidade da organização frente à concorrência.
Como resultado, tenho feito algumas pesquisas sobre GenAI à luz destes frameworks, caracterizando e visualizando o grande desafio para nós, profissionais de Cibersegurança, a fim de estabelecer a relevância da conexão entre os times envolvidos em um projeto de IA. A conexão é prioridade para o sucesso do projeto e, portanto, não devemos negligenciar o envolvimento das áreas de Governança, Risco Cibernético, Ética, Regulatório e Compliance, Cibersegurança, Ciência de Dados, Desenvolvedores de IA e ML, Recursos Humanos e Infraestrutura e Operações de TI.
Os profissionais de Cibersegurança precisam ser treinados
Outro grande desafio é a demanda por mais treinamento dos profissionais de Cibersegurança nas competências ligadas a tecnologias de IA/ML. Isso inclui entender os aspectos técnicos da arquitetura, modelos de treinamentos utilizados, técnicas como RAG (Retrieval-Augmented Generation) – que propõem melhorias no modelo – e a aplicação da estratégia de Cibersegurança mais eficiente. Os olhos do CISO, do time de Cibersegurança e demais frentes envolvidas devem analisar a importância de controles dentro destas áreas: 1-Dado, 2-Infraestrutura, 3-Modelo, 4-Aplicação, 5-Garantia (Assurance) e 6-Governança.
Perspectiva de responsabilidades compartilhadas em cloud
Outro fator a ser considerado no escopo: o compartilhamento de responsabilidade em aplicações de Inteligência Artificial em ambiente de nuvem. Os princípios de Segurança dos modelos de GenAI e respectivas aplicações devem pensar em como o modelo da aplicação IA irá rodar nesses contextos.
Aqui destaco alguns pontos cruciais para estabelecer as responsabilidades compartilhadas na nuvem; 1- IA generativa como uma aplicação (Pública, SaaS), 2- IA generativa como uma plataforma (IaaS ou PaaS) e 3- Construir sua própria aplicação de IA (IaaS, On Premises).
Neste modelo, com ajuda dos frameworks mencionados acima, será possível mapear, ordenar e gerir os riscos na estratégia de IA adotada no que tange ao Controle de Acesso para dados e modelos de treinamento, Gestão e Treinamento de dados, Controles de Prompt, Desenvolvimento do Modelo, Inferência, Monitoramento e Infraestrutura.
Pensando fora da caixa
Enfim, o ponto-chave que desejo despertar aos leitores neste artigo é pensar como nós, profissionais de Cibersegurança, estamos observando os riscos e impactos em nosso ambiente, e como nos preparar para avaliar tais soluções de GenAI em nosso mundo de forma real.
Eu, particularmente, tenho explorado alguns destes modelos conhecidos em ambiente de nuvem (SaaS), mas tenho me divertido muito na solução da Anthropic (cloude.ai). Neste modelo, é possível construir soluções robustas com código, bastando apenas ser criativo. Como exemplo, solicitei que criasse uma solução de Gestão de Risco completa e sugerisse comparar com algumas soluções no mercado e atender às melhores práticas como PCI-DSS, NIST, CRI, ISO 27001, etc.
Noto que a solução criou todo o back-end, faltando apenas a criação do frontend. Um projeto que poderia levar meses pode ser reduzido para semanas, a depender do investimento e esforço da mão de obra envolvida.
Certificados agregam valor a carreira
Em conclusão, recomendo buscar a nova certificação Trusted AI Safety Expert (TAISE), da Cloud Security Alliance (CSA), para quem tem interesse em explorar a arquitetura e os principais mecanismos de proteção em soluções de AI/ML. Tive a oportunidade de participar como contribuidor do programa de revisão do material, e reforço o alto padrão desse título.
Entretanto, levando em conta outras certificações nesta área, também tenho explorado e indico o material de AAISM da ISACA, que, por sua vez, é bem interessante no ponto de vista de Governança de Risco e Segurança em AI/ML. Contudo, a TAISE traz uma raiz mais abrangente no âmbito técnico que também incorpora Gestão de Risco e Governança em ambientes de nuvem. Considerando o mundo de hoje, a IA precisa de grande processamento e o ambiente ideal para rodar é a cloud.
Todavia, ambas se complementam e cabe ao profissional avaliar a melhor alternativa e direção na qual deixa de seguir. Como diz o provérbio do sábio: “Não abandone a sabedoria e o conhecimento, e ela guardará você; ame-a, e ela o protegerá”.
Até a próxima…
Este artigo foi publicado no portal Security Report.
*Rangel Rodrigues é advisor e security evangelist em Segurança da Informação, CISSP, CCSP, CGRC, CRISC, CCISO, CCSK, CCTZ, TAISE, e pós-graduado em Redes de Internet e Segurança da Informação pela FIAP e IBTA e Cyber Risk Management pela Harvard University. Tem MBA em Gestão de TI pela FIA-USP e é professor de Pós-Graduação em Gestão de Cibersegurança e Riscos Tecnológicos na FIA, instrutor da ISC2 e colaborador da Cloud Security Alliance (CSA) para a certificação CCSK e materiais como o Security Guidance for Critical Areas of Focus in Cloud Computing v5. Atualmente, trabalha para uma instituição financeira nos Estados Unidos.
Comentários
Postar um comentário