A IA de verificação de chamadas do Google pode aumentar a censura por padrão, alertam especialistas em privacidade
Um recurso do Google demonstrado em sua conferência I/O ontem, usando sua tecnologia generativa de IA para escanear chamadas de voz em tempo real em busca de padrões de conversação associados a fraudes financeiras, causou um arrepio coletivo na espinha dos especialistas em privacidade e segurança, que alertam que o recurso representa o limite mínimo. Eles alertam que, uma vez integrada a varredura do lado do cliente na infraestrutura móvel, isso poderá inaugurar uma era de censura centralizada.
A demonstração do Google do recurso de detecção de fraudes de chamadas, que a gigante da tecnologia disse que seria incorporada a uma versão futura de seu sistema operacional Android – estimado para rodar em cerca de três quartos dos smartphones do mundo – é alimentada por Gêmeos Nanoo menor de sua geração atual de modelos de IA destinados a serem executados inteiramente no dispositivo.
Trata-se essencialmente de uma verificação do lado do cliente: uma tecnologia nascente que gerou enorme controvérsia nos últimos anos em relação aos esforços para detectar material de abuso sexual infantil (CSAM) ou mesmo atividades de aliciamento em plataformas de mensagens.
A Apple abandonou um plano para implantar verificação do lado do cliente para CSAM em 2021 depois de uma enorme reação contra a privacidade. No entanto, os decisores políticos continuaram a exercer pressão na indústria de tecnologia para encontrar maneiras de detectar atividades ilegais que ocorrem em suas plataformas. Qualquer movimento da indústria para construir uma infra-estrutura de digitalização no dispositivo poderia, portanto, abrir caminho para todos os tipos de digitalização de conteúdo por padrão – seja liderada pelo governo ou relacionada a uma agenda comercial específica.
Respondendo à demonstração de verificação de chamadas do Google em um postar no X, Meredith Whittaker, presidente do aplicativo de mensagens criptografadas Signal, com sede nos EUA, alertou: “Isso é incrivelmente perigoso. Ele estabelece o caminho para a verificação centralizada no lado do cliente no nível do dispositivo.
“Da detecção de 'golpes' é um pequeno passo para 'detectar padrões comumente associados à busca de cuidados reprodutivos' ou 'comumente associados ao fornecimento de recursos LGBTQ' ou 'comumente associados à denúncia de trabalhadores de tecnologia'”.
O especialista em criptografia Matthew Green, professor da Johns Hopkins, também levou para X para dar o alarme. “No futuro, os modelos de IA farão inferências em seus textos e chamadas de voz para detectar e denunciar comportamentos ilícitos”, alertou. “Para que seus dados passem pelos provedores de serviços, você precisará anexar uma prova de conhecimento zero de que a digitalização foi realizada. Isso bloqueará clientes abertos.”
Green sugeriu que este futuro distópico de censura por defeito está apenas a alguns anos de ser tecnicamente possível. “Estamos um pouco longe dessa tecnologia ser suficientemente eficiente para ser implementada, mas apenas alguns anos. Uma década no máximo”, sugeriu.
Os especialistas europeus em privacidade e segurança também se opuseram rapidamente.
Reagindo à demonstração do Google em X, Lukasz Olejnik, um pesquisador independente e consultor baseado na Polônia para questões de privacidade e segurança, saudou o recurso anti-fraude da empresa, mas alertou que a infraestrutura poderia ser reaproveitada para vigilância social. “(T)isso também significa que capacidades técnicas já foram ou estão sendo desenvolvidas para monitorar chamadas, criação, redação de textos ou documentos, por exemplo, em busca de conteúdo ilegal, prejudicial, odioso ou de outra forma indesejável ou iníquo – com relação a os padrões de alguém”, escreveu ele.
“Indo além, tal modelo poderia, por exemplo, exibir um aviso. Ou bloquear a capacidade de continuar”, continuou Olejnik com ênfase. “Ou relate isso em algum lugar. Modulação tecnológica do comportamento social ou algo semelhante. Esta é uma grande ameaça à privacidade, mas também a uma série de valores e liberdades básicos. As capacidades já estão aí.”
Revelando ainda mais suas preocupações, Olejnik disse ao TechCrunch: “Não vi os detalhes técnicos, mas o Google garante que a detecção seria feita no dispositivo. Isso é ótimo para a privacidade do usuário. No entanto, há muito mais em jogo do que privacidade. Isto destaca como os AI/LLMs incorporados em software e sistemas operacionais podem ser usados para detectar ou controlar várias formas de atividade humana.
Isto destaca como os AI/LLMs incorporados em software e sistemas operacionais podem ser usados para detectar ou controlar várias formas de atividade humana.
Lukasz Olejnik
“Até agora, felizmente, é para melhor. Mas o que acontecerá se a capacidade técnica existir e estiver incorporada? Estas características poderosas sinalizam potenciais riscos futuros relacionados com a capacidade de utilização da IA para controlar o comportamento das sociedades em grande escala ou de forma seletiva. Esta é provavelmente uma das capacidades de tecnologia da informação mais perigosas já desenvolvidas. E estamos nos aproximando desse ponto. Como governamos isso? Estamos indo longe demais?”
Michael Veale, professor associado de direito tecnológico na UCL, também levantou o espectro arrepiante do aumento de funções que flui da IA de varredura de conversas do Google – alerta em reação postar no X que “estabelece infraestrutura para varredura do lado do cliente no dispositivo para mais finalidades do que esta, que os reguladores e legisladores desejarão abusar”.
Os especialistas em privacidade na Europa têm motivos especiais para preocupação: a União Europeia teve em cima da mesa uma controversa proposta legislativa de verificação de mensagens desde 2022quais críticos – incluindo o próprio Supervisor de Proteção de Dados do bloco — avisar representa um ponto de viragem para os direitos democráticos na região, uma vez que forçaria as plataformas a digitalizar mensagens privadas por defeito.
Embora a atual proposta legislativa afirme ser agnóstica em termos de tecnologia, espera-se amplamente que tal lei leve a que as plataformas implementem a digitalização do lado do cliente, a fim de serem capazes de responder a uma chamada ordem de detecção que exige que identifiquem CSAM conhecidos e desconhecidos e também selecione atividades de preparação em tempo real.
No início deste mêscentenas de especialistas em privacidade e segurança escreveram uma carta aberta alertando que o plano poderia levar a milhões de falsos positivos por dia, já que as tecnologias de varredura do lado do cliente que provavelmente serão implantadas pelas plataformas em resposta a uma ordem legal não são comprovadas e são profundamente falhas. e vulnerável a ataques.
O Google foi contatado para responder às preocupações de que sua IA de varredura de conversas pudesse minar a privacidade das pessoas, mas até o momento não havia respondido.
Estamos lançando um boletim informativo sobre IA! Inscrever-se aqui para começar a recebê-lo em suas caixas de entrada em 5 de junho.
