Sistema de vigilância digital da empresa Gaggle acionou alerta automático; caso reacende debate sobre privacidade e monitoramento nas escolas dos EUA.
À medida que a tragédia dos tiroteios em massa se torna um fator constante no cenário educacional americano, distritos escolares têm intensificado seus investimentos em sistemas de vigilância online projetados para monitorar a atividade digital dos estudantes. Essa crescente fusão entre tecnologia e segurança levantou um alerta recente e perturbador na Flórida.
Na cidade de Deland, um adolescente de 13 anos da Southwestern Middle School foi detido pela polícia após perguntar ao chatbot ChatGPT “como matar meu amigo no meio da aula”. De acordo com jornal the New York Post, a questão, feita através de um computador fornecido pela escola, ativou um alerta imediato no sistema de monitoramento operado pela empresa Gaggle, que fornece serviços de segurança para escolas em todo o país.
A polícia prontamente interrogou o estudante, cujo nome não foi divulgado. Ele alegou que estava “apenas brincando” com um amigo que o havia “irritado”.
“Outra ‘piada’ que gerou uma emergência no campus”, declarou o Gabinete, emitindo um apelo aos pais: “Pais, por favor conversem com seus filhos para que não cometam o mesmo erro.” O aluno foi preso e levado para a cadeia do condado, mas os detalhes sobre a acusação formal permanecem obscuros.
A empresa Gaggle se posiciona como uma solução de segurança para estudantes do K-12. Em seu site, a empresa detalha o uso de monitoramento web que filtra palavras-chave para obter “visibilidade no uso do navegador, incluindo conversas com ferramentas de IA como o Google Gemini, ChatGPT e outras plataformas.” O sistema visa sinalizar “comportamentos preocupantes ligados a automutilação, violência, bullying e muito mais”, fornecendo o contexto necessário com capturas de tela.
A Gaggle aborda diretamente a questão da privacidade estudantil, afirmando que “a maioria dos educadores e advogados dirá que, quando seu filho está usando a tecnologia fornecida pela escola, não deve haver expectativa de privacidade.” A empresa justifica sua postura citando a Lei de Proteção à Internet das Crianças (CIPA), que exige que as escolas protejam os alunos de conteúdo obsceno ou nocivo.
Essa abordagem, no entanto, atraiu a crítica de ativistas. Elizabeth Laird, diretora do Centro para Democracia e Tecnologia, disse à Associated Press que o sistema “rotinizou o acesso e a presença da polícia na vida dos estudantes, inclusive em suas casas.” A mesma reportagem também indicou que muitos dos alertas de segurança emitidos pela Gaggle acabam sendo falsos alarmes.
Este incidente na Flórida é o mais recente de uma série de casos em que chatbots de IA, como o ChatGPT, se tornam relevantes em investigações criminais ou incidentes de saúde mental.
Relatos de “psicose de IA” — onde pessoas com problemas de saúde mental interagem com os chatbots e têm seus delírios exacerbados — têm aumentado. Além disso, vários suicídios recentes foram atribuídos à interação de indivíduos com esses chatbots. O incidente na Flórida levanta, assim, novas questões sobre o estado de vigilância digital nas escolas e as complexas intersecções entre segurança, privacidade e o impacto da Inteligência Artificial na vida dos jovens.
*De Gazeta Brasil
