Um incidente incomum ocorreu na província de Hebei, na China, envolvendo um sistema de combate a incêndios baseado em inteligência artificial (IA). O sistema, instalado em um resort de esqui, interpretou uma animação de fogo exibida em um painel digital como um incêndio real.
Como resultado, o sistema direcionou um bico de água para o painel e começou a regar um quiosque de comida vizinho com água. Em pouco tempo, a água molhou os produtos e as proximidades do quiosque.
Este incidente aconteceu em 19 de novembro em Zhangjiakou, província de Hebei, no resort de esqui Wanlang. Um painel digital estava localizado em frente ao restaurante, exibindo uma animação de chamas. O sistema de IA interpretou essa imagem como fogo real e, em seguida, direcionou seu bico de água para o painel.
O sistema, equipado com câmeras, é projetado para detectar incêndios no resort. Ele analisa as imagens circundantes, tentando identificar fogo. No entanto, neste caso, o sistema cometeu um erro. O vídeo, que se tornou viral nas redes sociais, mostra um forte fluxo de água caindo sobre o painel, perto do qual havia um autômato de gelo e cadeiras de bar, que também ficaram molhados.
Ninguém se feriu como resultado do incidente. No entanto, o quiosque teve que ser fechado temporariamente para limpeza, após o que as operações do restante do resort continuaram normalmente. Os funcionários do resort explicaram que o sistema foi criado para detecção e extinção rápidas de incêndios, mas desta vez ele direcionou a água para o lugar errado.
Diversos relatórios mencionam que a causa do acionamento do alarme poderia ter sido o equipamento localizado na cozinha, e então o sistema começou a regar o painel com a imagem de fogo em vez da fonte real.
Normalmente, os sistemas de combate a incêndios reagem a calor ou fumaça. No entanto, os sistemas de IA também são capazes de analisar imagens capturadas por câmeras. Eles tentam reconhecer sinais de fogo, como chamas, cores e movimento. A vantagem dessa abordagem é a capacidade de resposta rápida em caso de incêndio. Mas o incidente na China demonstrou também uma séria falha dessa tecnologia: a IA pode confundir uma imagem com fogo com um incêndio real.
Portanto, os especialistas observam que confiar apenas em câmeras para garantir a segurança não é suficiente. Para uma detecção precisa de incêndios, é necessário verificar simultaneamente dados de temperatura, fumaça e informações obtidas pelas câmeras. Este caso, embora pareça engraçado, levanta uma questão importante sobre o grau de confiança que deve ser depositado na IA em áreas tão críticas quanto a segurança.

