Aprendizado de máquina aplicado ao sensoriamento remoto
Desde o lançamento do AlexNet [1] por Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton, em 2012, para competir no Desafio de reconhecimento visual em grande escala do ImageNet, houve uma explosão de pesquisas em visão computacional focadas no aprendizado profundo. Houve melhorias acentuadas nas tarefas de visão computacional, como classificação de imagens, detecção de objetos e segmentação de instâncias. Melhorias nessas tarefas de visão computacional têm implicações profundas na inteligência geoespacial (GEOINT).

Nos últimos anos, houve várias competições de ciência de dados que visam direcionar mais pesquisa e desenvolvimento em visão computacional para aplicativos de sensoriamento remoto. Essas competições geraram novas técnicas analíticas, variando da detecção geral de objetos à segmentação e classificação de recursos (veja a Figura 1), que combinam a visão computacional de ponta com os problemas geoespaciais. À medida que as técnicas de aprendizado de máquina com foco em sensoriamento remoto amadurecem, os profissionais do GEOINT precisam entender e envolver a comunidade de pesquisa para ajudar a estruturar a aplicação dessas novas técnicas contra problemas geoespaciais.
Atualmente, é difícil traduzir requisitos de missão em métricas de avaliação de aprendizado de máquina e vice-versa. Por exemplo, na comunidade de visão computacional, a maioria dos resultados é descrita por determinadas métricas específicas da imagem, como mAP, F1 Score, Precision e Recall. Como alternativa, um praticante do GEOINT pode querer incorporar recursos de aprendizado de máquina em seu fluxo de trabalho, mas não sabe qual nível de desempenho (ou suporte aprimorado) é necessário para uma missão específica.
Em 2013, a indústria automotiva abordou esse desafio para as capacidades de veículos autônomos, estabelecendo uma taxonomia para os níveis de direção autônoma. Os níveis foram definidos de zero (sem automação) a cinco (automação total). Neste artigo, exploraremos paralelos dessa estrutura relevantes para os profissionais do GEOINT e proporemos uma estrutura para definir os níveis de aumento de analistas. Esperamos que isso permita que usuários finais geoespaciais e pesquisadores de aprendizado de máquina se entendam melhor, e talvez ajude a direcionar a aplicação desses algoritmos contra problemas geoespaciais.
O caso de uso dos requisitos fundamentais de mapeamento, antes, durante e depois de um furacão é relevante, dados os recentes eventos de desastre natural. Definiremos uma taxonomia semelhante aos níveis de automação da Society of Automotive Engineers (SAE) [2] para entender quais recursos estão se aproximando da prontidão e quais requerem pesquisas mais direcionadas.
Caso de uso de resposta a desastre de furacão
Os cenários de resposta a desastres representam um desafio para analistas geoespaciais e profissionais de sistemas de informações geográficas (SIG). Durante as fases preparatória, de resposta e de recuperação de um desastre, os analistas e as organizações de ajuda são encarregados de fornecer soluções de mapeamento oportunas, dinâmicas e precisas para apoiar funções de ajuda, como a entrega de suprimentos e serviços críticos. No entanto, a complexidade, a volatilidade e a escala geográfica de muitos desastres naturais podem limitar a velocidade e, em alguns casos, a precisão, das técnicas de anotação de mapeamento manual. Enquanto iniciativas globais de crowdsourcing, como a Humanitarian OpenStreetMap Team (HOT) [3] aumentaram significativamente a velocidade e a robustez da geração e disseminação de dados de mapeamento dinâmico, o amadurecimento rápido das técnicas de aprendizado de máquina, especificamente a visão computacional, pode ajudar a acelerar o desenvolvimento de mapas oportunos em grandes áreas geográficas.
Os furacões Irma e Maria causaram uma devastação econômica e humanitária em nível recorde em grande parte do Caribe em setembro de 2017. Algumas das áreas mais atingidas, como Porto Rico, ainda estão se recuperando dos efeitos da tempestade mais de um ano depois. [4] O grande número de áreas afetadas, juntamente com a velocidade das tempestades, principalmente o furacão Maria, levaram ao limite os processos de mapeamento manual de código aberto. Por exemplo, a HOT utilizou mais de 5.300 voluntários de mapeamento para produzir mais de 950.000 camadas de pegadas de construção e mais de 30.000 quilômetros de camadas de estradas em aproximadamente cinco semanas para os locais afetados pelo Maria. [5] Foi um feito verdadeiramente surpreendente, mas apresenta a pergunta: como o aprendizado de máquina poderia acelerar esse processo de geração de mapas? Mais especificamente, quais são os principais atributos dos mapas (camadas) que os colaboradores estão rotulando e quais recursos podem se beneficiar da automação?
Durante a resposta inicial do Maria, a característica mais importante do mapa foi a construção de pegadas, pois representam a infraestrutura básica de onde as pessoas vivem e trabalham. Como havia dados limitados de qualidade preexistentes sobre contagens, locais e classificações da estrutura (ou seja, o objetivo da estrutura), os socorristas não tinham informações detalhadas sobre o número de pessoas potencialmente em locais vulneráveis ou remotos. [6] Como resultado, foi difícil para os responsáveis por dar uma resposta humanitária priorizarem as missões de ajuda. Por exemplo, quando as autoridades decidiram evacuar áreas a jusante da barragem de Guajataca, em Porto Rico, devido ao potencial de colapso da barragem, as autoridades precisavam saber o tamanho da população circundante. [7] Contar e classificar estruturas foi um método para aproximar o tamanho da população. Desde o pedido da Cruz Vermelha Americana de atualizar as pegadas de construção em 22 de setembro até o lançamento do mapa da “primeira passada” em 25 de outubro, a HOT, em conjunto com seus parceiros de missão, conduziu 12 campanhas de rotulagem separadas para edifícios em Porto Rico. [8]
Embora existissem mapas da rede viária para a maioria de Porto Rico, a natureza dinâmica do furacão Maria exigia atualizações oportunas da rede viária. Mais de 1.500 estradas foram danificadas, bloqueadas ou levadas pelo furacão. Como resultado, os socorristas precisaram de atualizações rápidas nos mapas de transporte para determinar para onde os suprimentos poderiam e deveriam ser enviados. [9] Dados os danos generalizados à rede rodoviária, os esforços iniciais de mapeamento concentraram-se principalmente na identificação de quais rotas eram aceitáveis. [10] Logística eficiente e planejamento de rotas foram particularmente importantes durante os primeiros dias da fase de resposta, porque Porto Rico não possuía suprimentos de ajuda suficientes, como geradores e sistemas de filtragem de água armazenados localmente. [11] Analistas e voluntários de mapeamento atualizaram completamente os rótulos da rede rodoviária de Porto Rico durante um período de cinco semanas.
Os analistas da categoria de recursos do terceiro mapa fornecido foram pontos críticos de infraestrutura (POIs). Como toda a ilha de Porto Rico perdeu energia quando Maria chegou a terra firme, um importante recurso de classificação era a infraestrutura de energia. Os blecautes prolongados da ilha e os efeitos catastróficos associados, incluindo a perda de vidas, destacam a complexidade da identificação de tipos específicos de infraestrutura. [12] Porto Rico também enfrentou sérios desafios de comunicação nos dias seguintes ao Maria. Para piorar a situação, funcionários e voluntários tinham um suprimento insuficiente de telefones via satélite. Os analistas também foram solicitados a identificar a infra-estrutura de comunicações, como torres de microondas, em um esforço para ajudar as equipes de resposta e os fornecedores de serviços locais.
Por fim, a identificação de instalações e infraestrutura médicas foi importante devido a falta de energia, inundações e danos em alguns dos maiores centros hospitalares da região. [13] A identificação de PIs foi particularmente desafiadora para os analistas, porque exigia que eles identificassem uma estrutura específica, classificassem o tipo de estrutura e determinassem a presença e gravidade dos danos. Com base em estudos anteriores que analisaram imagens de sensoriamento remoto após o terremoto de 2010 no Haiti, a classificação precisa de estruturas e danos subsequentes usando apenas imagens de satélite ou conjuntos de dados aéreos não foram possíveis porque um edifício danificado não era necessariamente visível diretamente do alto. [14] Para detectar e verificar os danos à construção, foi necessário um levantamento no local e/ ou imagem fora do ângulo para coletar adequadamente imagens que mostrassem características dos danos à construção, particularmente estruturas desmoronadas ou parcialmente.
A escala e a diversidade das tarefas de mapeamento associadas aos cenários de resposta a desastres, como o furacão Maria, apresentam várias funções em potencial para as tecnologias emergentes de aprendizado de máquina. Primeiro, e de maneira mais geral, o aprendizado de máquina pode ajudar no fornecimento de atribuições de rotulagem, determinando o nível de complexidade em cada atribuição de imagem antes da tarefa. Cenas mais complexas podem ser atribuídas a analistas de mapeamento e rotuladores experientes, enquanto cenas mais simples podem ser direcionadas a analistas iniciantes. Segundo, algoritmos de detecção de objetos podem ser usados para executar o controle de qualidade nos dados de anotação de mapeamento enviados pelos analistas. O papel principal dos algoritmos nessa função seria como uma tecnologia de assistência para garantir que os analistas não perdessem os principais recursos. Terceiro, algoritmos de detecção de objetos (e potencialmente classificação) poderiam fornecer uma avaliação de cada imagem antes de serem atribuídos a um analista de mapeamento para inspeção humana. Embora essa implementação possa aumentar bastante o desempenho e a velocidade do analista, ela requer um alto nível de desempenho algorítmico que pode não ser realista em algumas cenas complexas da tecnologia atual.
Definindo uma taxonomia de automação
Em janeiro de 2014, a SAE lançou sua primeira versão do J3016: Taxonomia e Definições para Termos Relacionados a Sistemas de Automação de Condução para Veículos Motorizados em Estrada. Este documento foi fundamental para unificar o idioma e fornecer clareza sobre os recursos pretendidos dos produtos em design. Ele descreve seis níveis de automação, desde a não automação de direção (Nível 0) até a automação de direção completa (Nível 5). À medida que as capacidades de direção autônoma evoluíram, essa taxonomia passou por duas revisões e passou de 12 para 35 páginas.
Construir uma taxonomia semelhante para problemas geoespaciais permitiria à Comunidade GEOINT passar de uma definição centralizada em tecnologia para uma definição centralizada em caso de uso. Isso ajudaria a comunidade a entender melhor o que está pedindo às novas tecnologias e os tipos de desempenho que devem ser esperados.
A tabela a seguir é uma taxonomia proposta para avançar em direção à extração automatizada de edifícios para mapeamento fundamental no contexto de um cenário de resposta a desastres. Ele separa duas tarefas igualmente difíceis, localizando objetos em uma imagem e fazendo uma classificação fina desses objetos na imagem.
Nível | Descrição |
Nível 0 | Nenhuma automação do aprendizado de máquina. O software tradicional de desktop ou GIS baseado na Web seria comumente usado com funções e ferramentas cartográficas padrão. |
Nível 1 | O aprendizado de máquina é usado para criar uma contagem geral de um objeto em uma ampla classe de recursos em uma área. Isso deve ser usado em situações nas quais grandes erros na contagem podem ser tolerados. |
Nível 2 | Uma única tarefa específica é automatizada para fornecer uma sugestão a um ser humano. Por exemplo, fornecendo uma caixa delimitadora ou polígono com localização geográfica ou fornecendo uma etiqueta recomendada para um recurso específico, como residência, escritório, delegacia ou hospital. |
Nível 3 | A atividade de rotulagem completa é automatizada e uma pegada completa e um rótulo de recurso estreito são enviados para um rotulador humano, e um rótulo recomendado para um recurso específico é fornecido para um ser humano avaliar. |
Nível 4 | A atividade de rotulagem completa é automatizada e uma etiqueta de pegada completa e recurso estreito é enviada a um ser humano, e um rótulo recomendado para um recurso específico é automatizado para uma área confinada geoespacialmente. |
Nível 5 | A atividade de rotulagem completa é automatizada e uma pegada completa e etiqueta de recurso restrito são automatizadas para todo o mundo. |
Estado da arte atual
Nos últimos dois anos, vários conjuntos de dados de código aberto projetados para avançar o estado da arte na aplicação do aprendizado de máquina aos desafios de mapas de construção precisos foram desenvolvidos. O conjunto de dados de construções da SpaceNet possui mais de 800.000 pegadas de construção em seis cidades (Atlanta, Cartum, Las Vegas, Paris, Rio de Janeiro e Xangai) [15] e foi projetado para melhorar o desempenho da extração de pegadas de construção a partir de imagens de satélite.
Em julho de 2017, a Atividade de Projetos de Pesquisa Avançada de Inteligência (IARPA) lançou seu conjunto de dados Mapa Funcional do Mundo (fMoW), que inclui mais de 1.000.000 chips de imagem de satélite DigitalGlobe cobrindo 63 categorias como aeroporto, delegacia, hospital, shopping e edifício residencial de uma única unidade e foi projetado para melhorar a classificação de edifícios e estruturas já identificados. [16]
O conjunto de dados da SpaceNet permite a criação de sistemas automatizados de nível 1 ou 2. O conjunto de dados do fMoW permite a criação de um sistema de nível 2 para a construção de classificação. Para habilitar o Nível 3 ao Nível 5, seriam necessários sistemas treinados nos dois conjuntos de dados ou, idealmente, outro conjunto de dados criado para permitir a avaliação dos sistemas Nível 3 ao Nível 5 para a criação de mapas fundamentais de uma região.
Conclusão
As inovações no aprendizado de máquina continuam a beneficiar a Comunidade GEOINT, fornecendo automação para permitir o mapeamento e a análise em velocidade, escala e eficiência sem precedentes. A aplicação desta tecnologia para impulsionar melhores resultados da missão deve permanecer o foco da comunidade. Para esse fim, entender qual nível de desempenho ou suporte aumentado é necessário para uma determinada missão continua sendo um desafio e uma oportunidade para os praticantes do GEOINT. Propusemos uma taxonomia e uma definição análoga aos seis níveis para a condução autônoma de veículos, com o objetivo de ajudar a permitir a aplicação de algoritmos avançados de aprendizado de máquina contra problemas geoespaciais.
Referências Bibliográficas
- https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
- https://www.sae.org/standards/content/j3016_201806/
- https://www.hotosm.org/
- https://www.theguardian.com/world/2018/aug/08/puerto-rico-hurricane-maria-electricity-ten-months
- https://wiki.openstreetmap.org/wiki/2017_Hurricanes_Irma_and_Maria
- https://www.philanthropy.com/article/Podcast-Nonprofit-Creates/244125
- https://www.dw.com/en/puerto-rico-evacuates-thousands-as-dam-breach-threatens-floods/a-40650400
- https://wiki.openstreetmap.org/wiki/2017_Hurricanes_Irma_and_Maria
- https://www.pbs.org/newshour/nation/volunteers-helping-puerto-rico-home-map-anyone-can-edit
- https://www.wsj.com/articles/inside-puerto-ricos-struggle-to-recover-a-month-after-hurricane-1508491811
- https://www.npr.org/2018/07/14/629131912/fema-internal-report-cites-problems-with-agencys-response-to-hurricane-maria
- https://edition.cnn.com/2018/08/29/us/puerto-rico-growing-death-toll/index.html
- https://www.humanityroad.org/situation-reports/caribbean/hurricane-maria
- https://spacenetchallenge.github.io/
- https://arxiv.org/pdf/1711.07846.pdf
Autoria Por: David Lindenbaum e Ryan Lewis, CosmiQ Works; Todd M. Bacastow, soluções radiantes; e Joe Flasher, Amazon Web Services (trajectorymagazine, 25 de janeiro de 2019)
Tradução: Evenuel V. Veloza