FathomVerse: aproveitando IA e jogos para orientar a exploração oceânica

FathomVerse combina imagens envolventes, jogabilidade envolvente e ciência de ponta para ajudar a melhorar as ferramentas de inteligência artificial necessárias para estudar a vida marinha e avaliar a saúde dos oceanos.

Um novo jogo para celular lançado hoje permite que qualquer pessoa com um smartphone ou tablet participe da exploração e descoberta dos oceanos. Bem-vindo ao FathomVerse. Agora disponível para download na App Store e no Google Play, o FathomVerse permite aos jogadores interagir com imagens subaquáticas reais para melhorar a inteligência artificial que ajuda os pesquisadores a estudar a vida oceânica. O jogo combina imagens envolventes, jogabilidade envolvente e ciência de ponta para inspirar uma nova onda de exploradores oceânicos.

IA e pesquisa oceânica

Os cientistas estão a recolher enormes quantidades de imagens e vídeos para estudar a vida marinha e avaliar a saúde dos oceanos. A IA pode ajudar os investigadores a analisar este dilúvio de dados visuais de forma mais eficiente. Antes que a IA possa ser usada para a exploração oceânica, aprendizado de máquina modelos precisam ser treinados para identificar animais oceânicos. FathomVerse, um novo jogo para celular, busca enfrentar esse desafio envolvendo entusiastas dos oceanos de todo o mundo para ajudar a revisar e rotular imagens para que a IA possa reconhecer corretamente os animais marinhos.

“Com um enorme desafio surge uma enorme oportunidade: como dimensionamos a nossa capacidade de análise de dados valiosos sobre o oceano e, ao mesmo tempo, concretizamos uma visão nova e inclusiva para a exploração e descoberta dos oceanos? Ao combinar experiência em ciência oceânica, interações humano-IA e jogos, o FathomVerse oferece uma solução”, disse o engenheiro principal do MBARI, Kakani Katija, que liderou o desenvolvimento do FathomVerse.

Desenvolvimento FathomVerse

Para desenvolver o FathomVerse, os engenheiros de software Katija e MBARI colaboraram com especialistas em design de jogos &ranj Serious Games – um estúdio de desenvolvimento de jogos com sede na Holanda focado em mudanças comportamentais positivas por meio do jogo – e Internet of Elephants – uma empresa de tecnologia da natureza com sede no Quênia focada em reavivar relacionamentos entre pessoas e vida selvagem.

“Com mais de 3 mil milhões de pessoas a jogar videojogos em todo o mundo, questionámo-nos se poderíamos envolver um público mais vasto na exploração dos oceanos através dos seus dispositivos móveis. Sabemos que os jogos podem gerar soluções criativas e inesperadas para problemas do mundo real. Com o FathomVerse, fundimos a ciência com uma experiência de jogo inovadora, com o objetivo de inspirar a curiosidade, fomentar a aprendizagem e contribuir para a exploração dos oceanos”, disse GAF van Baalen, diretor de jogos da &ranj Serious Games.

Coleta e análise de dados

As câmeras dos robôs subaquáticos avançados do MBARI ajudaram nossos cientistas a descobrir novas e notáveis espécies, observe ambientes únicos de águas profundas e monitore a saúde dos oceanos. MBARI acumulou um enorme arquivo de vídeos de águas profundas. Para analisar o vídeo, os pesquisadores do Laboratório de Vídeo do MBARI analisam milhares de horas de filmagem para identificar e rotular animais e objetos. Este tesouro de dados visuais inclui mais de 10 milhões de observações de animais, comportamentos, interações, características geológicas, detritos marinhos e muito mais.

Processar manualmente as enormes quantidades de dados visuais que os investigadores recolheram e continuarão a recolher é uma tarefa difícil, exigindo um investimento significativo de tempo e recursos. A IA pode ajudar os pesquisadores a analisar dados com mais eficiência e escalar com a quantidade cada vez maior de dados visuais.

A MBARI está apoiando este esforço tão necessário, emprestando nossa experiência e recursos para ajudar a acelerar o desenvolvimento de ferramentas de IA para análise de dados visuais oceânicos.

Antes que a inteligência artificial possa ser usada para analisar dados oceânicos, ela deve ser treinada para identificar a vida marinha. O MBARI está contribuindo com conteúdo de seu arquivo de imagens de águas profundas habilmente rotuladas para um banco de dados de código aberto chamado FathomNet. Este banco de dados foi desenvolvido em colaboração com engenheiros de software do MBARI e foi alimentado com quase 100.000 imagens rotuladas coletadas por diversas equipes de pesquisa do MBARI nos últimos 35 anos. Esse esforço levou a questões sobre como podemos envolver um público mais amplo na verificação dos dados de imagem rotulados necessários para o treinamento de modelos de aprendizado de máquina.

“Inspirada por outras aplicações científicas comunitárias, como iNaturalist e eBird, a nossa equipa quis conceber formas de explorar o entusiasmo generalizado pelos animais oceânicos e, ao mesmo tempo, convidar uma comunidade mais ampla de pessoas a participar na exploração e descoberta dos oceanos”, explicou Katija.

A equipe passou 18 meses desenvolvendo o FathomVerse. Após um lançamento beta bem-sucedido em 2023, que atraiu quase 1.400 jogadores de 65 países, o aplicativo FathomVerse foi lançado publicamente na App Store e no Google Play nos mercados globais em 1º de maio de 2024.

Recursos do jogo e impacto educacional

“A equipe FathomVerse trabalhou em estreita colaboração com testadores beta recrutados com a ajuda do MBARI e do Monterey Bay Aquarium para desenvolver uma jogabilidade envolvente. Criamos um mundo subaquático aconchegante onde jogadores casuais podem explorar, jogar e aprender. Projetado para ser fácil de pegar, você pode apreciá-lo com seu café da manhã ou enquanto espera o ônibus”, disse Lilli Carlsen, coordenadora de engajamento de IA da Ocean Vision.

No novo jogo FathomVerse, os jogadores podem:

• Lance minijogos para encontrar e rotular animais marinhos usando imagens reais coletadas por pesquisadores.
• Aprenda como identificar quase 50 grupos de animais marinhos.
• Salve imagens favoritas e crie uma galeria pessoal.
• Desbloqueie prêmios para expandir seu conhecimento sobre os animais marinhos e se aprofundar em como a jogabilidade melhora a inteligência artificial.
• Ouça os canais da Ocean Radio e percorra diferentes trilhas sonoras inspiradas na paisagem sonora do oceano.
• Seja um dos primeiros a ver novas imagens coletadas por pesquisadores que exploram o oceano.

Desenvolvimentos futuros na IA da Ocean Vision

FathomVerse é uma das três ferramentas de software desenvolvidas como parte do programa Ocean Vision AI liderado por Katija. Ocean Vision AI é um projeto colaborativo inovador que busca tornar a IA e a pesquisa oceânica mais acessíveis e impactantes. Além do FathomVerse, a Ocean Vision AI lançou o FathomNet, um banco de dados de imagens habilmente rotuladas e modelos de aprendizado de máquina que podem ser usados ​​para identificar animais oceânicos. No verão de 2024, a Ocean Vision AI lançará o Portal, uma ferramenta colaborativa on-line para processamento de imagens oceânicas de ponta a ponta assistido por IA.

“Com a tripla ameaça de alterações climáticas, poluição e pesca excessiva, é mais urgente do que nunca compreendermos as mudanças nos nossos oceanos. Precisamos de todos no convés para estudar o oceano nesta encruzilhada crítica. Ao explorar a nossa curiosidade colectiva, a FathomVerse procura transformar a exploração dos oceanos, envolvendo uma comunidade de entusiastas dos oceanos para trabalhar ao lado de investigadores”, disse Katija.

O financiamento para o FathomVerse veio do Convergence Accelerator da National Science Foundation, da David and Lucile Packard Foundation e do Schmidt Marine Technology Partners, um programa da Schmidt Family Foundation.