Crie um jogo interativo usando IA

Nesta atividade, você aprenderá a programar um jogo interativo que responde a gestos manuais e aplicará esse conhecimento para desenvolver seu próprio jogo interativo. Em seguida, você se envolverá em um desafio de design para criar elementos de jogo exclusivos, explorar o potencial da IA ​​nos jogos e obter uma compreensão mais profunda de como a IA funciona. Prepare-se para descobrir as incríveis possibilidades da IA!

A detecção de mãos é o processo que um computador usa para identificar uma mão a partir de uma imagem. É importante em vários campos, como robótica, visão computacional e interação humano-computador. Modelos precisos de detecção de mãos são necessários para permitir que as máquinas interajam com os humanos de maneira eficaz. Com o advento de métodos baseados em aprendizado, os modelos de detecção de mãos tornaram-se mais robustos e precisos, tornando-os adequados para aplicações da vida real.

Por exemplo, modelos de detecção de mãos podem ser usados ​​para sistemas de reconhecimento de gestos como o SignAll, que usa visão computacional para reconhecer e traduzir a linguagem de sinais americana em texto ou fala. Seus modelos de aprendizado de máquina são treinados para reconhecer diferentes gestos de linguagem de sinais, o que pode ajudar pessoas surdas ou com deficiência auditiva a se comunicarem com outras pessoas que não conhecem a linguagem de sinais.

A tecnologia principal do SignAll usa informações visuais, como imagens e vídeos, e converte essas informações em dados que podem ser processados ​​pelo computador.

A linguagem de sinais é uma linguagem expressiva e visual, por isso pode ser um desafio para a tecnologia tradicional interpretar. Com o SignAll, a câmera de um telefone ou computador é usada para capturar, analisar e traduzir os elementos centrais da linguagem de sinais.

Todos esses elementos são catalogados e interpretados pelo software do computador, permitindo a compreensão da língua de sinais do usuário. À medida que o aplicativo coleta essas informações visuais, ele as compara com um banco de dados de milhares de possíveis gestos de linguagem de sinais. Ele usa aprendizado de máquina para restringir as possibilidades e prever as opções mais prováveis. O aplicativo apresenta essas opções para o usuário e ele seleciona a opção que corresponde ao que está tentando dizer.

O aprendizado de máquina pode ser uma ferramenta poderosa para enfrentar os desafios de comunicação para pessoas surdas e com deficiência auditiva. Pessoas surdas ou com deficiência auditiva geralmente enfrentam barreiras de comunicação ao assinar com membros da comunidade de ouvintes. A IA pode ajudar a superar essas barreiras desenvolvendo soluções tecnológicas que permitem que pessoas surdas e com deficiência auditiva se comuniquem com outras pessoas de forma espontânea e eficaz, a qualquer hora e em qualquer lugar.

Agora que você sabe como o SignAll funciona, pense nessas questões:

Se você pudesse levar essa tecnologia um passo adiante, como seria? Vamos descobrir!

Nesta atividade, você vai pegar as ideias por trás do aplicativo SignAll e simplificá-las para criar um jogo interativo que reconhece os movimentos das mãos e reage a eles. Você moverá sua mão pela tela enquanto tenta tocar em objetos que aparecem aleatoriamente. A câmera do seu computador observará onde sua mão se move e sua inteligência artificial rastreará e entenderá seu movimento.

Você pode querer trabalhar com um parceiro ou um grupo neste projeto para ter amigos para ajudar a debater ideias, oferecer feedback e depurar seu código. Você não precisa de nenhum conhecimento prévio de IA ou aprendizado de máquina para fazer esta atividade.

Para este projeto, você usará o software PoseBlocks do MIT. Este kit de ferramentas gratuito usa blocos de arrastar e soltar para criar código, muito parecido com a popular linguagem de codificação Scratch. A diferença entre eles é que o PoseBlocks possui blocos especiais para usar a inteligência artificial de rastreamento corporal integrada.

Para criar seu código, você clicará no sprite do fatiador e arrastará os blocos para o espaço de trabalho. O espaço de trabalho PoseBlock tem várias seções. (Se você estiver familiarizado com o Scratch, isso parecerá muito familiar.)

A área à esquerda tem três guias denominadas "Código", "Fantasias" e "Sons", cada uma das quais inclui uma biblioteca de itens que você pode usar. Todos os blocos de código estão na biblioteca de código, onde são agrupados por função e codificados por cores. A biblioteca de figurinos permite adicionar, alterar ou desenhar sprites. "Sprite" é o nome de um objeto ou personagem em PoseBlock. Cada sprite pode receber um código para fazer algo em seu programa. Quando um sprite tem múltiplas formas, nós os chamamos de fantasias. Por exemplo, o sprite dos elementos tem nove fantasias. Clique na guia "Trajes" para vê-los. (Você pode usar qualquer sprite que desejar. Você pode até desenhar o seu próprio.)