domingo, 9 de fevereiro de 2020

Identificador de objetos para pessoas com dificuldades visuais


Meu novo projeto é esse: um assistente para pessoas com dificuldades visuais. A ideia é criar algo que "veja", diga o que está à frente, e, se possível, indique a distância.



Este projeto é mais difícil do que eu imaginava, mas, aos poucos, vou saindo do lugar.



Tudo começou com esse projeto: https://github.com/cleuton/FaceGuard nele eu uso um Raspberry PI 3 e uma câmera para identificar pessoas através de reconhecimento facial.

Eu tive a ideia de criar um outro projeto, que pudesse identificar objetos, como: garrafas, cadernos, laptops, cachorros, pessoas, portas etc, para ser utilizado por pessoas com dificuldades visuais. Assim surgiu este novo projeto.

Nele, eu uso #deeplearning para processar as imagens em um modelo de rede neural multilabel, tendo como resultado as categorias de objetos na imagem capturada. Com um pouco de esforço, é possível criar uma saída audível e até incluir sensores untrassom para indicar a distância (pelo menos do objeto mais próximo).

Eu tentei com vários SoCs, como: Raspberry PI, Omega2 sem sucesso, pois o processamento do modelo requer grande capacidade de CPU ou o uso de GPU. Então, comecei os testes como Nvidia Jetson Nano e estou obtendo sucesso.

A câmera do Raspberry PI (modelo v2) funciona bem com o Jetson Nano, e tem até tutorial sobre isso: https://www.jetsonhacks.com/2019/04/02/jetson-nano-raspberry-pi-camera/

Agora, estou na fase de aprimorar o modelo e melhorar o código-fonte.

Os custos são altos, pois o Jetson nano, aqui no Brasil, está na faixa dos 1.500 reais, mas lá fora é bem barato.

Talvez seja possível adaptar o projeto para outras soluções, como: Raspberry PI 4B ou Rock PI N10, mas o custo continuaria a ser alto. Outra alternativa é separar a câmera do processamento, usando um Omega2 para enviar e receber via WiFi de um computador remoto. Seria uma solução indoor.

Uma mudança importante que estou fazendo é substituir meu modelo de CNN, que usava o Cifar 100, pelo Yolo: https://pjreddie.com/darknet/yolo/


Espero ter algo para mostrar em breve.


Nenhum comentário:

Postar um comentário