OpenCV Tracking é um método popular usado para rastrear objetos em um vídeo em tempo real. OpenCV é uma poderosa biblioteca usada para processamento de imagens e aplicações de visão computacional.
Da análise de vídeo em tempo real à Realidade Aumentada, o OpenCV Tracking tem uma ampla gama de usos e pode ajudar os setores público e privado a detectar e rastrear o objeto desejado em uma imagem ou vídeo.
Neste guia abrangente, exploraremos o OpenCV Tracking e seus rastreadores pré-construídos. Usaremos a biblioteca OpenCV e o Python para implementar esse aplicativo de Rastreamento de Objetos.
Neste artigo
Parte 1. O que é Rastreamento de Objetos
O Rastreamento de Objetos determina a localização de um objeto em um vídeo e pode ser usado para uma variedade de propósitos, incluindo vigilância, segurança, controle de tráfego, forense digital, detecção de anomalias, reconhecimento de gestos, vigilância visual, interação humano-computador, realidade aumentada e visão robótica.
Mesmo que possa parecer fácil para uma pessoa comum, o rastreamento de objetos é bastante complexo para os computadores, porque eles precisam analisar um conjunto de quadros e estimar a trajetória do objeto com base em números em vez de imagens.
Devido ao quão complicado é, o Rastreamento de Objetos é considerado uma das tarefas mais difíceis da visão computacional. Mesmo que seja um desafio, não é impossível de realizar.
E há dois níveis de Rastreamento de Objetos sobre os quais você deve aprender:
1. SOT & MOT
- Rastreamento de Objeto Único (SOT): O SOT é um algoritmo de rastreamento que cria modelos avançados de aparência e/ou modelos de movimento para gerenciar problemas difíceis, como rotações fora do plano, variações de iluminação ou mudanças de escala.
- Rastreamento de Objetos Múltiplos (MOT): O MOT rastreia todas as partes de um vídeo e se preocupa principalmente com tarefas de nível médio e serve como base para tarefas de alto nível.
Para obter uma compreensão mais profunda dos dois níveis de Rastreamento de Objetos, leia nosso artigo sobre: Um Guia Completo para o Rastreamento de Objetos Múltiplos. （同期交付，可以插这个文章主题的内链）
2. A Diferença entre Rastreamento e Detecção
Depois de saber o que é o Rastreamento de Objetos, há outro conceito que você também deve estar ciente - Detecção de Objetos.
O Rastreamento de Objetos e a Detecção de Objetos são dois métodos importantes na visão computacional. O Rastreamento de Objetos rastreia a posição de um determinado objeto em uma imagem em tempo real, enquanto a Detecção de Objetos identifica e localiza objetos em uma imagem ou vídeo. Essa é a diferença.
Parte 2. Tipos de Rastreamento de Objetos
Rastreamento de imagens
O rastreamento de imagens permite que os usuários interajam com o conteúdo digital de forma mais natural e ajuda os usuários a se moverem e interagirem com objetos digitais da mesma maneira que com objetos físicos do mundo real.
O rastreamento de imagens pode ser usado em vários aplicativos de realidade aumentada (RA), como jogos de RA, compras e navegação. Além disso, você também pode usá-lo para fins educacionais, como ensinar anatomia ou fornecer instruções para uma tarefa difícil.
Rastreamento de vídeo
O rastreamento de vídeo é o processo de rastreamento de objetos em uma sequência de vídeo e pode ser usado para várias aplicações, como detectar e contar objetos em uma cena, entender seus movimentos e reconhecer atividades.
Parte 3. Quais são as Dificuldades do Rastreamento de Objetos?
Como foi mencionado acima, o uso do rastreamento de objetos é versátil. No entanto, existem alguns desafios associados ao Rastreamento de Objetos, como:
Desordem de Fundo: O plano de fundo pode afetar a extração dos recursos de um objeto. Se o plano de fundo for mais densamente preenchido, detectar ou rastrear o objeto de interesse pode ser mais difícil.
Oclusão: Este é um fenômeno em que o objeto que está sendo rastreado é afetado pelo plano de fundo ou primeiro plano. Isso faz com que o algoritmo de rastreamento fique confuso devido a vários objetos se aproximando, portanto, perdendo o controle do objeto.
Escalas espaciais variadas: Escalas espaciais variáveis referem-se ao objeto de destino ser de um tamanho ou forma diferente, o que pode confundir o algoritmo, levando a erros.
Velocidade de Treinamento e Rastreamento: Se o objeto estiver se movendo muito rápido ou for muito pequeno, pode ser difícil rastreá-lo. Portanto, o módulo de rastreamento deve ser projetado para rastrear, identificar e localizar objetos em questão de segundos.
Parte 4. Estágios do Processo de Rastreamento de Objetos
Após a introdução do rastreamento de objetos tecnicamente, vamos aprender sobre seu mecanismo de dois lados: períodos do processo de trabalho e a maneira como ele rastreia.
1. Estágios do Processo de Rastreamento de Objetos
A seguir estão os estágios do processo de Rastreamento de Objetos:
Inicialização de destino
A inicialização de destino é a primeira etapa no Controle de Objetos e envolve a definição dos destinos ou objetos de interesse e o desenho de uma caixa delimitadora em torno deles no quadro inicial. Depois disso, o rastreador deve detectar a posição do objeto no quadro enquanto desenha a caixa delimitadora.
Modelagem de Aparência
A modelagem de aparência é importante para entender como um objeto ficará em diferentes circunstâncias. Se o objeto que está sendo rastreado mudar de aparência devido a diferentes iluminação, ângulo ou velocidade, o algoritmo de rastreamento poderá perder suas informações e o próprio objeto. Portanto, ele deve ser conduzido para permitir que o algoritmo detecte as mudanças e distorções.
Estimativa de movimento
A estimativa de movimento implica a capacidade do modelo de antecipar a posição futura de um objeto com precisão.
Posicionamento do Alvo
A estimativa de movimento é um processo de aproximação da região mais provável onde um objeto pode estar presente. Depois que a localização do objeto é aproximada, um modelo visual pode ser usado para determinar a localização do alvo com mais precisão.
2. Métodos de Rastreamento de Objetos
Aqui estão alguns métodos de Rastreamento de Objetos:
Rastreamento de Objetos Baseado em OpenCV
O método Rastreamento de Objetos OpenCV é amplamente utilizado porque oferece várias funções internas projetadas especificamente para esse fim, como GOTURN, MIL, MediandFlow e CSRT. O tipo de rastreador selecionado dependerá do design específico do aplicativo. Cada rastreador tem seus prós e contras, portanto, não há um único tipo de rastreador ideal para todas as aplicações.
MDNet
O Multi-Domain Convolutional Neural Network Tracker é um rastreador visual convolucional baseado em neurais e venceu o desafio VOT2015. Além disso, ele é composto de camadas, ramificações e várias camadas compartilhadas específicas do domínio.
O rastreador MDNetT é uma rede neural profunda que é treinada em vários conjuntos de dados de Rastreamento de Objetos. O rastreador foi projetado para funcionar em vários domínios, incluindo vídeo, texto e imagens.
DeepSort
O algoritmo DeepSort pode rastrear objetos em tempo real e usa o YOLO v3 para calcular as caixas delimitadoras ao redor dos objetos em um quadro.
O DeepSort usa o filtro Kalman do algoritmo Simple Online e Realtime Tracking e um modelo de identificação, o ReID para interligar caixas delimitadoras e trilhas de objetos.
ROLO
O ROLO é um novo método de rastreamento de objetos que usa redes neurais recorrentes (RNNs) para aprender representações espaço-temporais específicas de objetos. Esse método funciona com YOLO, um algoritmo de detecção de objetos e um LTSM para determinar a trajetória de um objeto.
Parte 5. O poderoso backup: OpenCV
Demonstramos o quão poderoso é o OpenCV Tracking e como ele funciona. No entanto, você quer saber o que é OpenCV? Como ele suporta as metas de rastreamento que estão sendo alcançadas? Nesta parte, vamos nos concentrar no OpenCV e ajudá-lo a entender melhor os mecanismos subjacentes.
1. O que é o OpenCV?
O OpenCV é uma biblioteca poderosa que permite que você execute tarefas de processamento de imagens, aprendizado profundo, aprendizado de máquina e visão computacional em feeds de vídeo ao vivo. Além disso, ele pode ser usado para detectar objetos, rastrear seus movimentos e reconhecer rostos.
Ele pode ajudar a processar os dados que têm vídeos e imagens e tem sido usado em várias aplicações, como reconhecimento e detecção de objetos, carros autônomos, robôs, análise de imagens médicas, vigilância automatizada e detecção de anomalias.
2. Os Algoritmos Pré-Construídos que o OpenCV Oferece para Rastreamento de Objetos
Existem 8 algoritmos pré-construídos que o OpenCV oferece para Rastreamento de Objetos. Todos eles têm sua unicidade e aqui vamos apresentar seus prós e contras para o sua melhor compreensão.
| Rastreador | Prós | Contras |
| BOOSTING Tracker |
|
|
| MIL Tracker |
|
|
| KCF Tracker |
|
|
| TLD Tracker |
|
|
| MEDIANFLOW Tracker |
|
|
| GOTURN Tracker |
|
|
| MOSSE Tracker |
|
|
| CSRT Tracker |
|
|
3. Implementação em Python e OpenCV
Agora, após a explicação teórica do OpenCV e OpenCV Tracking, vamos aprender Rastreamento de Objeto OpenCV Python com codificação e nossas instruções simples e passo-a-passo:
Instalar as dependências
Instale o aplicativo pycharm no seu PC e inicie-o. Crie um novo projeto e vá para o Terminal. Instale o pacote opencv-contrib-python colando o seguinte comando no Terminal.
Configurar os Rastreadores
Agora, crie um Jupyter-notebook e configure os rastreadores com este código:
Tarefas:
- cv2. version retorna o número da versão da biblioteca OpenCV.
- Salve o nome dos oito rastreadores.
- Verifique a lista da versão em que você está trabalhando e crie um objeto rastreador com base no número.
Capture a entrada de vídeo
Para capturar a entrada de vídeo, escreva as seguintes linhas de código:
Tarefas:
- Use a classe VideoCapture para capturar um vídeo através da webcam ou obter um salvo do seu PC.
- Em VideoCapture - linha 2, dê o caminho para o seu vídeo.
- Comente na segunda linha para usar a webcam para rastrear e descomente a terceira.
Criando a Caixa Delimitadora e Inicializando o Rastreador
Defina uma caixa delimitadora aleatória inicial ou selecione as opções para o objeto que você deseja controlar com o seguinte código:
Inicie o Rastreador e Verifique a Saída
Finalmente, escreva as linhas de código abaixo para iniciar o rastreador:
Tarefas
- Leia cada quadro de vídeo.
- Inicie o temporizador e, através do rastreador, determine a trajetória do objeto.
- Use a trajetória para desenhar a caixa delimitadora.
- O programa começará a rastrear. Depois, pressione a barra de espaço para interromper o rastreamento.
Vídeo – Rastreamento de Objetos com Opencv e Python
Conclusão
Neste artigo, discutimos o Controle de Objetos em detalhes e como ele se compara à Detecção de Objetos. Além disso, exploramos os métodos usados para rastrear objetos e fornecemos orientação completa sobre o método OpenCV Tracking e suas funcionalidades integradas.
Espero que você ache este guia útil e agora você pode rastrear objetos em tempo real sem problemas.
