39
Retoque Digital Processamento de Imagens

Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Embed Size (px)

Citation preview

Page 1: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Retoque Digital

Processamento de Imagens

Page 2: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Introdução – Retoque tradicional

• Pinturas: necessidade de trabalhá-las a fim de manter suas características originais ou mesmo retocar detalhes não percebidos anteriormente.

• Artesão:identificar o problema e, sob os limites da concepção, obter uma pintura revivificada.

Page 3: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Introdução – Retoque digital

• Automatizar a tarefa do artesão no trabalho de retoque de imagens digitais

• Corrigir defeitos• Acrescentar e retirar objetos, previamente

especificados• Sinônimos

– Recuperação, – Repintagem– Retocagem ou restauração.

Page 4: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Introdução

• Processo extrinsecamente subjetivo– Qual o melhor resultado– Que parâmetros influenciam o resultado– Como aproximar ao máximo o resultado

esperado pelo ser humano

• Termo originalmente criado por Bertalmio– Digital Inpainting– Marcos A. Batista: criador do termo em

português

Page 5: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Objetivos específicos

• Restauração: restabelecer a harmonia

• Desopilação: remover objetos de uma dada cena, simulando a inexistência do objeto na cena original

• Remoção de textos: remoção de textos inseridos artificialmente em uma imagem

• Geração de efeitos especias

Page 6: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

• Desopilação do camarada Nicolai Yezhov por Stalin

Page 7: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Um outro caso de manipulação: O.J. Simpson

Foto do ano: National Geographic

Page 8: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Eliminação de Ruído ≠ Retoque

• Métodos de eliminação de ruídos tradicionais não se aplicam em retoque digital: Ir = I + r

– Ir : imagem com ruído; r : ruído; I = objeto de desejo

• No retoque digital: não existe nenhuma informação no domínio da repintura

Page 9: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Eliminação de Ruído ≠ Retoque

Imagem original Imagem com ruído Imagem filtrada

Page 10: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Eliminação de Ruído ≠ Retoque

Porção a ser repintadaQuadro anterior Quadro posterior

Page 11: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Conceitos Básicos

• Seja Ud uma imagem digital, como ilustrada acima

Page 12: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Conceitos Básicos• O domínio de retoque (ou repintura) Ω é

um subconjunto de U em que a imagem será retocada. (Ω contido em U)

• Ω tem como borda o conjunto δΩ

• ζΩ é o contorno de Ω.

Page 13: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Conceitos Básicos

• É necessário passar ao algoritmo o domínio de retoque. Como?– Definindo uma máscara

(Imagem)

(máscara)

Page 14: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Píxeis azuis estão no domínio de retoque

A dimensão da máscara é a mesma daimagem original

Page 15: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Máscara Métrica

• M(i,j) = n, se existe algum pixel (k,l) na vizinhança 4-conectada de (i,j) tal que M(k,l) = n-1.

Page 16: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Modelo Matemático

Seja uma imagem

Devemos prolongar as linhas isocromáticas (linhas de igual valor de cinza na imagem) que chegam no contorno ζΩ de Ω para a borda da mesma (δΩ). Obser-vamos então que a borda será repintada:

Page 17: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Modelo Matemático

Agora que temos informação na borda, podemos estendê-la para Ω.

Estamos implicitamente carregando esta informação coletada em ζΩ para ocentro da região Ω: Transporte de informação

Page 18: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Modelo Matemático

1. A estrutura da área ao redor de Ω é estendida para dentro da região de repintura e linhas de contorno são pintadas dentro do domínio de retoque através de prolongamentos das linhas que chegam no contorno ζΩ

2. As diferentes regiões formadas dentro da região de repintura, definidas pela prolongação das linhas de contorno, são preenchidas com cores semelhantes às encontradas no contorno.

Algoritmo de retoque digital será a execução sucessiva de 1 e 2

Page 19: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Algoritmo de retoque

onde I(i,j,0) é a imagem original:

A imagem restaurada Ir (i,j) é dada pelo limite:

Suponha que processamos a imagem até o tempo t. Considere Δt o comprimento de passo na variável temporal t. A cada iteração t, I(i,j,t) é a imagem de entrada e I(i,j,t+1) a imagem de saída. Esta relação pode ser escrita pela série de Taylor:

Simplificando:

n é o tempo de repintura; Δt a taxa de atualização;

é a taxa de atualização da imagem no tempo n.

Page 20: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Determinando a atualização

1. Evolução do calor numa chapa metálica

2. Replicação das técnicas de repintura manual, replicando as linhas que chegam da borda de Ω

• Portanto o modelo do alg. de retoque depende do mecanismo adotado para a atualização e Δt

• Soluções são dadas por EDPs

Page 21: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Retoque por difusão do calor

À medida que o tempo passa (n cresce), Ω vai se aquecendo até atingir o equilíbrio térmico ( a temp corresponde à sua cor. Equação de Laplace descreve isso.

Adaptando L para uma imagem..

Combinando as equações acima...

Um pixel (i,j) que não pertence a região de repintura já está aquecido e não se altera. Um pixel da região de repintura começa com temp = 0º

Page 22: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Retoque por difusão do calor

De forma heurística, modificamos os coeficientes de cada termo do Laplacianode acordo com a matriz métrica. Para cada vizinho (k,l) do pixel (i,j)

O que se nota aqui ??

O operador Laplaciano heurístico é portanto:

Page 23: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Retoque por difusão do calorPortanto usamos

como atualização do algoritmo no tempo n. Tomando Δt = 1:

Page 24: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Retoque por difusão do calor

Pseudo-código:

A propagação é muito suave e converge quando

Um pixel na região de repintura é a média dos seus 4 vizinhos, pois para qq(i,j) de Ω, temos no equilíbrio térmico que:

portanto,

Page 25: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Na prática ...

Pseudo-código:

Agora, alguns resultados ....

Page 26: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características
Page 27: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características
Page 28: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características
Page 29: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Principal limitação: não propaga informação de borda na direção correta.

Page 30: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Método BSCB

• Bertamío, Shapiro, Caselles, Ballester

• Propaga as isolinhas na direção correta

Page 31: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Método BSCB

O algoritmo converge quando:

Laplaciano:

BSCB:

onde é a informação que se quer propagar e

a direção de propagação

a variação da informação a variação da direção

Lembre-se de que (2)

de (1) e (2)

temos

Page 32: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Método BSCB

Queremos que a propagação de informação seja suave -> laplaciano

Devemos calcular a variação:

Sabemos que o gradiente dá a direção de maior crescimento

e sua rotação de mostra a direção de menor variação (linhas de contorno) !

portanto o campo direcional é dado por:

Page 33: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Método BSCB

A equação de atualização a ser aplicada no domínio de retoque fica:

O processo de transporte de informação descrito é intercalado com um processode difusão não linear anisotrópica (varia de acordo com a rotação) para garantir uma correta evolução do campo direcional e garantir que a equação acimaconvirja.

Page 34: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Método BSCB

Pseudo-código

Page 35: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Resultados

Page 36: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características
Page 37: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características
Page 38: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

Imagem retocada

Imagem corrompida

Imagem antes da corrupção

Page 39: Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade de trabalhá-las a fim de manter suas características

• Técnicas interessantes, mas e a textura?