Retoque Digital Processamento de Imagens. Introdução – Retoque tradicional Pinturas: necessidade...

Retoque Digital

Processamento de Imagens

Introdução – Retoque tradicional

• Pinturas: necessidade de trabalhá-las a fim de manter suas características originais ou mesmo retocar detalhes não percebidos anteriormente.

• Artesão:identificar o problema e, sob os limites da concepção, obter uma pintura revivificada.

Introdução – Retoque digital

• Automatizar a tarefa do artesão no trabalho de retoque de imagens digitais

• Corrigir defeitos• Acrescentar e retirar objetos, previamente

especificados• Sinônimos

– Recuperação, – Repintagem– Retocagem ou restauração.

Introdução

• Processo extrinsecamente subjetivo– Qual o melhor resultado– Que parâmetros influenciam o resultado– Como aproximar ao máximo o resultado

esperado pelo ser humano

• Termo originalmente criado por Bertalmio– Digital Inpainting– Marcos A. Batista: criador do termo em

português

Objetivos específicos

• Restauração: restabelecer a harmonia

• Desopilação: remover objetos de uma dada cena, simulando a inexistência do objeto na cena original

• Remoção de textos: remoção de textos inseridos artificialmente em uma imagem

• Geração de efeitos especias

• Desopilação do camarada Nicolai Yezhov por Stalin

Um outro caso de manipulação: O.J. Simpson

Foto do ano: National Geographic

Eliminação de Ruído ≠ Retoque

• Métodos de eliminação de ruídos tradicionais não se aplicam em retoque digital: Ir = I + r

– Ir : imagem com ruído; r : ruído; I = objeto de desejo

• No retoque digital: não existe nenhuma informação no domínio da repintura

Eliminação de Ruído ≠ Retoque

Imagem original Imagem com ruído Imagem filtrada

Eliminação de Ruído ≠ Retoque

Porção a ser repintadaQuadro anterior Quadro posterior

Conceitos Básicos

• Seja Ud uma imagem digital, como ilustrada acima

Conceitos Básicos• O domínio de retoque (ou repintura) Ω é

um subconjunto de U em que a imagem será retocada. (Ω contido em U)

• Ω tem como borda o conjunto δΩ

• ζΩ é o contorno de Ω.

Conceitos Básicos

• É necessário passar ao algoritmo o domínio de retoque. Como?– Definindo uma máscara

(Imagem)

(máscara)

Píxeis azuis estão no domínio de retoque

A dimensão da máscara é a mesma daimagem original

Máscara Métrica

• M(i,j) = n, se existe algum pixel (k,l) na vizinhança 4-conectada de (i,j) tal que M(k,l) = n-1.

Modelo Matemático

Seja uma imagem

Devemos prolongar as linhas isocromáticas (linhas de igual valor de cinza na imagem) que chegam no contorno ζΩ de Ω para a borda da mesma (δΩ). Obser-vamos então que a borda será repintada:

Modelo Matemático

Agora que temos informação na borda, podemos estendê-la para Ω.

Estamos implicitamente carregando esta informação coletada em ζΩ para ocentro da região Ω: Transporte de informação

Modelo Matemático

1. A estrutura da área ao redor de Ω é estendida para dentro da região de repintura e linhas de contorno são pintadas dentro do domínio de retoque através de prolongamentos das linhas que chegam no contorno ζΩ

2. As diferentes regiões formadas dentro da região de repintura, definidas pela prolongação das linhas de contorno, são preenchidas com cores semelhantes às encontradas no contorno.

Algoritmo de retoque digital será a execução sucessiva de 1 e 2

Algoritmo de retoque

onde I(i,j,0) é a imagem original:

A imagem restaurada Ir (i,j) é dada pelo limite:

Suponha que processamos a imagem até o tempo t. Considere Δt o comprimento de passo na variável temporal t. A cada iteração t, I(i,j,t) é a imagem de entrada e I(i,j,t+1) a imagem de saída. Esta relação pode ser escrita pela série de Taylor:

Simplificando:

n é o tempo de repintura; Δt a taxa de atualização;

é a taxa de atualização da imagem no tempo n.

Determinando a atualização

1. Evolução do calor numa chapa metálica

2. Replicação das técnicas de repintura manual, replicando as linhas que chegam da borda de Ω

• Portanto o modelo do alg. de retoque depende do mecanismo adotado para a atualização e Δt

• Soluções são dadas por EDPs

Retoque por difusão do calor

À medida que o tempo passa (n cresce), Ω vai se aquecendo até atingir o equilíbrio térmico ( a temp corresponde à sua cor. Equação de Laplace descreve isso.

Adaptando L para uma imagem..

Combinando as equações acima...

Um pixel (i,j) que não pertence a região de repintura já está aquecido e não se altera. Um pixel da região de repintura começa com temp = 0º

Retoque por difusão do calor

De forma heurística, modificamos os coeficientes de cada termo do Laplacianode acordo com a matriz métrica. Para cada vizinho (k,l) do pixel (i,j)

O que se nota aqui ??

O operador Laplaciano heurístico é portanto:

Retoque por difusão do calorPortanto usamos

como atualização do algoritmo no tempo n. Tomando Δt = 1:

Retoque por difusão do calor

Pseudo-código:

A propagação é muito suave e converge quando

Um pixel na região de repintura é a média dos seus 4 vizinhos, pois para qq(i,j) de Ω, temos no equilíbrio térmico que:

portanto,

Na prática ...

Pseudo-código:

Agora, alguns resultados ....

Principal limitação: não propaga informação de borda na direção correta.

Método BSCB

• Bertamío, Shapiro, Caselles, Ballester

• Propaga as isolinhas na direção correta

Método BSCB

O algoritmo converge quando:

Laplaciano:

BSCB:

onde é a informação que se quer propagar e

a direção de propagação

a variação da informação a variação da direção

Lembre-se de que (2)

de (1) e (2)

temos

Método BSCB

Queremos que a propagação de informação seja suave -> laplaciano

Devemos calcular a variação:

Sabemos que o gradiente dá a direção de maior crescimento

e sua rotação de mostra a direção de menor variação (linhas de contorno) !

portanto o campo direcional é dado por:

Método BSCB

A equação de atualização a ser aplicada no domínio de retoque fica:

O processo de transporte de informação descrito é intercalado com um processode difusão não linear anisotrópica (varia de acordo com a rotação) para garantir uma correta evolução do campo direcional e garantir que a equação acimaconvirja.

Método BSCB

Pseudo-código

Resultados

Imagem retocada

Imagem corrompida

Imagem antes da corrupção

• Técnicas interessantes, mas e a textura?