Embed Size (px)
Citation preview
인쇄회로기판의 단체분리도 평가를 위한
화상해석 알고리즘
한양대학교 자원환경공학과
박사과정 박승수
제47회 한국자원리싸이클링학회 학술발표대회 금속분야
1
목 차
■ 서 론
■ 실험 방법
■ 실험 결과
■ 결 론
2
서 론
■ 개 요
단체분리도(𝐷𝐿; Degree of liberation)
– 전체 유용광물 입자 중 단체분리된 입자(free particle)의 비율로 정의
– 분쇄 공정의 Performance를 정량적으로 표현하는 지표
단체분리도 평가 방법
𝐷𝐿 =단체분리된 유용광물의 양
분쇄물 중 모든 유용광물의 양
장점 단점
SEM 기반 기기 활용(e.g. MLA, QEMSCAN etc.)
• 평가의 정확성
• 평가의 속도가 비교적 빠름
• 다양한 정보 획득 가능
• 기기 구비에 큰 금액이 요구됨
화상해석 기법 • 평가가 직관적
• 기기의 구성이 간편
• 평가자에 따른 값의 편차
• 긴 평가시간 요구됨
중액선별 • 평가의 직관성
• 정확한
• 평가 절차의 번거로움
• 긴 평가시간 요구됨
3
서 론
■ 선행 연구
화상을 통한 단체분리도 측정 연구
– Donskoi, E., et al. "Comparative study of iron ore characterization using a scanning
electron microscope and optical image analysis." Applied Earth Science 122.4
(2013): 217-229.
– Delbem, I. D., et al. "Semi-automated iron ore characterization based on optical
microscope analysis: Quartz/resin classification." Minerals Engineering 82 (2015):
2-13.
회색조의 색상요소만을 기준으로 입자 검출 → 입자 검출 성능에 한계
천연 광석을 대상으로 함 → 인쇄회로기판을 대상으로 적용하기에 부적절
4
서 론
■ 연구의 목표
인쇄회로기판 분쇄물 중 구리의 품위분포/단체분리도를 평가하기 위한
화상해석 알고리즘 개발
5
화상해석 알고리즘
디지털 화상 입력 분석 결과 출력
• 입자의 분할 화상
• 각 입자의 구리 품위
• 구리 품위분포
• 인쇄회로기판 분쇄물의
연마편 화상
• 공간 필터링
• 색공간 변환
• 형태학적 화상처리
• 화상 분할...
Input Output
실험 방법
■ 인쇄회로기판으로부터 구리 회수 전처리 기술1)
Electronic components
ECs disassembly
PCB Assembly
Crushing
Grinding
PCB
Sieving
Knelson concentratorElectrostatic separator
Metal Non-metal Metal Non-metal
Liberation analysis
1) 국내 특허출원, 인쇄회로기판의 구리 선별방법, 출원번호: 2014-0052914
+180㎛ -180㎛
6
0 0 0 0 0 0 1 1
0 1
0 1
0 1
0 1
0 1
0 1
0 0 0 1 1 1 1 1
실험 방법
0 0 0 0 0 1
0 0 0 0 1 1
0 0 0 0 1 1
0 0 0 1 1 1
0 0 0 1 1 1
0 0 1 1 1 1
1/9 1/9 1/9
1/9 1/9 1/9
1/9 1/9 1/9
0 0 0 1/9 4/9 7/9
0 0 0 2/9 5/9 8/9
0 0 1/9 4/9 7/9 9/9
0 0 2/9 5/9 8/9 9/9
0 1/9 4/9 7/9 9/9 9/9
0 2/9 5/9 8/9 9/9 9/9
화상 𝑓 화상 𝑤 화상 𝑔𝑔 = 𝑓 ☆ 𝑤
☆ =
7
■ 화상처리 기법 (image processing method) - 1/4
공간 필터링 (linear/non-linear spatial filtering)
– 1. 화상(𝑓)의 각 픽셀에 대해서 2. 이웃 픽셀(𝑤, kernel, neibourhood)에
3. 미리 정의된 특정 연산(𝑇)을 행한 후 4. 그 연산의 결과 값을 대입하여
5. 새로운 화상(𝑔)을 얻는 과정
– 연산이 선형적이면 선형 공간 필터링(공간 컨볼루션), 비선형적이면
비선형 공간 필터링 이라고 부름
그림. 선형 공간 필터인 Smoothing filtering의 결과.
실험 방법
■ 화상처리 기법 (image processing method) - 2/4
색공간 변환 (color space conversion)
– RGB 칼라 모델을 HSI 칼라 모델로 변환
• RGB: 적(Red), 녹(Green), 청(Blue) 등 빛의 삼원색의 농담(濃淡) 값으로 색을 표현
• HSI: 색조(Hue), 채도(Saturation), 명도(Intensity)의 값으로 색을 표현
– HSI 칼라 모델은 인간이 이해하기 직관적이므로 칼라 묘사 기반 화상처리
알고리즘에 이상적 (Gonzalez, Rafael C. et al., Digital image processing 3 (2007)).
8
“민들레는 1. 빨간색과 2. 녹색이 섞인 색이다.”
- RGB 칼라 모델에서의 표현
“민들레는 1. 밝은 2. 노란색이다.”
- HSI 칼라 모델에서의 표현
실험 방법
■ 화상처리 기법 (image processing method) - 3/4
형태학적 화상처리 (morphological image processing)
– 침식 (erosion, 𝐴⊖𝐵 = 𝑧 𝐵 𝑧 ⊆ 𝐴 = {𝑧| 𝐵 𝑧 ∩𝐴𝑐 = 𝜙})
• 𝑧에 의해 이동된 𝐵가 𝐴에 완전히 포함되는 모든 이동 𝑧의 집합
– 팽창 (dilation, 𝐴⊕𝐵 = 𝑧 𝐵𝑧∩𝐴 ≠ 𝜙 = {𝑧|[ 𝐵
𝑧∩𝐴] ⊆ 𝐴})
• 𝐵과 𝐴가 적어도 한 요소라도 겹치게 만드는 모든 이동 𝑧의 집합
9
●화상 𝐴
화상 𝐵(구조요소)
𝐴⊖𝐵 = 𝑧 𝐵 𝑧 ⊆ 𝐴 = {𝑧| 𝐵 𝑧 ∩𝐴𝑐 = 𝜙}
𝐴⊕𝐵 = 𝑧 𝐵𝑧∩𝐴 ≠ 𝜙 = {𝑧|[ 𝐵
𝑧∩𝐴] ⊆ 𝐴}
erosion
dilation
𝑧
그림. 화상 A, B에 의한 침식, 팽창 연산의 결과
실험 방법
■ 화상처리 기법 (image processing method) - 4/4
화상 분할 (image segmentation)
– 화상을 영역들로 나누는 프로세스
• 영역기반(area-based) 분할: 미리 정의된 일련의 기준에 따라 실행하는 화상 분할 기법
e.g. 문턱치처리(threshold, binarization), 기타 논리 화상처리 등
• 에지기반(edge-based) 분할 : 급격한 밝기 변화를 기반으로 하는 화상 분할 기법
e.g. Prewitt 마스크, Sobel 마스크 등
10
그림. 화상 분할 처리 결과의 예:
(왼쪽) 원본 이미지, (가운데) 문턱치 처리된 이미지, (우) 에지 검출 이미지
실험 방법
■ 실험 조건
화상촬영 환경
– 카메라 모듈: Leica DVM2500
– 카메라 렌즈: Leica VZ80 (x50)
– 해상도: 1,600 x 1,200, 24 bit
화상처리 작업 환경 (MATLAB)
– 행렬 연산에 특화되어 다차원 행렬로 표현되는 디지털 화상을 다루기에 용이
– Image processing toolbox를 통해 다양한 화상해석 라이브러리 제공
11
그림. 화상해석 작업 환경
>> %% example of 2-dimentional median filtering process
>> f1 = imread( ‘1.tif’ ) % read image
>> f2 = medfilt2( imread( ‘1.tif’ ) , [ 3 3 ], 'symmetric‘ ) % median filter
>> imshow(f2) % display image
실험 결과
■ 촬영된 화상의 특징
4가지 성분의 상(像, phase)이 발견됨
– 구리, 유리섬유/폴리머, solder resist, 에폭시(배경)
각 성분이 색조(Hue), 채도(Saturation), 명도
(Intensity) 등의 색상요소에 의해 분명히 구분됨
Image sensor에 의한 noise 존재
배경값에 의한 문턱치 처리의 어려움
경계에 걸쳐진 입자의 counting 문제
12
그림. 촬영된 인쇄회로기판 분쇄물의 디지털 화상
실험 결과
■ 화상처리 - 1/5
Noise 제거
– Non-linear spatial filter인 median filter를 이용하여 noise 제거
• 참조 kernel의 크기: 5 x 5
– 배경의 noise 및 작은 크기의 입자, 스크래치 등의 defect가 제거됨을 확인
13
그림. Median filter를 이용해 배경 noise를 제거한 화상:
(왼쪽) 원본 화상, (오른쪽) noise가 제거된 화상
실험 결과
■ 화상처리 - 2/5
배경 제거
– Median filter를 이용하여 입자를 제외한 배경 이미지 추출 후 산술연산을 통해 원본
이미지로부터 입자의 이미지만을 획득 (병렬 컴퓨팅)
• 참조 kernel의 크기: 150 ( > 입자의 최대 직경의 픽셀 수 )
• 산술연산(빼기): 1 - ( 배경 값 - 원본 화상 )
14
그림. Median filter를 이용해 배경을 제거한 화상:
(왼쪽) 원본 화상, (오른쪽) noise가 제거된 화상
실험 결과
■ 화상처리 - 3/5
입자 형상 획득
– 입자의 형상을 획득하기 위한 화상처리 시행
• 문턱치 처리를 하여 입자의 기본 형상 획득
• 경계면에 걸쳐진 입자 및 일정크기 이하의 상은 배제
15
그림. Median filter를 이용해 배경을 제거한 화상:
(왼쪽) 원본 화상, (오른쪽) noise가 제거된 화상
실험 결과
■ 화상처리 - 4/5
에지 검출
– 형태학적 화상처리를 통한 에지(𝐴∗)의 검출
• 에지 화상 𝐴∗ = 𝐴⊕𝐵 − (𝐴⊖𝐵)
여기서, 𝐴: 입자의 형상, 𝐵: 형태학적 처리를 위한 구조 요소
• 화상의 형태 검출이 정확히 이루어졌는지 확인
16
그림. Median filter를 이용해 배경을 제거한 화상:
(왼쪽) 원본 화상, (오른쪽) noise가 제거된 화상
●
실험 결과
■ 화상처리 - 5/5
영역 분할
– 구리, 유리섬유 등 각 구성성분의 색상요소(색조, 채도, 밝기) 분석
17
0
500
1,000
1,500
2,000
Fre
quency
Hue
Satruation
Intensity
0
500
1,000
1,500
2,000
Hue
Satruation
Intensity
0
500
1,000
1,500
2,000
Hue
Satruation
Intensity
Normalized value
0
500
1,000
1,500
2,000
Hue
Satruation
Intensity
★
★
★
◆
◆
◆
●
●
유리섬유
구리(b)
구리(d)
레지스트
그림. (좌) 인쇄회로기판 분쇄물의 사진과 주요 구성성분,
(우) 구성성분의 색상요소 분포
★
◆ ●
■ 화상처리 - 5/5
영역 분할 및 구리 품위 측정 알고리즘
실험 결과
18
Start
white?
S < S* ? I > I* ?
H ≈ Red ?
background
epoxy
구리
구리
solder resist
yes
noyes
no no
no
yes
yes
V ← V + 1NV ← NV + 1
Stop
* 구리 품위 (px.%) =σ𝑉
σ𝑉 + σ𝑁𝑉× 100
실험 결과
■ 화상처리 - 5/5
영역 분할
– 각개 입자에 알고리즘을 적용하여 구리의 면적분율 측정
19
Cu 10.61 px.% Cu 13.45 px.% Cu 8.54 px.%
Cu 65.31 px.% Cu 3.6 px,%
그림. 여러 입자들에 알고리즘을 적용하여 구리의 면적분율을 측정한 결과와 그 값
실험 결과
20
■ 화상처리 - 5/5
영역 분할
– 분쇄물 시편의 디지털 화상에 적용한 결과
• 유효하게 detect된 입자들에 highlight/counting 하고 각 입자들에 대한 구리의 품위 출력
• 평균 약 2.5 초 내외의 처리시간이 소요됨
그림. 분쇄물 시편의 디지털 화상에 영역 분할 알고리즘을 적용한 결과
실험 결과
21
■ 화상해석
구리 품위분포도 (Liberation distribution)
– 분쇄된 입자들의 구리 품위분포 (입도 250 ㎛ 이하)
– 성분의 밀도를 고려하여 픽셀 영역 분율로 표현된 구리의 품위를 질량 분율로 변환
• 구리의 밀도: 약 9 g/cm3, 유리섬유/폴리머 밀도: 약 2 g/cm3
0 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-9090-100 100
구리 grade(%)
0
0.05
0.1
0.15
0.2
0.25
0.3
Are
a fra
ctio
n
0 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-9090-100 100
구리 grade (%)
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
We
ight fra
ctio
n
그림. 구리 품위분포도 (250㎛ 이하) 비교: (왼쪽) 픽셀 영역 분율 기준, (오른쪽) 질량 분율 기준
DL = 67.52 %
실험 결과
22
■ 화상해석
구리 품위분포도의 입도 간 비교
– 화상해석을 통해 500 ㎛ 이상, 250 ㎛ 이하 입자 간의 구리 품위분포도를 비교
– 낮은 입도 구간에서 단체분리도가 높게 나오는 것을 분석을 통해서 확인 가능
• DL, > 500 ㎛ = 12.41 %, DL, < 250 ㎛ = 67.52 % (구리 품위 80wt.% 입자 기준)
0 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-9090-100 100
구리 grade (%)
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
We
ight fra
ctio
n
그림. 서로 다른 입도에서의 구리 품위분포도 비교:
(왼쪽) 500 ㎛ 이상, (오른쪽) 250 ㎛ 이하
0 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-9090-100 100
구리 grade(%)
0
0.05
0.1
0.15
0.2
0.25
We
ight fr
actio
n
D > 500 ㎛ D < 250 ㎛
결 론
■ 요 약
인쇄회로기판 분쇄물의 디지털 화상으로부터 구리의 품위 분포를 평가할 수
있는 알고리즘을 개발하였음
입자의 분할 화상 및 이들의 품위 분포가 분석되는 것을 확인하였음
추후 빠르고 간편하게 분쇄 성능을 평가하는 데에 활용될 수 있을 것으로 보임
23
0 0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-100 100
구리 grade (%)
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4W
eig
ht fra
ctio
n
그림. 인쇄회로기판 분쇄물의 단체분리도 평가 결과: (왼쪽) 입자 분할 화상, (오른쪽) 구리 품위 분포
결 론
■ 보완 및 향후 계획
영역 분할 기법에 대한 보완 (투영 이미지에 대한 보정 등)
Reference data(MLA, 중액선별)와 비교하여 측정값의 신뢰도 평가
본 알고리즘을 반영/수정하여 Bubble size distribution 등 선광공정 모니터링에
활용할 수 있을 것으로 기대됨
24
그림. 화상해석을 통한 Bubble size distribution 측정:
(왼쪽) 분할된 기포의 화상, (오른쪽) Bubble size distribution 그래프
본 연구는 산업통상자원부(MOTIE)와
한국에너지기술평가원(KETEP)의지원을 받아
수행한 연구 과제입니다. (No. 20165020101200)
25
경청해 주셔서 감사합니다
26
