ISSN 2383-6318(Print) / ISSN 2383-6326(Online)

KIISE Transactions on Computing Practices, Vol. 21, No. 2, pp. 132-137, 2015. 2

http://dx.doi.org/10.5626/KTCP.2015.21.2.132

타임드 오토마타 모델 기반 테스 기법 분석 사례 연구

(Analysis of Timed Automata Model-based Testing

Approaches and Case Study)

김 한 석† 지 은 경

†† 배 두 환

††

(Hanseok Kim) (Eunkyoung Jee) (Doo-Hwan Bae)

요 약 실시간 시스템은 시스템의 행동이 입력 값 뿐만이 아니라 입력 값의 시간에도 의존 인 시스

템이고, 타임드 오토마타는 실시간 시스템 모델링 분석에 표 으로 쓰이는 모델이다. 모델 기반 테스

은 소 트웨어의 요구사항을 표 한 모델로부터 생성된 테스트 이스를 테스트 상 로그램에 수행

함으로써 테스트 상 로그램이 모델에 명세된 로 작동하는지 여부를 확인하는 기법이다. 본 연구에서

는 타임드 오토마타 모델 기반 테스 도구인 UPPAAL-TRON, UPPAAL-COVER, SYMBOLRT를 동

일한 시스템에 용하는 사례 연구를 수행하고, 이를 기반으로 테스 기법 도구를 비교 분석한다.

키워드: 타임드 오토마타, 테스 기법 분석, 실시간 시스템 테스 , 모델 기반 테스

Abstract A real-time system is a system wherein the behavior of the system depends not only

on the input but also on the timing of the input. Timed automata is a widely used model for real-time

system modeling and analysis. Model-based testing is employed to check whether the system under

test (SUT) works according to the model specifications by using test cases generated from models that

represent software requirements. In this paper, a case study was performed applying the timed automata

based testing tools, UPPAAL-TRON, UPPAAL-COVER and SYMBOLRT, to the same system.

Comparison of the testing approaches and tools is then made based on the results of the case study.

Keywords: timed automata, testing approaches analysis, real-time system testing, model-based

testing

․본 연구는 미래창조과학부 한국산업기술평가 리원의 산업융합원천기술개

발사업의 일환으로 수행하 으며 [10044457, 자율지능형 지식/기기 업

임워크 기술 개발], 한 2013 년도 정부(교육부)의 재원으로 한국연구재

단의 지원을 받아 수행된 기 연구사업임(No. NRF-2013R1A1A2058618)

․이 논문은 2014 한국컴퓨터종합학술 회에서 ‘타임드 오토마타 모델 기반 테

스 기법 분석’의 제목으로 발표된 논문을 확장한 것임

논문 수 : 2014년 9월 11일

(Received 11 September 2014)

논문수정 : 2014년 11월 12일

(Revised 12 November 2014)

심사완료 : 2014년 11월 19일

(Accepted 19 November 2014)

†

††

학생회원

종신회원

:

:

KAIST 산학과

hskim@se.kaist.ac.kr

KAIST 산학과 교수(KAIST)

ekjee@se.kaist.ac.kr

bae@se.kaist.ac.kr

(Corresponding author임)

CopyrightⒸ2015 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작물

의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다. 이 때,

사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처를 반드시

명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든 유형의 사용행

를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야 합니다.

정보과학회 컴퓨 의 실제 논문지 제21권 제2호(2015. 2)

타임드 오토마타 모델 기반 테스 기법 분석 사례 연구 133

1. 서 론

실시간 시스템은 시스템의 행동이 입력 값뿐만이 아

니라 입력 값의 시간에도 의존 인 시스템이다. 이러한

시스템을 테스트하기 해서는 시스템에 어떤 입력 값

이 제공 되는지도 요하지만, 이러한 입력 값들이 언제

제공 되는가도 고려되어야 한다[1]. 타임드 오토마타

(Timed Automata)[2]는 시간제약성을 가지는 실시간

시스템 모델링 분석에 가장 리 쓰이는 모델 하

나로, 기존의 오토마타에 더하여 클락(Clock)을 이용하

여 시간의 흐름을 모델링한다.

모델 기반 테스 (Model-Based Testing)은 소 트

웨어 요구사항을 표 한 모델로부터 생성된 테스트

이스를, 테스트 상 로그램에 수행하여 테스트 상

로그램이 모델에 명세된 로 작동하는지 여부를 확

인하는 기법이다[3].

본 연구에서는 표 인 타임드 오토마타 모델 기반

테스 도구[4]로서, 테스트 생성과 실행을 동시에 하는

UPPAAL- TRON 도구[5], 테스트 커버리지 기 (Test

Coverage Criteria)을 충족하는 테스트 이스를 자동

으로 생성하는 UPPAAL- COVER 도구[6], 테스트 목

(Test Purpose)을 이용해서 테스트 이스를 생성하

는 SYMBOLRT 도구[7]를 동일한 시스템에 용하는

사례 연구를 수행하고, 이를 기반으로 테스 기법

도구를 비교 분석한다.

본 논문의 구성은 다음과 같다. 2장에서 UPPAAL-

TRON 도구, UPPAAL-COVER 도구, SYMBOLRT 도

구를 소개하고, 3장에서는 이들 도구에 한 비교 분석과

사례 연구를 기반으로 주요 이슈사항을 도출한다. 4장에

서는 결론 향후 연구를 기술한다.

2. 타임드 오토마타 모델 기반 테스 기법 소개

2.1 상 모델

그림 1[8]은 여러 열차들의 근을 제어하는 타임드

오토마타 모델이다. 한 번에 하나의 열차만 통과할 수

있도록 제어를 하는 것이 목 이며, 기존 열차가 없는

상태에서 한 열차가 근을 하면서 근하고 있다는 신

호(appr)를 보내면, 기 상태인 Free에서 Occ로 상태

가 변경되면서, 해당 열차의 ID가 큐에 장이 된다. 이

때 다른 열차가 근하면, 해당 열차의 ID를 큐에 장

함과 동시에 재 지나가고 있는 열차가 통과할 때까지

멈추라는 신호(stop)를 보내게 되며, 기존의 열차가 떠

난다는 신호(leave)를 보내어 Occ에서 Free로 상태가

변경이 되면, 큐의 내용을 검사해서 기존에 멈춰있는 열

차들에게 순차 으로 출발하라는 신호(go)를 보내거나,

큐가 비어있는 경우 다시 새로운 열차를 기다리게 된다.

그림 1 열차 제어장치 모델[8]

Fig. 1 Train controller model [8]

그림 2 열차 환경 모델[8]

Fig. 2 Train environment model [8]

그림 2[8]는 열차 제어장치 모델을 이용하는 열차들을

모델링한 환경 오토마타이다. 열차가 안 한 상태(Safe)

에서 랫폼으로 근하고 있는 상태(Appr), 다른 열차

가 통과할 때까지 기다리는 상태(Stop), 다시 출발하는

상태(Start), 통과하고 있는 상태(Cross)로 구성되어 있

으며, 열차들의 통과시간을 제어하기 해 클락 값을 사

용하 고, 각 열차 구분을 해 열차번호(id)를 명명하

다. 그림 1과 2의 모델을 제로 각 도구에 용하 다.

2.2 UPPAAL-TRON 도구

UPPAAL-TRON 도구는 테스트 생성과 실행을 동시

에 수행하는 온라인 테스 도구로서[5], UPPAAL 모

델[8]로 기술된 시스템의 모델에서 수행되는 값을

UPPAAL-TRON 엔진과 어 터를 거쳐서 테스트 상

시스템(SUT)으로 보내 직 테스트를 수행하고, 테스트

결과 값을 다시 어 터와 UPPAAL-TRON 엔진을 통

해 실제 모델의 값과 비교하여 테스트의 성공 는 실

패 여부를 결정한다.

134 정보과학회 컴퓨 의 실제 논문지 제 21 권 제 2 호(2015.2)

그림 3 UPPAAL-TRON 도구에서의 테스트 수행 결과

Fig. 3 Test result using the UPPAAL-TRON tool

온라인 테스 도구로서 SUT와 직 교신하는 방식

을 택한 UPPAAL-TRON 도구는 모델을 테스트 하는

동안 특정 테스트 커버리지 기 에 의존하지 않고, 시스

템 명세에 포함된 상태들을 확률 선택 기법을 이용하

여 생성할 테스트를 제한한다[9].

그림 3은 UPPAAL-TRON 도구를 사용하여 그림 1

의 열차 제어장치 모델을 테스트한 결과이다. 변수 값

4(열차번호 4)를 가진 appr이라는 신호가 온 뒤에, 변수

값 1(열차번호 1)을 가진 appr이라는 신호가 오면, 바로

stop이라는 신호로 열차를 정지시키는 테스트 수행과정

을 확인하 으며, 정해진 테스 시간이 지난 후에, 테

스 하는 동안 결함을 가진 행 가 발견되지 않았음을

알려주는 TEST PASSED 메시지와 함께 테스트가 종

료되었다.

2.3 UPPAAL-COVER 도구

UPPAAL-COVER 도구는 UPPAAL 모델로 기술된

타임드 오토마타로부터 테스트 커버리지 기 을 충족하

는 테스트 이스를 자동으로 생성하는 도구로서[6],

UPPAAL 도구로 모델링된 모델과 테스트 커버리지 기

이 장되어 있는 옵 버(Observer), 옵 버 이름을

명시한 쿼리(Query) 일을 UPPAAL-COVER 도구에

입력하여 옵 버에 명시된 테스트 커버리지 기 에 부

합되는 테스트 이스를 자동으로 생성한다.

시스템 명세로부터 확률 선택 기법을 이용하여 테

스트 이스를 생성하는 UPPAAL-TRON 도구와는 다

르게, UPPAAL-COVER 도구는 특정 테스트 커버리지

기 을 충족하는 테스트 이스를 생성하는 특징이 있다.

그림 4(a)는 열차 제어장치 모델을 상으로 All-Node

커버리지 기 (모델의 모든 Node를 한번 이상 커버하는

테스트 이스를 생성하는 커버리지 기 )을 만족하는

테스트 이스를 생성한 결과이다.

2.4 SYMBOLRT 도구

SYMBOLRT 도구는 타임드 입출력 심볼릭 이 시

스템(Timed Input-Output Symbolic Transition System:

TIOSTS) 모델을 기반으로 한 모델 기반 테스 도구

로서[7], 테스트 상 모델에 특화된 테스트 목 을 테

스터가 TIOSTS 모델과 함께 SYMBOLRT 도구에 입

력하여 테스트 이스를 자동으로 생성한다.

UPPAAL-COVER 도구와는 다르게 테스트 커버리지

를 옵 버를 이용하여 명세하지 않고, 테스트 상 모델

에 명시 으로 테스트 목 을 작성하여 수행함으로써

테스트 커버리지를 충족하는 테스트 이스를 생성하는

특징이 있으며, 그림 4(b)는 그림 1의 모델과 함께 모델

의 모든 노드를 커버하는 테스트 목 을 가지고 생성한

테스트로, 열차 한 근 후 다른 열차가 근하면 멈

추라는 신호를 보내는 테스트 시 스를 나타낸다. SYM-

BOLRT 도구는 생성된 테스트 이스의 시각 표 을

지원한다.

3. 타임드 오토마타 모델 기반 테스 도구 비교 분석

3.1 사례 연구

그림 1의 열차 제어장치 모델을 사례 연구의 상 모

델로 선정하 으며, 이를 각 모델 기반 테스 도구들을

이용해서 테스 을 수행함으로써 타임드 오토마타 모델

기반 테스 도구들을 비교 분석하고 테스 이슈를 제

안하 다.

사례 연구 비교 분석을 해 UPPAAL-TRON 도

구와 UPPAAL-COVER 도구에 입력 일로 들어갈

UPPAAL 모델[8]을 비하 고, 이와 동일한 모델을

TIOSTS 모델[7]로 변환하여 SYMBOLRT 도구의 입

력 일로 사용하 다. 비된 모델 외에 추가 인 작업

으로 UPPAAL-TRON 도구는 테스트 상 시스템(SUT)

을 실제로 구 하 으며, UPPAAL-COVER 도구는 테

스트 커버리지 기 을 옵 버와 쿼리 일로 비하

다. SYMBOLRT 도구는 UPPAAL-COVER 도구에서

사용한 테스트 커버리지 기 과 동일한 내용의 테스트

목 을 TIOSTS 모델로 변환하여 사용하 다.

3.2 테스 결과

동일한 모델을 각 도구에서 수행한 결과는 그림 3과

그림 4(a), 4(b)와 같았다. 2장에서 설명한 것과 같이,

열차 한 가 통과하고 있을 때, 다른 열차가 근하면

해당 열차를 멈추는 일련의 과정을 각 모델 기반 테스

도구에서 동일하게 볼 수 있었으며, 이러한 테스

결과와 각 테스 도구의 특징을 비교하기 해 [10]의

연구결과로 도출된 그림 5의 분류기 들을 활용하 다.

타임드 오토마타 모델 기반 테스 기법 분석 사례 연구 135

(a) UPPAAL-COVER (b) SYMBOLRT

그림 4 열차 제어장치 모델의 테스트 이스

Fig. 4 Test case of the train controller model

각 분류기 들은 모델 기반 테스 기법들을 모델의

명세, 특징부터 테스트를 실행하는 방식 등 총 6개의 항

목으로 구성되어 있으며, 세부 으로는 3개의 모델 명세

항목과 2개의 테스트 생성 항목, 1개의 테스트 실행 항

목으로 구성된다. 본 논문에서는 이러한 비교 항목들과

함께 테스 도구의 비교를 하여 1개의 사용 편의성

(Usability) 항목을 추가하 으며, 이는 표 1과 같이 정

리하 다.

우선, [10]의 연구에서 모델 기반 테스 도구들의 분

류체계로 기술한 모델 명세 측면에서는 3개의 테스

도구가 모델 내 SUT의 입/출력을 명세하고, 시스템 모

델이 타임드 모델이면서 비결정 , 연속 인 이 기반

모델이라는 에서 공통 이 존재하 으나, 테스트 생성

과 실행 에서는 다음과 같은 차이 이 존재하 다.

테스트 선택 기 측면에서는 UPPAAL-TRON 도구

는 시스템 명세에 포함된 상태들을 확률 으로 선택하

는 임의/확률 선택 기법으로 테스트를 선택하 으나,

UPPAAL-COVER 도구는 All-Node 커버리지 기 과

같은 구조 모델 커버리지로 테스트를 선택하 으며,

SYMBOLRT 도구는 요구사항 기반으로 명시된 테스트

목 을 커버리지로 테스트를 선택하 다.

테스트 생성 기술 측면에서는 UPPAAL-TRON 도구

는 확률 으로 선택된 테스트를 임의 실행하 으나,

UPPAAL-COVER 도구는 노드 커버리지 알고리즘과

같은 검색 알고리즘을 이용하여 테스트를 생성하 고,

SYMBOLRT 도구는 TIOSTS 모델에서 생성된 테스트

를 심볼릭 실행함으로써 테스트를 생성하 다. 마지막

테스트 실행 측면에서 UPPAAL-TRON 도구는 테스트

의 생성과 실행을 동시에 수행하는 온라인 테스 도구

으나, 다른 도구들은 테스트의 자동 생성만 수행하는

오 라인 테스 을 수행하 다.

이 외에도 각 모델 기반 테스 도구를 활용한 결과

편이성 측면에서 UPPAAL-TRON 도구는 온라인 테스

으로서 테스트 수행결과를 즉시 확인할 수 있다는 특

징이 있었으며, UPPAAL-COVER 도구는 테스트 커버

리지 기 이 옵 버에 잘 구 되어 있으면, 입력 값으로

주어지는 어느 모델에도 테스트 이스가 쉽게 생성이

가능한 장 이 있었다. SYMBOLRT 도구는 각 테스트

이스를 다른 도구들보다 시각 으로 보여 으로써 사

용의 편의성을 높 다.

3.3 타임드 오토마타 모델 기반 테스 기법 련 이슈

동일한 시스템의 모델을 다른 특징을 가지고 있는 세

가지 타임드 오토마타 모델 기반 테스 도구들에 용

을 한 결과 몇 가지 제약사항을 발견하 다.

본 연구의 상모델인 그림 1의 열차 제어장치 모델은

그림 2의 열차 환경 모델과 연동하여 수행이 되며, 여러

136 정보과학회 컴퓨 의 실제 논문지 제 21 권 제 2 호(2015.2)

그림 5 모델 기반 테스 기법 분류[10]

Fig. 5 The taxonomy of model-based testing approaches [10]

표 1 타임드 오토마타 모델 기반 테스 도구 비교

Table 1 Comparison of the timed automata model-based testing tools

UPPAAL-TRON[5] UPPAAL-COVER[6] SYMBOLRT[7]

Model

Specification

Scope Input-output

Characteristics Timed / Non-Deterministic / Continuous

Paradigm Transition-Based

Test

Generation

Test Selection

CriteriaRandom and Stochastic Structural Model Coverage Requirements Coverage

Technology Random generation Search-based algorithms Symbolic execution

Test

ExecutionOn/Offline Online Offline

Tool

CharacteristicsUsability

Immediate test execution

results available

Easy application to

various modelsVisual results provided

열차의 운행을 모델링하기 하여 내부 으로는 여러 개

의 환경 모델이 존재하는 것처럼 동작한다. UPPAAL-

TRON 도구와 UPPAAL-COVER 도구는 이러한 여러

모델들을 테스 하는 것에 문제가 없었던 반면에,

SYMBOLRT 도구를 이용한 경우에는 모든 모델들을

하나의 로세스(Process)로 통합하는 과정에서 제약사

항이 발생하 으며, 이는 본 연구에서 사용한 것보다 복

잡한 모델을 사용하는 경우, 모델을 만드는 것 자체에 확

장성(Scalability) 문제가 발생할 가능성이 있다.

모델 자체의 확장성 문제와 함께 고려할 사항으로 테스

트 커버리지 용에 있어서의 확장성 문제도 있다.

SYMBOLRT 도구는 상 모델 일 안에 테스트 커버

리지를 테스트 목 이라는 로세스로 같이 명시하게 된

다. 즉, 상 모델 로세스와 테스트 목 로세스로 구

성된 일을 이용하여 테스트를 수행하게 된다. 이 게

작성되는 테스트 목 은 시스템의 요구사항을 기반으로

작성되기 때문에 복잡한 시스템을 모델링하는 경우, 확률

으로 테스트를 선택하는 UPPAAL-TRON 도구나 구조

테스트 커버리지 기 을 활용하는 UPPAAL-COVER 도

구와는 다르게 다른 확장성 문제를 가질 가능성이 있다.

이와 같은 확장성 문제를 고려한 결과, 보다 시각 으

로 테스트를 보여주고 리가 가능한 SYMBOLRT 도

구의 장 을 기반으로 상 모델과 테스트 커버리지 기

의 확장성 제약이 보다 유연한 UPPAAL-COVER 도

구의 장 등을 병행하여 연구하고 이러한 기법들을 동

시에 용하는 방안을 강구하는 것이 필요할 것이다.

타임드 오토마타 모델 기반 테스 기법 분석 사례 연구 137

4. 결론 향후 연구

본 논문에서는 실시간 시스템을 한 타임드 오토마

타 모델 기반 테스 도구인 UPPAAL-TRON 도구,

UPPAAL-COVER 도구, SYMBOLRT 도구를 열차 제

어장치 모델에 용하여 사례 연구를 수행하 다. 이를

기반으로 타임드 오토마타 모델 기반 테스 기법들을

비교 분석하여, 몇 가지 련 이슈사항들을 도출하 으

며 특히, 동일 모델을 각 테스 도구들에 용함으로써

보다 객 인 비교 분석 결과를 얻을 수 있었다는

에서 의미가 있다.

향후 연구에서는 본 연구에서 확인한 이슈들을 해결

하는 방안을 포함하여, 기존 타임드 오토마타 모델 기반

테스 기법들을 개선하는 연구를 수행하고자 한다.

References

[ 1 ] A. Hessel, "Model-based test case generation for

real-time systems," Ph.D, Dissertation, U ppsala

University, Sweden, May. 2007.

[ 2 ] R. Alur, "Timed automata," Verification of Digital

and Hybrid Systems, Vol. 170, pp. 233-264, Springer

Berlin Heidelberg, 2000.

[ 3 ] A. Pretschner, W. Prenninger, S. Wagner, C. Kühnel,

M. Baumgartner, B. Sostawa, R. Zolch, T. Stauner,

"One evaluation of model-based testing and its auto-

mation," Proc. of the 27th international conference on

Software engineering, pp. 392-401, May. 2005.

[ 4 ] M. T. B. Waez, J. Dingel, and K. Rudie, "A survey

of timed automata for the development of real-time

systems," Computer Science Review, Vol. 9, pp. 1-26,

Aug. 2013.

[ 5 ] K.G. Larsen, M. Mikucionis, B. Nielsen, and A.

Skou, "Testing real-time embedded software using

UPPAAL-TRON: an industrial case study," Proc. of

the 5th ACM international conference on Embedded

software, pp. 299-306, Sep. 2005.

[ 6 ] A. Hessel, and P. Pettersson, "CoVer-a real-time

test case generation tool," Proc. of the 19th IFIP

International Conference on Testing of Communi-

cating Systems and 7th International Workshop on

Formal Approaches to Testing of Software, 2007.

[ 7 ] W. L. Andrade, and P. D. L. Machado, "Generating

Test Cases for Real-Time Systems Based on

Symbolic Models," IEEE Transactions on Software

Engineering, Vol. 39, No. 9, pp. 1216-1229, Sep. 2013.

[ 8 ] G. Behrmann, A. David, and K. G. Larsen, "A

Tutorial on UPPAAL 4.0," Department of Computer

Science, Aalborg University, Denmark, 2006.

[ 9 ] A. Hessel, K.G. Larsen, M. Mikucionis, B. Nielsen,

P. Pettersson, and A. Skou, "Testing real-time sys-

tems using UPPAAL," Formal methods and testing,

Vol. 4949, pp. 77-117, Springer Berlin Heidelberg,

2008.

[10] M. Utting, A. Pretschner, and B. Legeard, "A taxo-

nomy of model-based testing approaches," Software

Testing, Verification and Reliability, Vol. 22, No. 5,

pp. 297-312, Aug. 2012.

김 한 석

2003년 숭실 학교 컴퓨터학부 학사. 2004

년～2006년 육군본부 정보체계 리단 장

비정비개발실 담당. 2009년 Air Force

Institute of Technology (AFIT) 산

학과 석사. 2010년～2012년 방 사업청

종합군수지원개발1 담당. 2012년～

재 KAIST 산학과 박사과정. 심분야는 소 트웨어 공

학, 모델 검증, 모델기반 테스 , 소 트웨어 보안

지 은 경

1999년 KAIST 산학과 학사. 2001년

KAIST 산학과 석사. 2001년～2002년

몽골 울란바타르 학 임강사. 2003

년～2004년 (주)이마린로직스 소 트웨

어 엔지니어. 2009년 KAIST 산학과

박사. 2009년～2011년 University of

Pennsylvania 박사후연구원. 2011년～ 재 KAIST 산학

과 연구조교수. 심분야는 소 트웨어공학, 소 트웨어 테

스 , 정형검증, 안 필수 소 트웨어, 소 트웨어 안 성

배 두 환

1980년 서울 학교 조선공학 학사. 1987

년 Univ. of Wisconsin-Milwaukee 산

학과 석사. 1992년 Univ. Of Florida

산학과 박사. 1995년～ 재 KAIST 산

학과 교수. 심분야는 소 트웨어 로

세스, 객체지향 로그래 , 컴포 트 기

반 로그래 , 임베디드 소 트웨어 설계, 지향 로그

래