Penn State University (PSU)Project Activities

David HallJake GrahamJeff RimlandRick Tutwiler

Sept 27, 2011

1

Partner Collaboration: Overview

TSU: Human/Vehicle Interactions

PSU: Hard Sensor Analysis / Fusion

UB: Text Extraction Process

PSU: Test and Evaluation PSU: COIN Data Set Generation

PSU: Infrastructure

UB: Soft Fusion Process

UB / PSU: Hard and Soft Fusion Process

2

Objectives:• Develop methods for fusion of hard sensor data

• Establish T&E approach and infrastructure• Develop integration/transition environment for MURI project

DoD Benefit:• Establish baseline for fusion of hard data and basis for evaluation of MURI techniques

Scientific/Technical Approach• Establish a framework for human-centric fusion• Develop a test and evaluation approach

progressing from synthetic data to human in the loop experiments

• Create an architecture and infrastructure for algorithm integration & transition

• Design and implement algorithms for fusion of physical sensor data including new sensor types

Year-2 Accomplishments• Completed development of synthetic hard/soft data set (SYNCOIN) – including review of HASTEN data set

• Selected a set of hard sensors for experimentation• Developed and demonstrate processing flow & algorithms for hard fusion processing

• Planned and conducted human in the loop, off‐campus‐based experiments

• Implemented an initial infrastructure for integration/transition

Challenges• Balancing scientific developments with focus on military

practical applications • Lack of applicable calibrated data sets for soft and hard fusion

Penn State UniversityProject Overview

3

Students supported:‐ 8 graduates/undergraduate students:  R. Reddy, S. Pisupati, G. Iyer, A. Kalindini, K. Moore, J. Rimland, J. Daughtry1, David Sudit1

‐ 6 faculty: D. Hall, J. Graham, M. McNeese, R. Tutwiler, C. Griffin2 and K. Hamilton2‐ Degrees awarded:  (MS, PhD) (X. Dong (M.S.), K. Misra (M.S.), A. Jain (M.S.), G. Iyer (M.S.), R. Reddy (M.S.))‐ Degrees in progress:  K. Moore (PhD), J. Rimland (PhD), J. Daughtry (PhD), D. Sudit (PhD)

Publications:‐ Conference papers ‐ 8‐ Book and book chapters – 2‐ Technical reports ‐ 5‐ Theses ‐ 2

Technology Transitions:‐ Interactions with industry

• Collaborations with Penn State Police Services regarding stadium  protection• General Dynamics C4 Systems (obtained copy of the Command Post of Future and Tactical Ground Reporting System (TIGR) collaboration, collaboration on use of GeoSuite)

• i2 corporation (interaction with Analyst Notebook)• Mechdyne discussions for collaboration for advanced 3‐D visualization

‐ Interactions with other government  agencies• Discussions with NAVSEA Warfare Centers (NSWC Crane)• Proposed Red Cell collaboration effort with Kira Hutchinson (from JIEDDO)• Centre County Emergency Management Services• Discussions with USAF NORTHCOM regarding Homeland Security

1John Daughtry is supported via IST internal funding and David Sudit is supported via an Applied Research Laboratory E&F Fellowship2 Chris Griffin and Katherine Hamilton are supported via Penn State IST funding

Project Statistics and Summary

4

Books• D. Hall, J. Llinas, C. Chong, K. C. Chang, editors, Handbook of Distributed Data Fusion for Network‐Centric Operations, CRC Press, in pressBook Chapters• D. Hall, Understanding the new users: collaborative decision‐making paradigms, communities of interest, and complex adaptive systems, chapter 3 in D. Hall, J. 

Llinas, C. Chong, K. C. Chang, editors, Handbook of Distributed Data Fusion for Network‐Centric Operations, CRC Press, in press• D. Hall, “The Emergence of Human‐Centric Information Fusion,” chapter 18 in Distributed Sensor Networks, 2nd edition, 2011Refereed Conference Papers• R. Tutwiler, D. J. Natale, M. S. Baran, R. L. Tutwiler, Live Motion 3D Data Processing, IDGA 9th Image Fusion Summit November 15 ‐ 17, 2010, Sheraton Premiere 

at Tysons Corner, Vienna, VA• J. Graham, J. Rimland, D. Hall,  A COIN‐inspired synthetic data set for quantitative evaluation of hard and soft fusion systems, Proceedings of Fusion 2011: the 

International Conference on Information Fusion, Chicago, IL, July, 2011 • R. Tutwiler, M. Baran, D. Natale, C. Griffin, J. Daughtry, M. McQuillan, J. Rimland, D. Hall, Hard sensor fusion for COIN inspired situation awareness, Proceedings 

of Fusion 2011: the International Conference on Information Fusion, Chicago, IL, July, 2011 • J. Rimland, A multi‐agent infrastructure for hard and soft information fusion, Proceedings of the SPIE Defense, Security, and Sensing Symposium: Defense 

Transformation and Net‐Centric Systems 2011, Orlando, FL, 25‐29 April, 2011, accepted for publication• J. Rimland, JDL level 0 and 1 algorithms for processing and fusion of hard sensor data,  Proceedings of the SPIE Defense, Security, and Sensing Symposium: 

Defense Transformation and Net‐Centric Systems 2011, Orlando, FL, 25‐29 April, 2011, accepted for publication• J. Graham, A new synthetic dataset for evaluating soft and hard fusion algorithms, Proceedings of the SPIE Defense, Security, and Sensing Symposium: Defense 

Transformation and Net‐Centric Systems 2011, Orlando, FL, 25‐29 April, 2011, accepted for publication• D. J. Natale, M. S. Baran, R. Tutwiler and D. L. Hall, 3DSF: three dimensional spatio‐temporal fusion, Proceedings of the SPIE Defense, Security, and Sensing 

Symposium: Defense Transformation and Net‐Centric Systems 2011, Orlando, FL, 25‐29 April, 2011, accepted for publication• D. Hall, invited panel discussion, Real world issues and challenges in hard and soft data fusion, Proceedings of the SPIE Defense, Security, and Sensing 

Symposium: Defense Transformation and Net‐Centric Systems 2011, Orlando, FL, 25 April, 2011Technical Reports• R. L. Tutwiler, MURI Hard Sensor Fusion Performance Characterization, Technical report,  May, 2011• J. Graham, SYNCOIN Data Set, Technical report, December, 2010• J. Rimland, “Factors determining success in participatory sensing campaigns.”, Internal Report• J. Rimland, “Cognitive factors in data fusion and visualization”, Internal Report• J. Rimland, “The role of perceptual factors in human‐in‐the‐loop HCI”, Internal ReportTheses• Rachana Reddy Agumamidi, M. S. thesis, The Pennsylvania State University, Electrical Engineering, “Hard Sensor Processing for Data Fusion”,  May, 2011• Ganesh Iyer, M.S. thesis, The Pennsylvania State University, Electrical Engineering,   “Approaches to hard and soft sensors’ data fusion”, June, 2011

Year‐2 Publication list

5

Summary of Year‐2 Focus and Accomplishments

• Test and evaluation – Developed a T&E approach from synthetic hard and soft data set to human experiments

• Provided operational perspectives regarding tactical military COIN operations• Reviewed HASTEN data set and incorporated concepts into SYNCOIN• Developed SYNCOIN, including interlaced scenarios, 600 text messages and synthetic hard data • Created ground truth products (utilizing Analyst Notebook) for T&E• Initiated human in the loop experiments and demonstrations in an off‐campus setting (Fire Safety course)

• Fusion of hard sensor data – Established plans and implemented algorithms to fuse hard sensor data

• Selected set of hard sensors • Developed applications for target identification, localization and tracking in MATLAB and C++• Implemented MATLAB fusion/geo‐mapping capability• Implemented algorithms to fuse 3‐D (LIDAR) and 2‐D (video) data for target identification and tracking of vehicles and humans• Demonstrated GeoSuite mobile application for soft annotation of hard data

• Integration and transition – Designed and implemented an integration & transition environment.• Implemented and demonstrated proof‐of‐concept service oriented architecture (SOA) for integration, test and transition• Developed agent‐based framework for dynamic resource allocation for hard and soft sensors   • Acquired, assessed and implemented the General Dynamics GeoSuite Server and Android Mobile application• Developed proof of concept system to encode/decode/transmit hard/soft data in OGC‐compliant formats• Investigated technologies, standards, and applications

6

Test and Evaluation: Problem Domain Data and Decision Support

7

Jake Graham

Objectives:• Develop synthetic soft data products (vignettes and

messages) to support hard and soft T&E• Create hard sensor opportunities w/in soft data set

(synthetic hard data build)• Plan and conduct human in the loop experiments

/demonstrationsDoD Benefit:• Establishes baseline for quantitative algorithm

evaluation

Scientific/Technical Approach• Construct short-term scenarios within context of

SYNCOIN to emulate military hard sensor data collection

• Link synthetic hard/soft data (SYNCOIN) with human in the loop data collections using real sensors and actors

• Select hard sensors to emulate military sensing• Proceed from data-level hard sensor fusion to

feature and state-level fusion

Accomplishments• Developed SYNCOIN synthetic hard/soft COIN inspired

data set• Created ground truth products (Analyst Notebook) to

check veracity of fusion processes • Collected hard sensor data using SYNCOIN inspired

vignette (LIDAR, 3-D calibrated cameras, acoustics)• Collected human annotated geo-encoded imagery (via

GeoSuite mobile APP)Challenges• Magnitude of data creation (esp. for synthetic hard data)• Emulation of military grade sensors and collections 8

Penn State UniversityTest and Evaluation Overview

Test and Evaluation Approach

Challenges‐ Obtaining calibrated, coordinated hard and soft data set for meaningful COIN applications 

– Testing entire information chain from point of observation to collaborative decision‐making

– Establishing repeatable, statistically significant experiments

– Spanning information hierarchy from data to knowledge level

Approach‐ Establish SYNCOIN dataset 

‐ Spans information hierarchy‐ Provides calibrated synthetic hard  and 

soft data‐ Explore challenging inference processes

‐ Conduct human in the loop experiments‐ Establishes basis for experimentation 

with cognitive aids, inference tools, collaboration aids, etc.

‐ Provides basis for  conduct of statistically significant experiments utilizing human subjects

‐ Allows evaluation of changing observational conditions and environments

9

Evaluation Concept 

SYNCOIN Data

Recorded Exp. Data H + S Fusion

Position Estimates

Identity Estimates

Track EstimatesAttribute Estimates

Position EstimatesTrack Estimates

Identity EstimatesAttribute Estimates

TML Encoding

TML Encoding

Fused State Estimates

Test & Evaluation

MOPs MOEs

Live Sensor Data Position Estimate

Identity Estimate

Track EstimatesAttribute Estimates

TML Encoding

Human‐In‐Loop

• 600+ messages• Corresponding Hard Data

• Recorded Voice/Comm• Recorded Video/LIDAR/etc

• Live Voice/Comm• Live Video/LIDAR/etc

Ground Truth Data

Post – Processing Analysis

• Visualization• Sonification

• Statistical comparisonbetween algorithms

10

T & E Lineage

COIN‐inspired Operational Concept

SYNCOIN Synthetic Hard and Soft Data

Human‐in‐loop Experiments On and Off Campus

11

Reminder: Commander’s Perspective

• BCT Commander• COIN Operations• Multiple lines of Operations

– Information– Combat Operations– Development of HN security force– Essential Services– Governance– Economic Development

•Win over, exhaust, divide, capture, or eliminate the senior and mid‐level insurgent leaders and network links•Frustrate insurgency recruitment•Disrupt base areas and sanctuaries•Deny outside patronage (external support)

IED Ops & Networks

12

Reminder: PIRs in COIN Environment 

1313

Methodology

9/23/2011 14

College of Information Sciences & Technology

ist.psu.edu 14

Establishing Ground Truth

Ground truth data includes temporal and geospatial references, causal relationships, and ethno-religious and social network connections.

15

SYNCOIN: Data‐Build Example

Excerpt from “Rashid IED Cell” Vignette:

“IED post‐incident exploitation and investigations have revealed evidence indicating a shift in tactics across Baghdad away from insurgent controlled operations to localized for‐hire IED operations. Essentially, IED attacks in and about Baghdad have become largely a for‐profit, criminal‐controlled enterprise …criminal activities in general remain elevated and are often difficult to distinguish from sectarian violence or other violence…”

16

Each SYNCOIN vignette was story‐boarded to develop the  general thematic framework and related activities, people, places that typify the thread.

Rashid IED Cell Thread Messages

02/10/10‐ Anonymous caller to Rasheed Tip Line reports he saw the same two men from 02/05/07 at the al‐Bayaa mosque again; this time he heard them mention an address on Hila Road, house number 106.

02/15/10‐ CF patrols on Airport Road report several incidents of young men loitering at overpasses and natural chokepoints along the Main Supply Route (MSR) //MGRSCOORD: 38S MB  347726. The men later seen were seen pacing between sign‐posts along Hila Road.

02/23/10‐ CF convoy on Airport Road comes under IED attack at 0730 //MGRSCOORD: 38S MB  350726 while returning to the Green Zone from Baghdad airport. One vehicle was damaged, but not immobilized, during the attack, and no Coalition casualties are sustained. The convoy returned to the Green Zone without further incident.

02/24/10 – CPEX‐TF monitors call on 02/23/07 placed from West Rashid from (700‐140‐8055) to Amin, Iraq (767‐811‐2233). The call came immediately following the IED attack of U.S. convoy on Airport Road //MGRSCOORD: 38S MB  350726. The two parties were arguing, the caller states, "Your team is a failure…”

02/27/10 – Weapons Technical Intelligence Preliminary Report of 02/23/07 IED attack of U.S. convoy on Airport Road //MGRSCOORD: 38S MB  350726, reveals partial detonation of anti‐armor IED. The failure of the main charge saved the vehicle occupants from catastrophic loss of life. The lethality of the weapon far exceeded the force protection capability of the vehicle. 

17

Hard/Soft Data Integration

18

•02/16/2010 ‐ Coalition forces requestpredator reassignment from classifiedtarget in East Rashid to Hila Road andUniversity Street (Gama’a Street) overpass,MGRS 38SMB4041981129.

•02/16/2010 ‐ Predator flies over theoverpass on Hila Road and University Street(Gama’a Street). Takes air surveillance.

•02/16/2010 ‐ Predator captures video ofa black truck with 3 males near theoverpass carrying a large object and returnto the vehicle without the object.

•02/16/2010 ‐ Predator follows black truckto a house in East Rashid, MGRS38SMB4041981129. BCT puts house in EastRashid under surveillance.

•02/16/2010 ‐ EOD team dispatched tooverpass on Hila Road and University Street(Gama’a Street), MGRS 38SMB4041981129.Successfully disarmed IED. The IED was aVOIED, a few artillery rounds, between 300and 500 pounds in size, and buriedunderground.

Example of Hard/Soft Fusion Opportunities

• Five distinct information modalities provide different information about the same entity

• There are also overlapping capabilities to provide corroboration opportunity

19

Hard and Soft Co‐registration

We have generated soft messages, simulated hard data, and created geospatial aids to provide hard/soft co‐registration opportunities.

20

Limitations & Quality Assurance

Constraints & Limitations• Messages do not emulate actual IED 

tactics, counter‐tactics, or operational tradecraft

• Messages represent “snapshot” of reporting at Battalion level headquarters

• Messages are assumed to be unformatted and originate from various sources

• Message set foundation is the reporting of “soft” data (i.e., information collected by humans on humans)

• Unclassified materials used in all research

• Avoids politically, socially, militarily sensitive data/issues

Quality Assurance• Validation of soft and hard 

data  – Culturally relevant (i.e., names)– Geographically relevant areas 

(i.e., neighborhoods)– Location accuracy via Military 

Grid Reference System (MGRS).   – Event time‐lines & time 

validation

• Commitment to accuracy in synthetic data

21

http://www.outreach.psu.edu/shaverscreek/

Experiments will be conducted at the Shaver’s Creek facility to emulate patrols in non‐urban environments involving multiple vehicles and humans in challenging observing environments

https://www.cpi.edu/est/

Experiments have been conducted at the Centre County Public Safety Training Center to emulate an urban 

environment including a patrol scenario and a building infiltration scenario

Human in Loop Experiments: Off‐Campus

22

IST Command and Analysis Center

23

The Penn State IST Extreme Events Laboratory will be used to conduct campus wide experiments involving humans in the loop as observers and analysts to evaluate human‐computer interfaces & aids for knowledge 

elicitation, tasking and analysis 

Human in Loop Experiments: On‐Campus

Examples of Measures of Performance and Measures of Effectiveness

Level of Inference• Decision Support

• Context/Hypothesis

• Target Location/ID

• Entity Detection

Quantitative Measures (MOP/MOE)• Decision support

• Measures of effectiveness • User‐assessment, group interaction measures

• Context/Hypothesis• Situation awareness (SAGIT)• Contextual interpretation 

• Single & multi‐sensor target location/ID • Target location accuracy• Target identification accuracy and specificity

• Single sensor performance • Maximum detection range• Sensor resolution (range resolution & image accuracy)  • Reproducibility (statistical similarity)

24

Year 3: SYNCOIN Completion and Additional Human in Loop Experiments

‐ Complete development of synthetic hard data for SYNCOIN‐ Identify and develop additional short‐term scenarios to drive hard sensor data collection and fusion‐ Continue off‐campus experiments at the Fire Safety Course (expanded and additional vignettes)‐ Initiate off‐campus experiments at Shaver’s Creek‐ Continue collaboration/integration with General Dynamics GeoSuite tools‐ Integrate UAV sensor platforms with GeoSuite tools

Years 4 and 5: Extend to Distributed Environment, Explore Human Interaction, Enable Transition, and Perform Large‐Scale Demonstrations

‐ Develop datasets to support distributed fusion experiments and evaluations‐ Initiate on‐campus experiments with focus on humans as observers and analysts‐ Explore effects of knowledge elicitation and observer motivation ‐ HCI / human interaction with hypothesis‐level analysis tools‐ Continue and refine on‐campus experiments and demonstrations‐ Refine evaluation of combined hard and soft experiments‐ Plan and conduct transition demonstrations‐ Conduct large‐scale demonstration using PSU event

Plans for Year 3 and Beyond: Test and Evaluation

25