Geophysical Classification for Munitions Response

Quality Assurance Project Plan Template(GCMR‐QAPP)

Presented by:  Jordan AdelsonDirector, Navy Laboratory Quality and Accreditation Office (LQAO)

Presented to:  NAOC General Membership MeetingNovember 2014

1

Overview• DoD Environmental Data Quality Workgroup (EDQW)

• Intergovernmental Data Quality Task Force (IDQTF)

• Genesis of the UFP‐QAPP and Systematic Planning

• Key QAPP worksheets• Beta draft feedback• Path forward

2

Mission: Develop and recommend coordinated DoD positions and policy on environmental sampling and laboratory testing issues, to:• Promote the generation of environmental data of 

known and documented quality• Reduce unnecessary duplication and program 

costs• Ensure compliance with established standards• Promote better use of environmental resources• Improve overall performance

EDQWEstablished 1996

3

EDQW (cont’d.)Key Roles:

• Facilitate the rapid, coordinated DoD response to regulatory initiatives

• Provide oversight for the DoD Environmental Laboratory Accreditation Program (ELAP)

• Maintain the DoD Quality Systems Manual (QSM) for Environmental Laboratories

• Represent DoD on the Intergovernmental Data Quality Task Force (IDQTF) Chair the IDQTF Geophysical Classification for Munitions Response (GCMR) QAPP Subgroup

4

IDQTFEstablished 1997

• Chaired by Director, Federal Facilities Restoration and Reuse Office (FFRRO)

• Partnership among EPA HQ offices, Regions, DoD, and DOE

• January 2000 MOU (EPA & DoD):Develop written consensus agreement on an adequate environmental quality system

Outline roles and responsibilities for EPA and DoD with regard to environmental data oversight at Federal facilities

5

IDQTFKey Products

• Uniform Federal Policy for Environmental Quality Systems (UFP‐QS) V.2 March 2005 – Uniform criteria for harmonizing quality system requirements across Federal agencies (ANSI/ASQ E4 Part A)

• Uniform Federal Policy for Quality Assurance Project Plans(UFP‐QAPP) March 2005 – Project‐level guidance for implementing a systematic planning process for environmental data collection (ANSI/ASQ E4 Part B)

• Federal Roles and Responsibilities GuidanceMarch 2005 –Specifies Federal Agency responsibilities for data quality oversight

6

Significance of the UFP‐QAPPIn its ninth year of implementation

• Unifies QAPP guidance across all EPA offices, EPA regions, and  DoD Components.

• Formally endorsed by EPA/OSWER/FFRRO and the EPA/OEI/Quality Staff as meeting EPA/QA‐G5

• Training and outreach activities conducted throughout EPA, DoD, and states 

• Streamlines the preparation, review, and approval of QAPPs

• Combines work plan, field sampling plan, sampling & analysis plan into one document

Optimized from 37 to 28 worksheets in 2012

7

Geophysical Classification Subgroup Assignment

Develop and implement a quality system based on national and international standards for the performance of Geophysical Classification at DoD Munitions Response Sites

• Develop a Quality Assurance Project Plan template using the Uniform Federal Policy for Quality Assurance Project Plans (UFP‐QAPP)

Implements ANSI/ASQ E4• Develop quality systems documentation for the 3rd‐party accreditation of organizations performing geophysical classification

Implements ISO/IEC 170258

Geophysical Classification for Munitions Response(GCMR) QAPP Highlights

• Focuses the systematic planning process on achieving site‐specific objectives

• All decision‐makers, including regulators and stakeholders, participate in  planning 

• Contains all technical and quality specificationsnecessary for successful implementation

• Provides a structured, documented, and reproducible process for decision‐making in the field, saving time and resources

Ensures a scientific basis for decision-making9

GCMR QAPP:  Key Worksheets

WS #11:  Data Quality Objectives (DQOs)WS #12:  Measurement Performance Criteria (MPCs)WS #17:  Sample DesignWS #22:  Equipment Testing, Inspection, and Quality Control (QC)WS #37:  Data Usability Assessment (DUA)

10

WS #11:  Data Quality Objectives (DQOs)

Developed and documented by the project team (DoD, contractor & stakeholders) using EPA’s 7‐step DQO process:1. State the problem2. Identify the goals of data collection3. Identify information inputs4. Define the boundaries of the project5. Develop the data collection and analysis approach6. Specify project‐specific measurement performance 

criteria (WS 12)7. Develop the Geophysical Classification design (WS 17)

11

WS  #11:  DQOs (Example)Step 1:  Problem Statement:

“Buried unexploded ordnance (UXO) may be present at site A resulting from its use as an ordnance testing facility.  Buried UXO may present an unacceptable risk from explosive hazards to future human receptors based on the site’s planned use as a recreational facility (fishing and camping).  Geophysical classification will be used to 1) detect subsurface anomalies resulting from UXO and other harmless metallic debris and 2) classify each anomaly so that informed decisions can be made as to whether the anomaly is a target of interest (TOI), which should be removed, or a non‐TOI (harmless debris), which may be left in place.” 

12

WS #12:  Measurement  Performance Criteria (MPCs)

• Considering the DQOs, the internal project team (DoD and contractor) develops the overall specifications the project must achieve to satisfy the DQOs.  These are the MPCs

• MPCs guide development of the sample design, including the technology and methods used for data collection

• Stakeholders have the opportunity to review and approve MPCs during review of the draft QAPP

Following data collection and reduction, MPCs are the criteria against which the success of the study is

gauged (Data usability assessment)

13

WS # 12:  Measurement  Performance Criteria (Examples)

Data Quality Indicator

Project Activity

Specification Activity Used to Assess Performance

Completeness Surface Sweep Not more than 5 pieces of exposed or partially exposed objects.

Visual Inspection

Sensitivity Detection Survey

Detection threshold of 1.7 mV/Amps and S/N ratio ≥ 5.0.

Initial and ongoing IVS surveys

Accuracy Classification Survey

100% of predicted non‐TOI that are intrusively investigated are confirmed to be non‐TOI.

Validation sampling

14

WS #17:  Sample Design

MPCs are used to select the technology and develop the sample design, which is described and justified in WS #17• Describes the project work flow• Includes or references detailed procedures (SOPs, 

maps)• Describes decision‐making process (“decision tree”)• Includes procedures to handle contingencies in the 

event field conditions are different than expected

15

Work Flow DiagramPreliminary Tasks

16

Site PreparationSeeding

IVS Construction

OutputsQC Seed PlanIVS Plan

Inputs

DFW

1 a

nd 2

Surface Sweep Tech MemoSeeding Report and MapIVS Tech Memo

Anomaly Detection Survey

17

Assemble SensorInitial IVS

Outputs

DFW

3

MQOs Achieved?

- Import Data - QC Checks - Preliminary Mapping

Anomaly Density Acceptable?

- Validate Data - Select Anomalies - Select Bkgd Locations

MQOs Achieved?

DFW

4 a

nd 5

Output

Outputs

N

RCA N

N RCARescope

Bound Areas and Dig

Weekly QC ReportsAnomaly Selection Tech MemoFinal Maps

Preliminary Maps

Assembly QC ChecklistIVS Tech MemoDaily IVS SummariesDaily QC Reports

Y

Y

Dynamic Survey

Cued Data Collection

18

Assemble SensorInitial IVS

Outputs

DFW

6

MQOs Achieved?

Preprocess Data - Data Conversion - Data Validation

MQOs Achieved?

DFW

7 a

nd 8

Outputs

N

Weekly QC ReportsDatabase (raw data & metadata

Assembly QC ChecklistIVS Tech MemoDaily IVS SummariesDaily QC Reports

Y

Y

Process Data

N

Collect DataField Inversion

MQOs Achieved?

Y

Y

N

Cued Data Analysis

19

Process Data - Bkgd Correction - Feature Estimation - Data Validation

Output

DFW

9

MQOs Achieved?

- Classify Anomalies - Make Dig/No Dig Decisions

All QC Seeds on Dig List?

DFW

10

Outputs

N

Revised Validation PlanFeature Space PlotsTOI/Non-TOI SpreadsheetLibrary Match ResultsFigures/MapsDig List

Database (inversion results)

Y

Y

RCA N

All Validation Seeds on List?

RCA N YIntrusive Investigation

Intrusive Investigation

20

Dig ListDig/No-dig Threshold

Buffer

Outputs

DFW

11

Finalize and Implement Validation Plan

MPCs Achieved?

DFW

12

OutputComparison Results

Database (Excavation ResultsPhotosWeekly QC ReportsDisposal Records

Y

Evaluate Items

Are items consistent with

predictions?

Y

N

Reacquire LocationExcavate Items

RCA

NRCAIdentify limitations

on data use

Final ReportUpdated CSM

Output Final Validation Plan

DFW

13

WS 22:  Equipment  Testing, Inspection, & Quality Control (QC)

• Based on the selected technology, the project team develops specifications for each step of the process (measurement quality objectives or MQOs) necessary to satisfy the MPCs.  

• Worksheet 22 describes the frequency and acceptance criteria for each MQO.  It also describes the action that must be taken to correct the data collection process if the MQO fails.

• For geophysical classification projects, corrective action (if necessary) is implemented at each step, in the field, before proceeding to the next step

21

WS #22 ‐ Equipment Testing, Inspection, and Quality Control (Example)

MQO Frequency Acceptance Criteria

Corrective Action

Verify CorrectAssembly

Once, following assembly

See SOP‐1, assembly checklist

Make necessary adjustments and re‐verify

Dynamic positioning(IVS)

Twice daily Derivedpositions of IVS targets within 0.25 m of average locations

Root‐cause analysis

22

WS 34‐37 Data Review

• Data VerificationReview for completeness

• Data ValidationReview for compliance

• Data Usability AssessmentAssess results from above against MPCs (WS 12) to determine whether data can be used as intended

23

Beta‐Draft GCMR‐QAPP Feedback

24

153

181

16

DoDNAOCRegulators

Beta‐Draft GCMR‐QAPP Feedback

• Removing an additional 200 ʺthreshold verificationʺ targets

• Worksheet 22 Equipment  Testing, Inspection, & Quality Control (QC)‐ 74 comments

• Confusion over Blue vs Black text• Inclusion of explosive operations

25

Next Steps

1st qtr FY15 Incorporate stakeholder comments on beta draft GCMR QAPP template

2nd qtr FY15 Select beta test site2nd qtr FY15 Develop project‐specific QAPP based 

on updated template3rd qtr FY15 Conduct beta test, and revise 

template4th qtr FY15 Conduct formal DoD, EPA review and 

finalize template

26

Conclusions

• The GCMR‐QAPP template facilitates a systematic planning process

• Objectives and data quality requirements are determined up‐front and documented in the QAPP

• The GCMR‐QAPP template is a win‐win for planning, review, and documentation

The bottom line: Confidence in decision-making, expedited cleanups, environmental

protection, and wise resource allocation

27