Adam Wilcox, PhDColumbia University

March 24, 2009

OutlineHistoryClinical Data Repository Clinical Data Warehouse

Clinical Information SystemsStage 1:  Early computers calculated data in contextStage 2: Client applications provided access to ancillary dataStage 3: Systems began aggregating data from multiple sourcesStage 4: Data storage provided historical view

And analysisStage 5: Workflow applications formalize processes between clinical roles

Clinical Information System  Technology Levels

Level 1: Departmental applicationsLevel 2: Internally‐developed integrated systemsLevel 3: Functional vendor‐based systemsLevel 4: Comprehensive clinical information systems

Clinical Information Systems at  Columbia University

Began at Stage 3 Pushing a Level 1 system to Level 2Issues

VocabularyData modelingInterfacesDecision supportData processing

Recipient of first Nicholas Davies Award

EMR environment

Replicate

Distribute

Query ReplicateQuery

Production

Databases

EnterpriseRepository/Data Warehouse

Workgroup

Datamarts

Datamarts,Personal, Mobile,Research, Educ.

Query

Workflow orGoal specific

Information Service LayersInformation Service Layers

Handling

Encoding

Routing

AccessAccess

Monitoring

Other Level 2 SystemsIntermountainVAPartners RegenstriefVanderbilt

Level 3 SystemsCernerEpicEclipsysGEMcKesson

Challenges at ColumbiaMoved from Stage 3 through Stage 4 to Stage 5Purchased a vendor system (Level 3)How to get to Stage 5 and Level 4?

Challenges at  CPMC/CUMC/NYPH/WCMC

In 1998, merged two academic medical centers into NewYork Presbyterian Hospital

Columbia Presbyterian campus became Columbia University Medical CenterNew York Hospital became Weill Cornell Medical Center

Currently 4 different electronic health recordsEclipsys (WCMC)Eclipsys (CUMC)Epic (WCMC)Allscripts (CUMC)

Departments (admin)(Clin) My Medical File (Clin) Mobile Telemetry (CUMC) Pyxis (WMC/CUMC) - OR

NYPNYP

ColumbiaColumbia

Weill CornellWeill Cornell Information Service(Adm),Eagle , BIS,(Clin) Eclipsys XA WebCIS, Cisyphus.(Clin) Amicas,GE PACS(Clin) Imnet, Surgical Mgr(Adm ) Lawson, P’soft, etc.(Clin ancil) Cerner, MisysMPI ,Egate , Data Warehouse Network , Desktop, Security

Departments (clin)Climacs (WMC) - Med(Clin) CopathHelix (CUMC) - SurgeryMany others.

ITSNYP EmailNYP CalendarWMC NetworkWMC Email, etc.

Cornell PO(Adm) IDX (Clin) Epic

Sponsored Hospitals

Sponsored Hospitals

Core & ITSNYP/WMC Network

Core CUMC Network

Columbia PO

(Adm) IDX(Clin) Allscripts

ResearchResearch

CUIT CU Email

DepartmentalDepartmental

Local Clinical and Admin Systems

Clin Trial Velos

Pub Relations www.nyp.org Development DB

Heath Plan, etc.

Heath Plan, etc.

LabTestLabTest

RogosinRogosin

Psych InstPsych Inst

Clearing HousesClearing Houses

St Luke’sSt Luke’s HarlemHarlem

HSSHSS

CUBHIS CUMC CalendarDesktop, etc.

Also used by some sponsored hospitalsContractual/Outsourced relationship Dept BillingDept Billing

TSI, EagleTSI, Eagle RegulatoryRegulatory

NYP Computing Environment

Sep 2007

Service CorpService Corp

Service CorpService Corp

Security

NYQNYQ NYMNYM CHOBCHOB Etc.Etc.Presbyterian New York MSCHONY Westchester Allen Pavilion

PresbyterianPresbyterian New YorkNew York MSCHONYMSCHONYWestchesterWestchester Allen Allen PavilionPavilion

Internet

Internet

& CU MS

Eclipsys

(CUMC)

Eclipsys

(WCMC)

Allscripts Epic

Problems with Integrating to  Application Databases

Must model each system multiple timesIncreased effort and complexity

Overloading workflow databasesProtecting external data consistency (no updates)Increased complexity of data protectionBringing in data for a new patient

When to pull data inInterfaces don’t naturally pull in historical data

Increases complexity as move toward RHIOs

Eclipsys

(CUMC)

Eclipsys

(WCMC)

Allscripts Epic

Clinical

Data

Repository

Benefits of CDROnly model data from source systems onceCommon data storeData are read only

Optimized for readHistorical data includedWeb‐based viewer adaptable to multiple applicationsAdaptable to future health information exchange effortsPlatform of innovation

Optimized for RetrievalRelational structure can be difficult to query for both data and context

Gathering multiple elements requires multiple table joinsGood for data storageGood for aggregating across multiple patients

Event‐based model good for querying across data types

Data organized according to patientNot good for querying across patients

Retrieval optimizationParadigm shift in how data  are used

Paper records mainly for primary useElectronic allows secondary useSecondary use can be multiple times

0%

1 0%

2 0%

3 0%

4 0%

5 0%

6 0%

7 0%

Jan 01 2008

Jan 11 2008

Jan 21 2008

Jan 31 2008

Feb 10 2008

Feb 20 2008

Mar 01 2008

Mar 11 2008

Mar 21 2008

Mar 31 2008

Apr 10 2008

Apr 20 2008

Apr 30 2008

May 10 2008

May 20 2008

May 30 2008

Jun 09 2008

Jun 19 2008

Jun 29 2008

Jul092008

Jul192008

Jul 29 2008

Aug 08 2008

Aug 18 2008

Aug 28 2008

Sep 07 2008

Sep 17 2008

Sep 27 2008

Oct 07 2008

Oct 17 2008

Oct 27 2008

Nov 06 2008

Nov 16 2008

Nov 26 2008

Dec 06 2008

Dec 16 2008

Dec 26 2008

Jan 05 2009

Jan 15 2009

Jan 25 2009

Feb 04 2009

Feb 14 2009

Feb 24 2009

WebC IS  tab  per  XA  u se

Us er s

M RNs

Rec s

0%

10%

20%

30%

40%

50%

60%

70%

Jul 01 2007

Jul 17 2007

Aug 02 2007

Aug 18 2007

Sep 03 2007

Sep 19 2007

Oct 05 2007

Oct 21 2007

Nov 06 2007

Nov 22 2007

Dec 08 2007

Dec 24 2007

Jan 09 2008

Jan 25 2008

Feb 10 2008

Feb 26 2008

Mar 13 2008

Mar 29 2008

Apr 14 2008

Apr 30 2008

May162008

Jun 01 2008

Jun 17 2008

Jul 03 2008

Jul 19 2008

Aug 04 2008

Aug 20 2008

Sep 05 2008

Sep 21 2008

Oct 07 2008

Oct 23 2008

Nov 08 2008

Nov 24 2008

Dec 10 2008

Dec 26 2008

Jan 11 2009

Jan 27 2009

Feb 12 2009

Feb 28 2009

0

1000

2000

3000

4000

5000

6000

Eclipsys MRNs

Tab %

1994: Created, sponsored by Columbia University Department of Medical Informatics and Office of Clinical Trials◦

Populated with data from existing clinical data repository◦

Supporting clinical research1998: Columbia + Cornell = NewYork Presbyterian Hospital◦

Warehouse funded by NYPH◦

Goal to incorporate and provide data across whole system2004: Formal analysis of CDW user needs by Clinical Quality and Information Technology Committee (CQIT)◦

Creation of Data Warehousing Subgroup◦

Need to bring together disparate clinical data sources◦

Need to manage user requests for data

CUMC/NYP Clinical Data  Warehouse History

Uses of the WarehouseClinical research queriesManagement reportsClinical trial recruitment

CDW Content IssuesBegan as a copy of the repository

Data already gatheredMainly for research queries

Some data marts built for common queriesAbility to query rapidly across patients increases security risk

Goal of Access PolicyProvide broader access to data

Central control is resource limitedAllow collection of more data sources

Reassure data stewards Three separate institutionsData ownership not completely defined for all data

CDW StructureIdentifying data

Patient identifying informationMain data

Event tables for clinical repositoryLookup tables

Vocabulary translationContains no patient data

Specialty data marts

Access PolicyIdentifying data

Most restrictedCreate a research identifier to replace the patient IDAllow access to only ResearchID, sex, birth date (month and year only), marital status, race, death status

Specialty dataAccess policy defined by data steward

Patient clinical dataNo access to text dataModified dates

Lookup tablesFull access (contain no patient data)

Access PolicySpecific patient information

Sometimes needed to create initial queriesAnalysts get access only to a randomly selected subsetAccess request through supervisor

De‐identified patient dataTest patientsFull access given

1994: Created, sponsored by Columbia University Department of Medical Informatics and Office of Clinical Trials◦

Populated with data from existing clinical data repository◦

Supporting clinical research1998: Columbia + Cornell = NewYork Presbyterian Hospital◦

Warehouse funded by NYPH◦

Goal to incorporate and provide data across whole system2004: Formal analysis of CDW user needs by Clinical Quality and Information Technology Committee (CQIT)◦

Creation of Data Warehousing Subgroup◦

Need to bring together disparate clinical data sources◦

Need to manage user requests for data

CUMC/NYP Clinical Data  Warehouse History

Analysis of ChallengesData in vendor‐based transactional systemsCould not query across transactional systemsUsers needed help in defining their needsMature initiatives required more robust data solutions

INTEGRA

TION   SERV

ICES

SOURCE 

Systems

SOURCE

Databases

REPLICATED 

Databases

AD HOC

Complex

Analytical

Queries

RECURRING

Clinical Care 

Reporting

& 

Business

Analysis

&

Research

__

Online  

Analytical 

Processing

(OLAP)

VIRTUAL CLINICAL DATA WAREHOUSE

DATAMARTS

DM

DM

DM

DM

A

B

C

A

B

C

Reports

OLAP

Research

Goal Task Use User ToolSix 

Sigma

Cost/ 

Instance

Instances Required

Answer a 

specific 

question

Ad hoc 

query

Research Researcher SQL Define + +++++Defined 

request

Observe trendsRecurring 

query

Management 

reports

ManagerReporting 

application

Measure ++ ++++Available 

owner

Identify 

dependencies

OLAPOperational 

analysis

AnalystAnalytics / 

Data cubes

Analyze +++ +++Content 

expert/ 

analyst

Assist decision 

making

Dashboard 

display

Point of careClinical 

team

Registries Improve ++++ ++ Pilot site

Automate 

processes

ApplicationDecision 

support

Clinician/ 

Role

EMR 

application

Control +++++ +Institutional 

sponsor

INTEGRA

TION   SERV

ICES

REPLICATED 

Databases

VIRTUAL DATA WAREHOUSE

DATAMARTS

DM

DM

DM

A

B

C

Ad-Hoc Queries–

QuestionsResearch Define

Recurring–

Automated Queries

Management Reports Measure

OLAP–

Analytics

Operational Reports Analyze

Dashboards Point of Care Reporting Improve

ApplicationsDecisionSupport Control

DATA WAREHOUSE TOOLS

Black BeltSix SigmaApproach

ConclusionIntegrating clinical data repository view into workflow applications can improve useAccess policies need to isolate data to reassure data use from different stakeholdersData access tools need to account for users’ evolving data needs along the quality improvement life cycle