Excellence and Innovation:

Naomi R. Boyer, Ph.D. Eric A. Roe, Ph.D. Kevin C. Jones, Ph.D.Polk State College University of Texas at Austin Polk State College

Preliminary Outcomes of a Competency Based STEM Education Program

Project OverviewFundingCore ConceptsRegional NeedInstitutional Context

Our Definitions and Assumptions

• Competency Based Education=CBE

• Units of learning aligned to skills or concepts • Not contact hours• Nor Carnegie credit hours

• Direct Assessment• Non instructor led• Not assessed by faculty

• Hybrid• Delivery: online/face‐to‐face• Combined traditional and CBE • Direct assessment and credit‐based

• Improve learning outcomes & success

• Affordability

• Student mastery

• Flexibility

• Time to completion

• Empower the individual learner

NB3

Slide 7

NB3 I thought it might be good to do definitions and the "why" at the beginning. This seemed to be missing in my last presentation.Naomi Boyer, 10/17/2015

The Shift to Competency‐Based Education

Polk State College’s– Modular– Self‐Paced– Non‐term– Competency‐based– Open Lab– Faculty Mentored– Open‐Entry / Open‐Exit

Engineering Technology Degree

WHY?

Industry Trends• Need for more education/technical competency 

(especially in automation, bio‐technology / biomedical device mfg skills, supply chain management, engineering and process technology, problem‐solving skills, etc.)

• Evolving Business Models: Need agile/flexible production Break down silos between admin, management & production (teams)

• Generational Differences 

• Need Real World (hands‐on) Learning ManufacturingTDI:http://www.manufacturingtdi.com/Publications

Workforce & Focus Group Data

Post‐Traditional• > 22 years of age• Working• Potential for shift & swing shift schedules• Rapid Increase in needed job skills• Child care responsibilities• Veterans• Training to Academic pathways• Employer networking

Goal: Increasing Enrollment & Completion

WHY?

Student Profile

• Implement an OEOE program • Build a collaborative relationship between the secondary 

system and the college • Providing pathways to baccalaureate degrees• Professional development• Outreach initiatives

NSF ATE Funding 

Inspired by the FVTC Electro‐Mechanical Modular Semester‐based Model

ENABLER

CBE & OEOE Challenges

OEOE/OEEE

Registration

Financial Aid Faculty

Scheduling

Courses

Equipment Advising

Accreditation

Open Entry/Early Exit

Engineering TechnologyProgram DemographicHow It WorksCurriculum and Policies

Engineering Technology – Adv. Mfg.

• Applied Engineering Degree• Internship Opportunities• Certification alignment (MSSC CPT, ASQ, AutoDesk…)• Courses in:

– Automation– Industrial Safety– CADD– Metrology– Quality, Lean and Six Sigma– Industrial PLC’s and Robotics– Fluid Power…

• College Credit for Industry Certification ArticulationPolk State ET Graduate Bryan Hogue on the job at Mosaic

The OEEE / CBE Solution

• Self‐paced• Learner centered• Faculty mentored• Competency‐based• Modular• Non‐term• Hybrid

Then: Traditional

Term‐BasedFall  / Spring / Summer semesters

Lecture/LabCourses mainly scheduled in the evenings to accommodate working learners

Lecture‐style semester‐based course delivery reinforced by lab sessions during scheduled class time

Some shift towards “flipped classroom”

Program SchedulingProgram scheduled for a 2 year progression through the courses

Now: Non‐term / Open Lab

OEOEStart any day of the year (Open Entry)Complete at your pace (Open Exit)* Individualized critical registration datesCalculated based on the individual (not the term)Drop (n+4)Withdrawal (n+15)End of “term” (n+35)

Open Lab9:00am – 8:00pm Monday ‐ Thursday9:00am – 6:00pm FridayOnline Scheduling (Appointy)

*OEEEEarly Exit vs Open ExitComplete within 5 weeks

Then: 3 cr.hr. Courses Fall ETM1010c – Mechanical 

Measurement EET1084C – Electronics ETI1110 – Intro to Quality

ETM2315 – Hyd. & Pneumatics ETI1622 Lean Mfg & 6 Sigma

EST1540 Ind Applic of PLC’s

Spring ETD1320c – CAD ETI1420 – Mfg Processes & 

Materials ETI1701  ‐ Ind Safety

EST1542 – Intro to PLCs EST1511 – Motors and Controls

ETS1539 – Inst Sys Safety

MAN2500 – Operations Mgmt

Summer ETI1949 ‐ Internship ETI1931 – Special Topics in Mfg.

Fall ETM1010c – Mechanical 

Measurement EET1084C – Electronics ETI1110 – Intro to Quality

ETM2315 – Hyd. & Pneumatics ETI1622 Lean Mfg & 6 Sigma

ETI1181 – Quality Systems & Workplace

Spring ETD1320c – CAD ETI1420 – Mfg Processes & 

Materials ETI1701  ‐ Ind Safety

EST1542 – Intro to PLCs EST1511 – Motors and Controls

EST1535 – Process Control

Summer ETI1949 – Internship ETI1403 – Intro to Adv. Mfg.

•ET Core Course•ET Required Technical Course•ET Technical Elective•ET Technical Elective offered by a different department

Now: 42 x 1 cr.hr. Courses 

General Education Courses: (Traditional Semester-based F2F, Online, or Hybrid)

Program Courses:• Modular 1 cr.hr.• Consistent Course

Numbering• Non-term• Hybrid (Online in

LMS and Required Hands-on in Open Lab)

GENERAL EDUCATION and ENGINEERING TECHNOLOGY CORE COURSES GENERAL EDUCATION COURSES (18 credits) 

ENC 1101 College Composition I                              3cr.hr. Natural Science requirement      3  MAC 1105 College Algebra       3  Social Science requirement                 3‐4  Humanities requirement        3  Health Science requirement                2‐3 

 ENGINEERING TECHNOLOGY CORE (18 credits)  ETD 1320C‐1 Computer Aided Drafting         1 cr.hr. ETD 1320C‐2 Computer Aided Drafting    1  ETD 1320C‐3 Computer Aided Drafting    1  EET 1084C‐1 Intro to Electronics (▲)      1 

EET 1084C‐2 Intro to Electronics (▲)      1  EET 1084C‐3 Intro to Electronics (▲)      1  ETM 1010C‐1 Mech. Meas. & Instrumentation (▲)  1  ETM 1010C‐2 Mech. Meas. & Instrumentation (▲)  1  ETM 1010C‐3 Mech. Meas. & Instrumentation (▲)  1  ETI 1420C‐1 Mfg Processes and Materials (▲)    1  ETI 1420C‐2 Mfg Processes and Materials (▲)    1  ETI 1420C‐3 Mfg Processes and Materials (▲)    1  ETI 1110C‐1 Introduction to Quality (▲)    1  ETI 1110C‐2 Introduction to Quality (▲)    1  ETI 1110C‐3 Introduction to Quality (▲)    1  ETI 1701C‐1 Industrial Safety (▲)      1  ETI 1701C‐2 Industrial Safety (▲)      1  ETI 1701C‐3 Industrial Safety (▲)      1 

ADVANCED MANUFACTURING SPECIALIZATION COURSES   REQUIRED TECHNICAL COURSES (13 credits) 

ETS 1542C‐1  Intro to PLC’s (♦)                        1cr.hr.  ETS 1542C‐2  Intro to PLC’s (♦)      1  ETS 1542C‐3  Intro to PLC’s (♦)      1  ETS 1511C‐1  Motors and Controls (♦)    1  ETS 1511C‐2  Motors and Controls (♦)    1  ETS 1511C‐3  Motors and Controls (♦)    1  ETI 1622C‐1  Lean Mfg and Six Sigma    1  ETI 1622C‐2  Lean Mfg and Six Sigma    1  ETI 1622C‐3  Lean Mfg and Six Sigma    1  ETM 2315C‐1  Hydraulics and Pneumatics (♦)  1  ETM 2315C‐2  Hydraulics and Pneumatics (♦)  1  ETM 2315C‐3  Hydraulics and Pneumatics (♦)  1  ETM 2315C‐4  Hydraulics and Pneumatics (♦)  1 

 

TECHNICAL ELECTIVES (Choose 11 credits from below)  ETS 1540C‐1 Ind. Applic. of PLCs and Robotics (♦) 1 cr.hr.  ETS 1540C‐2 Ind. Applic. of PLCs and Robotics (♦)  1  ETS 1540C‐3 Ind. Applic. of PLCs and Robotics (♦)  1  ETS 1535C‐1  Automated Process Control (♦)    1  ETS 1535C‐2  Automated Process Control (♦)    1  ETS 1535C‐3  Automated Process Control (♦)    1  ETI 1181C‐1  Quality Systems & Workplace Dynamics  1  ETI 1181C‐2  Quality Systems & Workplace Dynamics  1  ETS 1539C‐1 Instrumentation Systems Safety    1  ETS 1539C‐2 Instrumentation Systems Safety    1  ETS 1539C‐3 Instrumentation Systems Safety    1  ETI 1949  Manufacturing Internship      2  ETI 1931  Special Topics in Modern Manufacturing  3  MAN 2500  Operations Management     3  MAC 2233  Applied Calculus I      3  CGS 1510C  Spreadsheet Fundamentals    3  CGS 1061C  Intro to Computers      3  ENC 2210  Technical Writing       3 

 

Modularizing Courses

Traditional Courses (3-4 cr.hr.) were mapped to 1

cr.hr. modular CBE courses

1 cr.hr. modular CBE courses were organized

into logical topical completion blocks

Curricula source material was identified for each new modular course

Course Resources

Unit Outline• Objectives• Competencies• Key Terms

Course Structure• 1 Credit Hour (Unit)• 3 Modules (typical)

• Online theory• Hands‐on practical• Module Quiz

• Unit Assessment / Exam

Module Study Guide1.Read textbook pages2.View video 3.Perform Lab activities4.Complete worksheet(s)5.View multimedia materials

a. Learning Objectsb. Circuit Challengec. MultiSim

6.Demonstration7.Discussion Board8.Last assignment ‐ Take examination

(Desire2Learn LMS)

How does this format work?

Policies• 5 Week Window for individual course (1 cr.hr.) completion– Open Exit becomes Early Exit (OEEE)

– Designed to deal with student procrastination

• Finishing Early– Grades Roll Nightly– Students can register for the next course(s) after 24 hours

• Standard penalties for not completing courses

Outcomes and Progress

SuccessesStudent Outcomes

ChallengesWhat’s next

OEEE ET Profiles 2013‐2016

0

20

40

60

80

100

120

140

160

180

2013‐14 Traditional 2014‐15 OEEE 2015‐16 OEEE

Student Program Enrollment by Year

Student Enrollment

Students in Technical Courses

OEEE Student Profile‐ Gender 2013‐16

Female, 4.8

Male, 94

Female6%

Male94%

2014‐15 OEEEFemale7%

Male93%

2015‐16 OEEE

<20

20‐24

25‐29

30‐39

40‐49

50+

0 5 10 15 20 25 30 35

AGE

PERCENTAGE OF STUDENTS

Student Age by Academic Year

2013‐14 Traditional 2014‐15 OEEE 2015‐16 OEEE

OEEE Student Profile‐ Age 2013‐16

57.7

17.9

14.9

1.2

0.6 1.2

6.5

59.4

18.2

15.8

0

2.4

0

4.2

55.6

22.5

13.4

2.1

2.1

1.4 2.8

WHITE HISPANIC BLACK MULTI AS IAN AMERICAN  INDIAN

NOT  REPORTED

STUDENT ETHNICITY BY ACADEMIC YEAR2013‐14 Traditional 2014‐15 OEEE 2015‐16 OEEE

OEEE Student Profile‐ Demographics 2013‐16

OEEE Student Profile‐ Financial Need 2013‐16

42 43 44 45 46 47 48 49 50 51 52

2013‐14 Traditional

2014‐15 OEEE

2015‐16 OEEE

PERCENT OF STUDENTS ON AID

Students Receiving Financial Aid

OEEE Course Information 2015‐16

Students on Average Enrolled In….

3.6 CreditsTechnical

12.3 CreditsOther + Technical

5.2 CreditsDev Ed

Each one credit course takes about 4 weeks to complete

Program Completion and Trends (2015‐16)

Course success• Mean‐ GPA across courses 2.43

Program Completion • 16 students completed the program*• 64% complete within 3 terms since 2013‐14*

*Includes 2013 (prior to program data)

Who are Polk State College ET  students….

Successes: Acceleration

Mean completion time for a 1 credit hour course 

CONQUERING THE COMPLEXITIES…. LET’S HEAR FROM YOU!

What are the solutions to persevere beyond the challenges?

REA3

Slide 43

REA3 With the room set-up we cannot do this. Aside from polling I cannot immediately come-up with a new activity.Roe, Eric A, 10/7/2016

Challenges: Students

• No structured lectures• Undisciplined learners (procrastination)• Group learners

– Encourage collaboration• Camaraderie• Comfort with virtual discussions

Tammie‐ 30 Seconds

Challenges: Instructors

• New loading model due to open lab & no scheduled courses

• Required to know all course content (mitigated by online scheduling system)

• Course development & labs take longer to create

• Poorly written courses have a large impact (rough carpenter vs. finish carpenter)

• Asynchronous Student Monitoring 

• Turn around on EVERYTHING must be quicker

Student Appointments: 2014‐2015

0

2

4

6

8

10

12

14

16

18

29 Ja

n 2016

27 Ja

n 2016

25 Ja

n 2016

21 Ja

n 2016

19 Ja

n 2016

14 Ja

n 2016

12 Ja

n 2016

8 Jan 2016

1 Mar 2016

25 Feb

 2016

23 Feb

 2016

19 Feb

 2016

17 Feb

 2016

15 Feb

 2016

11 Feb

 2016

9 Feb 2016

5 Feb 2016

3 Feb 2016

1 Feb 2016

31 M

ar 2016

29 M

ar 2016

18 M

ar 2016

16 M

ar 2016

14 M

ar 2016

10 M

ar 2016

8 Mar 2016

4 Mar 2016

2 Mar 2016

29 Apr 2016

27 Apr 2016

25 Apr 2016

21 Apr 2016

19 Apr 2016

15 Apr 2016

13 Apr 2016

11 Apr 2016

7 Ap

r 2016

5 Ap

r 2016

1 Ap

r 2016

12 M

ay 2016

10  M

ay 2016

4 May 2016

2 May 2016

Appointy Report of Lab Usage Spring, 2016

# of Appointments # of Users

Appointy Graph of Usage‐ September 2016/August Trend Line 

Challenges: Administration

• Management– Total Acceptance Necessary– Not Understanding the Operation / Complexity– Wide Areas of Impact

• Systems– Registration ‐ Personal/Individualized unique dates – Financial Aid [Member of the DOE: Experimental Sites]

• Personal/Individualized unique calculations based on start data• Complex and manual tracking (FA and instructor)• US‐DOE Reference Guide for those in experiments 

– Veterans’ Benefits• VA benefits have same challenges/impacts on BAH benefit

– Advising – Greater faculty responsibility

Regulations and Compliance

Accreditation Direct Assessment Competency Based Education 

Policy Statement

State Reporting Financial Support Title IV. Pell. Veterans Workforce Grants Employer reimbursement

Dual‐Enrollment Transferability Right Signals

Successes: Things Accomplished

• Shifted to 1 credit hour OEEE in Fall 2014– All courses offered. Two full years of implementation– Improvements to online course design

• Shifted advising/mentoring to program faculty• Added registration hold upon entry, cleared prerequisite self 

registration concerns, modified student views, built data definitions

• Manual Financial Aid & Veterans Benefits – Complex and iterative

• Bookstore &  appointment scheduling• Integrated components to facilitate completions and shared 

knowledge (mini‐lectures and faculty outreach)

Successes: Industry FeedbackWe believe that one of our most important assets is our highly skilled workforce. But finding workers with the advanced manufacturing skills needed in this industry is not easy…

…the OEEE Engineering Technology program addresses the need for employees with the technological skills to operate, maintain, and repair complex manufacturing equipment while providing a format that is more accessible to the working learner, allows for self‐paced learning, and shifts the instructor/student relationship to one of mentoring rather than lecture.

Based on these tenets, we would encourage other colleges with technical program to explore competency‐based student‐centered learning models.

Jay Creasy, Presid

ent

JCMI / Quality Ae

rospace

What’s Next?‐OEEE• Online lab simulations

• General ed CBE course options • (2 math courses and Physics)

• Prior learning assessment upon program entry

• Mastery thresholds

• Program expansion, cost sharing for labs, further program distribution

• Developmental education concurrent CBE courses (Math completed)

The Team

Polk State CollegeEngineering Technology –Advanced Manufacturing Program• Mori Toosi, Ph.D.

‐ Program Director• Christopher Schilling, Ph.D. 

‐ Faculty• Henry Cabra, Ph.D. 

‐ Faculty• Jonathan Little 

‐ Lab Assistant

University of Texas at Austin• Eric Roe, Ph.D. – P.I. (eric.roe@utexas.edu) 

Administrators• Naomi Boyer, Ph.D. (nboyer@polk.edu)

– VP/CIO, Strategic Initiatives & Innovation• Donald Painter, Ph.D. 

– Dean of Academics, Lakeland Campus• Kathy Bucklew 

– Registrar / Director of Student Enrollment Services

• Marcia Conliffe – Director of Student Financial Services

• Orathai Northern, Ph.D.– District Dean, Academic Services

• Kevin Jones, Ph.D. (kcjones@polk.edu )‐ Director, Strategic Planning & Assessment

Funded, in part, by a grant from the National Science Foundation.

DUE-0501626