Office of Assessment                October 20, 2016                       1 

Focusing on LMU’s Undergraduate Learning Outcomes: Leadership Skills 

 

http://academics.lmu.edu/spee/officeofassessment/universityassessmentreports/  

Loyola Marymount University is committed to understanding and improving student learning. In early 2010 the University adopted Undergraduate Learning Goals and Outcomes. Each year, the Assessment Advisory Committee selects one to two Undergraduate Learning Outcomes to examine. In this seventh year (2016 – 2017), we have chosen to focus on two outcomes: Teamwork Skills and Leadership Skills. This report summarizes the evidence of student achievement of the Leadership Skills outcome: Students will lead others with compassion to develop and carry out a shared vision.   

During the spring 2016 semester students enrolled in senior‐level courses that required a team assignment were invited to participate in a survey about their team experience. Faculty who taught the selected courses shared the names of students within each team so that the survey was able to ask students to provide both self‐ratings and ratings of their teammates on several teamwork skills and leadership skills. The survey also asked students to complete brief essays about their teamwork and leadership experiences during their time at LMU. This report summarizes this direct evidence of students’ achievement of the Leadership Skills outcome, and responses to related questions on two indirect measures: the National Survey of Student Engagement (NSSE) and the 2012 Alumni Outcomes Survey.   

Direct Evidence: Leadership Skills Rubric  

In the Fall 2015 semester the Assessment Advisory Committee charged an ad hoc faculty and staff committee with developing a survey to assess teamwork skills and leadership skills. The survey included both rating scales and brief essay questions. The ad hoc committee also developed rubrics to evaluate the essay responses. The survey and rubrics were pilot‐tested with juniors prior to being finalized. The brief essay survey questions for Leadership Skills, as well as the rubric for the Leadership Skills survey questions, are presented in the Appendix.   

In the spring of 2016, 335 seniors in 103 groups were invited to respond to the survey. Seniors who completed the survey were offered a $10 gift card if each member of their group completed the survey. A total of 174 seniors completed the survey, which included 83 seniors in 28 complete groups. From the total, a random sample of 125 seniors’ brief essay responses were selected to be scored with the rubrics. Seven faculty members from multiple departments participated in a norming and training session prior to applying the rubrics to the essays. Each essay was independently scored by two faculty members; when the first two scores differed, a third faculty member scored the work in an effort to resolve the discrepancy.    

The following chart displays the percentage of students who scored at each level of performance and the mean score (M) for the two components of the Leadership Skills rubric.    

 

14.63% 8.00%

50.41% 61.60%

30.89% 29.60%

4.07% 0.80%

Demonstrating Leadership Defining Compassionate Leadership

Accomplished

Competent

Developing

Novice

M = 2.24 N = 123 

M = 2.23 N = 125

            Office of Assessment                October 20, 2016                       2 

 

Direct Evidence: Peer Evaluation Ratings  

The survey asked students to rate themselves and their teammates on seven skills important in leading others with compassion to develop and carry out a shared vision. Statistically significant differences between self‐ratings and the average ratings given by teammates are noted in the table below. In each case, the average team‐rating was lower than the self‐rating.   

Indicate the extent to which you and the members of your  team on the (Team Assignment Name) did each of the following: 

1 = Almost Never, 2 = Rarely, 3 = Sometimes, 4 = Often, 5 = Almost Always Self‐Rating 

Average  Team Rating 

Helped to make sure that everyone understood project goals  4.92    4.81* 

Helped to make sure that everyone's ideas and opinions were heard  4.93    4.83* 

Helped to keep the group on task  4.78    4.74 

Helped to set goals for the team  4.77    4.72 

Helped to organize team member contributions  4.78    4.72 

Worked collaboratively to achieve goals  4.94    4.84* 

Communicated reliably and in a timely manner with other group members  4.93    4.79* 

*Please note that these scores are significantly different from the corresponding self‐rating, p < .05  Indirect Evidence: National Survey of Student Engagement (NSSE)   

The NSSE assesses the extent to which students engage in educational practices associated with high levels of learning and development. The data provided in the tables below are from LMU’s spring 2014 participation. The complete NSSE report, including detailed information about our comparator groups, can be found under University Assessment Reports on the Office of Assessment website.   

LMU seniors’ ratings of their institution’s contribution to their development of the ability to lead by example, and to their understanding of what it means to be “men and women for others,” were significantly higher than those of their peers at other Jesuit institutions; also, by senior year LMU students report having held more formal leadership roles in student organizations or groups than their peers.   

Leadership Skills NSSE Item Scores  

To what extent has your experience at this institution contributed to your development of the following: 

1 = Very Little, 2 = Some, 3 = Quite a bit, 4 = Very Much Mean Response 

LMU  Jesuit 

Leading by example FY  2.96    3.04 

SR  3.29    3.17* 

Understanding the Jesuit principle of being “men and women for others” 

FY  3.00    3.04 

SR  3.24    3.11* 

*Please note that these scores are significantly different from the corresponding LMU score, p < .05  

Which of the following have you done or do you plan to do before graduation? 

Done or in progress, Plan to do, Do not plan to do,  Have not decided 

Percent indicating that they have done this 

LMU  Jesuit  Masters  NSSE Total

Hold a formal leadership role in a student organization or group 

FY  13%  15%  11%  12% 

SR  69%  46%*  32%*  38%* 

*Please note that these scores are significantly different from the corresponding LMU score, p < .05  

            Office of Assessment                October 20, 2016                       3 

 Indirect Evidence: Multi‐Institutional Study of Leadership (MSL)  The MSL is a survey focused on understanding the influences of higher education in shaping socially responsible leadership capacity and other leadership‐related outcomes. The data provided in the table below are from LMU’s spring 2015 participation. The complete MSL instrument and report are available through the Office of Student Affairs Research and Assessment.  The data show that LMU juniors and seniors report having held more leadership positions (both on and off campus) and having participated in more leadership training than first year students and sophomores. Of note is that while more than 60% of the seniors responding to the survey report having held a leadership position, only about 41% report having participated in any kind of leadership training experience.   

Since starting college, have you ever: 

  Percent indicating that they have done this: 

FY  SO  JR  SR 

Held a leadership position in a college organization 23.47%  45.51%  63.56%  61.81% 

Held a leadership position in an off‐campus organization 12.86%  21.45%  33.90%  28.13% 

Participated in a leadership training or leadership education experience of any kind 

16.38%  22.78%  41.64%  41.47% 

  Indirect Evidence: 2012 Alumni Outcomes Survey   In January 2012 members of the classes of 2004 and 2009 were invited to participate in an Alumni Outcomes Survey. For the Leadership Skills outcome, alumni were asked to rate their leadership skills (referred to as ‘Self‐Rating’), and how much LMU contributed to this ability (referred to as ‘LMU’s Impact’). The complete survey and results can be found under University Assessment Reports on the Office of Assessment website.   Approximately 78% (n = 256) of alumni surveyed rated their leadership skills as ‘Very Good’ or ‘Excellent,’ and about 72% (n = 223) indicated that LMU contributed to this ability ‘A fair amount’ or ‘A great deal.’ The chart below provides the mean score (M) and counts for each response category for these items.  

 

     

9

2

17

9

60

60

108

138

115

118

LMU'sImpact

Self‐Rating

Leadership skillsSelf‐Rating N=327, LMU's Impact N=309

Poor Fair Good Very Good Excellent

M = 4.10

M = 3.98

            Office of Assessment                October 20, 2016                       4 

 Summary  The evidence from the Leadership Skills rubric data, peer evaluation ratings, 2014 NSSE and 2012 Alumni Outcomes Survey suggests a mixed picture of achievement of the Leadership Skills outcome. Only about a third of seniors’ brief essay responses were scored by faculty as “Competent” or “Accomplished,” yet seniors indicated that they come close to always demonstrating skills essential to leading with compassion, and on the NSSE they indicated that LMU is contributing to their development of these skills quite a bit. In addition, they report high levels of leadership experience, with 69% of seniors indicating on the NSSE that they have held leadership roles in student organizations or groups. Responses to the MSL indicate that while the majority of seniors report having held an on‐campus leadership position, fewer than half report having participated in any kind of formal leadership training or experience. Our alumni report having very good leadership skills, but gave LMU one of the lowest ratings on the survey in terms of LMU’s contribution to their development of these skills.   When examining evidence of student achievement of a learning outcome, it is important to consider both the methodology used to examine achievement and the educational experience that we provide to help our students achieve the outcome. For example, the majority of student responses to the brief essay questions were scored as “Developing” on the rubric. This might be partly explained as an artifact of the survey methodology; students may have responded more completely to a graded course assignment, for example. The rubric scores might also be partly explained as an artifact of the curriculum; students may not experience much instruction in how to be a compassionate leader.   Improving Student Learning   Discussing this report with faculty and/or staff in your program will help you determine what actions are needed in your program to improve student achievement of the Leadership Skills outcome. If you have evidence of learning for a related program outcome, you might include it in your discussion of the University evidence.   As you review the Leadership Skills evidence, here are a few questions that you might consider:   

For which components of Leadership Skills do you feel students demonstrated satisfactory levels of achievement? 

For which components of Leadership Skills do you feel students are in need of improvement? 

How does your program address the Leadership Skills outcome? What kinds of pedagogies and assignments are used to develop students’ ability to lead others with compassion to develop and carry out a shared vision? 

What modifications to your program’s approach to integrating Leadership Skills into the curriculum might help students improve on the components you identified as needing improvement?  

What contributions might your program make to help students achieve the Leadership Skills outcome through the University Core Curriculum?  

     

For more details, including full reports of the NSSE and Alumni Outcomes Survey, please visit:  http://academics.lmu.edu/spee/officeofassessment/universityassessmentreports/ 

  

            Office of Assessment                October 20, 2016                       5 

Appendix Leadership Skills:  

Brief Essay Survey Questions and Rubric  

Brief Essay Survey Questions:  Everyone has been a leader at some point in their lives. Whether in the classroom, on a sports team, in a community group or at work, we have all made things happen with other people. Leadership comes in many different styles and forms.  

a) Describe a time when you led others, either by yourself or in a shared leadership experience during your time at LMU. What did you do that showed leadership? 

  (After students submitted their response to question a, they were presented with question b.)  

   b) At LMU, as an institution rooted in Jesuit and Marymount traditions, we aim to develop students who 

lead with compassion. Explain what “leading others with compassion” means to you.   

Leadership Skills Rubric:  

  Accomplished (4)  Competent (3)  Developing (2)  Novice (1) 

Demonstrating Leadership 

Description presents clear evidence of the use of leadership skills with compassion. 

Description presents clear evidence of the use of leadership skills. 

Description presents some evidence of the use of leadership skills.  

Description presents insufficient evidence of the use of leadership skills.  

Defining Compassionate Leadership 

Definition of compassionate leadership is thorough and thoughtful. 

Definition of compassionate leadership is sufficient and on‐point. 

Definition of compassionate leadership lacks sufficient detail or is slightly off‐base. 

Definition does not reflect compassionate leadership. 

 

Compassionate leadership is practiced by those who lead with the greater good in mind, as well as demonstrate 

care for the “whole person” of those under their leadership.  

Example compassionate leadership behaviors: 

Tries to understand others  Encourages others 

Is concerned for others  Is self‐aware/self‐reflective 

Is motivated to help others/motivates others  Is concerned with equity/justice 

Is attentive  Acts on behalf of others and the natural world 

Is caring  Acts ethically Note: scorers are expected to expand list as they encounter additional examples of compassionate leadership  

Example leadership behaviors: 

Has vision  Confident  Consistent 

Proactive (instead of reactive)  Enthusiastic  Delegates 

Flexible/adaptable  Open‐minded  Takes initiative 

Communicates well  Resourceful  Committed 

Respectful  Organized  Positive attitude