LUND UNIVERSITY

PO Box 117221 00 Lund+46 46-222 00 00

Striving for Uniformity, Hoping for Innovation and Diversification: a critical reviewconcerning the Bologna Process - providing an overview and reflecting on thecriticism

Wihlborg, Monne; Christine, Teelken

Published in:Policy Futures in Education

DOI:10.2304/pfie.2014.12.8.1084

2014

Link to publication

Citation for published version (APA):Wihlborg, M., & Christine, T. (2014). Striving for Uniformity, Hoping for Innovation and Diversification: a criticalreview concerning the Bologna Process - providing an overview and reflecting on the criticism. Policy Futures inEducation, 12(8), 1084-1100. https://doi.org/10.2304/pfie.2014.12.8.1084

General rightsUnless other specific re-use rights are stated the following general rights apply:Copyright and moral rights for the publications made accessible in the public portal are retained by the authorsand/or other copyright owners and it is a condition of accessing publications that users recognise and abide by thelegal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private studyor research. • You may not further distribute the material or use it for any profit-making activity or commercial gain • You may freely distribute the URL identifying the publication in the public portal

Read more about Creative commons licenses: https://creativecommons.org/licenses/Take down policyIf you believe that this document breaches copyright please contact us providing details, and we will removeaccess to the work immediately and investigate your claim.

1  

 

Striving for uniformity, hoping for innovation and diversification: A  critical  review  concerning  the  Bologna  Process  –  providing  an  overview  and  reflecting  on  the  criticism  MONNE  WIHLBORG  Associate  Professor,  PhD.    Department  of  Health  and  Social  Sciences,  Lund  University,  Sweden  

MONNE  WIHLBORG  is  an  assistant  professor  in  pedagogy  at  the  Faculty  of  Medicine,  Department  of  Health  and  Social  Sciences,  University  of  Lund,  in  Sweden.  She  is  a  member  of  the  Pedagogical  Academy  in  the  Faculty  of  Medicine,  University  of  Lund,  and  a  co-­‐convenor  for  the  ECER  higher  education  network.  Correspondence:  Monne  Wihlborg,  Department  of  Health  Sciences,  Faculty  of  Medicine,  Lund  University,  Box  157,  SE-­‐221  00  Lund,  Sweden  (monne.wihlborg@med.lu.se).      CHRISTINE  TEELKEN  Associate  Professor,  PhD.  Faculty  of  Social  Sciences,  VU  University  Amsterdam,  Netherlands  

CHRISTINE  TEELKEN  is  an  Associate  Professor  in  the  Faculty  of  Social  Sciences  at  the  VU  University  Amsterdam,  Netherlands.  She  is  a  member  of  the  board  of  the  European  Group  for  Organizational  Studies  and  co-­‐convenor  of  the  European  Educational  Research  Association’s  Research  in  Higher  Education  network.  Correspondence:  jc.teelken@fsw.vu.nl    

Abstract  

The  implementation  of  the  Bologna  Process  (BP)  did  not  go  as  smoothly  as  the  Bologna  Follow-­‐Up  evaluations  suggest,  and  the  consequences  of  the  BP  for  the  various  European  higher  education  systems  and  universities  are  much  more  diverse  than  represented  in  these  various  studies.  Relatively  few  research  and  policy  documents  taking  up  a  more  critical  stance  are  currently  available  while  a  systematic  overview  of  such  studies  is  still  lacking.  Purpose  of  this  paper  is  to  provide  an  overview  and  consequently  reveal  the  most  prominent  views  concerning  the  BP,  as  well  as  emphasize  the  critical  developments  over  a  longer  time  period.  A  longitudinal  literature  review  was  carried  out,  consisting  of  161  studies  between  2004-­‐2013,  resulted  in  a  final  selection  of  91  studies.  Our  paper  demonstrates  that  the  studies  available  in  our  search  show  that  issues  concerning  challenges,  tensions  and  critical  viewpoints  about  BP  exist  and  yet  confirms  that  further  research  is  called  for.  It  is  further  suggested  that  the  impact  of  the  BP  discourse  would  benefit  from  the  adaptation  of  a  continuously  critical  reflective  approach,  as  an  on-­‐going  part  in  the  overall  discussion  about  the  BP.    Keywords:  Bologna  Process,  literature  review,  longitudinal  perspective,  higher  education  policy,  critical  perspective.

2  

 

Introduction  

Insights  into  the  importance  and  scope  of  the  Bologna  Process  (BP)  in  the  incorporated  49  member  states  are  increasingly  available.  The  actual  impact  of  Bologna  at  the  level  of  the  individual  Higher  Education  Institutions,  as  well  as  its  consequences  for  the  faculty  and  department  level  are  gradually  becoming  more  visible  (Neave  &  Amaral,  2008;  Reichert  &  Tauch,  2005).  A  vast  amount  of  policy  documents,  describing  the  BP,  supporting  the  stipulated  BP,  and  recognizing  all  the  benefits  of  the  BP,  has  been  produced  over  the  last  years.  But  within  this  growing  body  of  BP  literature,  still  relatively  few  studies  concerning  negative  and  unwanted  outcomes,  or  taking  a  critical  stance  on  the  matter  have  been  carried  out  (Huisman,  2009;  Neave  &  Amaral,  2008).  Studies  that  discuss  what  is  left  out  in  the  implementation  of  BP  or  which  are  the  pitfalls  to  be  avoided  have  scarcely  been  conducted  and  have  not  been  debated  in  any  thorough  and  systematic  way  until  now.  Given  the  ‘fundamental  and  dramatic  change  in  higher  education  structures  across  Europe’  (European  Commission,  2010,  p.  1)  brought  about  by  BP  and  any  new  challenges  which  may  be  emerging,  we  will  argue  that  such  a  critical  stance  is  crucial  for  the  future  of  European  higher  education.  From  the  start,  the  three  overarching  objectives  of  the  Bologna  process  have  been:  introduction  of  the  three  cycle  system  (bachelor/master/doctorate),  quality  assurance  and  recognition  of  qualifications  and  periods  of  study  (European  Commission,  2013).      Internationalisation  of  and  in  higher  education  (Wihlborg,  2009;  Svensson  &  Wihlborg,  2010)  is  a  driving  force  throughout  Europe  and  worldwide,  and  the  BP  is  a  strong  part  in  that  force  concerning  Europe.    Drawing  on  our  previously  conducted  reflective  study,  which  was  part  of  an  EERJ  (European  Educational  Research  Journal)  special  issue  (authors,  2010),  we  wanted  to  find  out  if  any  research  had  been  conducted  that  took  a  critical  stance  on  matters  linked  to  the  BP.  We  intended  to  do  this  mainly  because  the  results  from  our  previous  study  as  well  as  others  showed,  that  rather  superficial  Bologna  Follow-­‐up  reports  suggest  an  unrealistic  and  over-­‐smooth  policy  picture  of  the  higher  education  systems  and  their  institutions  (authors,  2010;  Huisman,  2009;  Neave  &  Amaral,  2008).  These  optimistic  results  presented  at  the  initial  stages  (e.g.  Bologna  Follow-­‐up  Group,  2007)  are  over-­‐confident  at  best  and  could  be  considered  as  ambiguous  or  even  misleading.  We  reported  that  the  picture  drawn  in  these  reports  is  much  too  promising,  particularly  considering  that  since  2007  the  BP  is  supposed  to  have  entered  a  more  mature  stage  (ibid).  However,  the  tone  of  the  more  recent  declarations  is  milder  than  before:  the  2009  Leuven  declaration  acknowledges  that  not  all  objectives  have  been  met  completely  and  allows  for  greater  diversity  of  student  population  (Leuven  declaration,  2009).  The  Budapest-­‐Vienna  declaration  (2010)  acknowledge  the  criticism  at  BP  and  state  that  critical  voices  should  be  heard.  In  the  latest  Communiqué,  of  Bucharest  April  2012,  the  Ministers  of  Education  identified  three  key  priorities  -­‐  mobility,  employability  and  quality  (Bucharest  Communique,  2012).  The  declarations  consequently  emphasized  the  importance  of  higher  education  for  Europe's  capacity  to  deal  with  the  economic  crisis  and  to  contribute  to  growth  and  jobs.  Automatic  recognition  of  comparable  academic  degrees  as  a  long-­‐term  goal  of  the  European  Higher  Education  Area  was  another  commitment  made  by  de  ministers  (European  Commission,  2013).  

Our  previous  research  focused  particularly  on  what  is  going  on  at  a  meso  and  macro-­‐level  and  initially  It  seemed  that  the  Bologna  Process  gradually  transformed  from  a  voluntary  network  of  higher  education  organisations  into  a  new  form  of  governance,  where  the  national  authorities  play  a  major  role  and  the  system  levels  conditions  for  determining  the  BP  in  practices  are  becoming  more  and  more  fixed  foundations,  based  on  increasing  standardisation  and  transparency  (e.g.  Adelman,  2009;  Dahl,  et  al.,  2009;  Wihlborg,  2009).  Against  this  backdrop,  the  overall  purpose  of  this  current  study  is  to  further  explore  and  access  knowledge  about  effects  of  the  Bologna  Process  in  Europe  by  providing  a  

3  

 

longitudinal  literature  overview  based  on  research  studies  published  in  the  database  ERIC  (Education  Resource  Information  Center,  EBSCOhost),  enabling  a  focus  on  some  critical  viewpoints.  In  order  to  do  so,  we  conducted  a  systematic  literature  search,  and  consequently  analysed  and  discussed  the  results  leading  to  a  reflection  on  present  and  up-­‐do  date  central  policy  documents  about  the  BP.      Intention  is  to  move  forward  in  our  understanding  of  the  Bologna  Process  by  emphasizing  our  previous  assumption:  that  a  critical  stance  on  the  BP  is  urgently  required  and  that  this  should  also  include  the  consequences  that  follows  on  this  reform  process.  The  curriculum  discourse  concerning  BP  implies  a  rather  open  and  creative  development  of  the  higher  education  sector  but  its  rather  ‘cementing  way’  of  implementation,  lacking  sensitivity  for  creative  variations  and  innovative  developments  should  not  be  neglected  (Adelman,  2009;  authors,  2010).  Becoming  employable,  throughout  Europe,  is  also  a  strong  force  behind  the  idea  of  the  BP  which  also  strives  for  unification,  rather  than  variations,  concerning  competences,  skills  and  abilities  (Wihlborg,  2009;  Avery  &  Wihlborg,  2012).  The  BP  directly  influences  most  European  educational  systems  and  their  teaching  and  learning  practices,  Nilsson  &  Wihlborg  (2011),  in  a  very  substantial  manner,  and  considering  that  the  BP  has  operated  since  1999,  we  assert  that  providing  a  more  systematic  and  critical  reflective  view  about  the  BP  and  its  implementation  process  is  an  important  and  legitimate  concern  to  address.        Framework    First,  we  turned  to  the  EUA  (European  University  Association)  documents  about  trends  in  European  higher  education.  We  are  using  the  following  steppingstones  (Sursock  &  Smidt,  2010)  as  they  illustrate,  the  inherently  controversial  character  of  the  BP  that  is  of  interest  in  our  literature  search,  and  frame  our  point  of  direction  and  research  inquiry:    (i)  Critical  reflections  about  the  concretizing  of  internal  and  external  quality  assurance  processes  involved  in  the  BP  discourse.  ‘Are  internal  and  external  quality  assurance  processes  supporting  the  modernisation  agenda  of  higher  education  institutions,  their  strategic  orientations  and  the  requirements  of  knowledge-­‐driven  societies?’  (Sursock  &  Smidt,  2010,  p  95).    (ii)  Critical  reflections  about  the  use  of  indicators:  ‘Is  the  use  of  indicators  or  criteria  sufficiently  flexible  to  support  the  diversification  of  national  higher  education  systems?’  (Sursock  &  Smidt,  2010,  p.  95).  The  conditions  are  that  on  an  ‘European  level  the  challenge  is  to  support  diversity  across  –  and  within  –  46  countries  while  adhering  to  unifying  principles  and  values’,  and  also  that  ‘common  standards’  must  be  framed  in  such  a  way  that  they  do  not  stifle  diversity,  innovative  teaching  practices  and  creative  research,  and  that  they  do  promote  quality  levels  substantially  through  the  central  role  of  HEIs.’  (ibid.,  p.  95).    These  stipulated  and  unification  intentions  represent  the  core  nature  of  the  BP.  Together,  both  (i)  and  (ii)  show  a  contradiction,  as  on  the  one  hand,  the  Bologna  intentions  attempt  to  stimulate  comparability,  and  search  for  equality  of  higher  education  provision  at  macro  level.  On  the  other  hand  higher  education  institutions  should  supposedly  be  able  to  compete,  support  creativity  and  stimulate  innovative  developments  at  the  level  of  the  individual  courses  at  the  micro  level  (Huisman,  2009).  This  contradiction  between  homogeneity  versus  heterogeneity  is  an  essential  cause  for  the  creation  of  strains  within  the  ongoing  Bologna  Process,  as  both  parts  of  the  coin  apparently  need  to  be  present  in  coherence,  at  one  and  the  same  time  (authors,  2010).  

4  

 

Second,  in  trying  to  improve  our  understanding  of  the  actual,  empirical  developments  caused  by  the  Bologna  Process  within  the  higher  education  systems  in  Europe,  we  ground  our  discussion  on  a  collection  of  policy  documents  concerned  with  the  BP  and  furthermore,  a  longitudinal  search  and  analysis  of  research  studies  found  in  research  databases  (ERIC).  Given  the  complexity  and  the  impact  of  this  process,  which  has  been  going  on  for  more  than  a  decade,  it  should  be  noted  that  at  least  up  to  2008,  there  were  few  studies  that  took  a  distinct  critically  stance  on  matters  concerned  with  the  BP.  However,  now  such  studies  are  increasingly,  even  though  still  sparsely,  available,  despite  that  they  are  mainly  focused  on  the  micro  level.  To  our  knowledge  a  systematic,  longitudinal  overview  of  such  studies  is  currently  unavailable.  Therefore,  our  attempt  has  been  to  trace,  frame  and  draw  from  policy  documents  and  research  studies  about  the  BP,  by  selecting  those  retro  perspective  studies  providing  any  attempt  for  conducting  a  critical  view,  in  order  to  adopt  a  more  balanced  picture  of  the  ongoing  Bologna  process  and  higher  education  in  Europe.      An  overview  –  The  BP  policy  guiding  the  higher  education  sector  in  Europe    

Considering  the  vast  amount  of  policy  documents  and  research  papers  describing,  investigating  or  discussing  the  BP,  reviewing  and  reporting  the  whole  field  and  doing  justice  to  all  reports,  spanning  over  the  last  decade  concerns  an  extensive  task.  As  mentioned  above,  there  are  plenty  of  documents  emphasizing  the  beneficial  sides  of  the  BP,  repeating  its  goals  and  its  mission  for  making  the  condition  for  the  HE  sector  in  Europe  better  in  various  ways.  What  we  are  aiming  at  in  this  paper  will  focus  on  what  is  said  about  critical  issues  raised,  viewpoints  of  percussions,  and  reflections  about  what  are  not  desirable  outcomes.  Our  overall  aim  is  to  find  out  if  any  studies  took  a  critical  stance  as  a  perspective  in  any  of  the  empirical  and  if  so,  what  are  the  major  outcomes  of  these  Studies.    

Some  major  issues  already  visible  concerning  the  Bologna  Process  at  macro  &  meso  level    In  contrast  to  the  Bologna  Follow-­‐up  Group,  the  works  by  Huisman  (2009),  Neave  &  Amaral  (2008)  &  van  der  Westerheijden  et  al.  (2008)  showed  that  the  implementation  of  the  Bologna  Process  did  not  go  as  straightforward  as  originally  expected,  specially  in  the  new  coming  countries.  For  example,  there  is  the  unification  issue  regarding  structural  elements  such  as  the  ECTS,  diploma  supplements  and  quality  assurance  regimes  (e.g.  Westerheijden  et  al.,  2006).  Diploma  supplements  have  been  introduced  as  an  extra  document  to  the  bachelor’s  or  master’s  degree  for  graduating  students  in  30  out  of  the  46  countries,  in  order  to  encourage  international  mobility  and  comparability  of  degrees  (Sursock  &  Smidt,  2010).  This  resulted  into  a  miscellaneous  pace  and  content  of  implementation,  involving  a  ‘highly  complex  cultural  and  social  transformation’  (Huisman,  2009,  p.  249)  and  countries  seemed  to  have  found  ‘specific  national  solutions  to  challenges  of  the  Bologna  agenda’  (Huisman,  2009,  p.  250).      Quite  similarly,  the  extensive  study  by  van  der  Westerheijden  et  al.,  (2008)  showed  that  although  the  BP  plays  a  major  role  in  all  the  developments  in  the  higher  education  systems,  there  are  large  differences  in  the  speed  of  implementation  between  the  individual  countries,  resulting  into  an  EHEA  (European  Higher  Education  Area)  with  different  stages  of  development  and  levels  of  commitment.  This  depends  greatly  on  the  starting  point  as  well  as  the  resources  and  expertise  provided  by  the  countries  (van  der  Westerheijden  et  al.,  2008).  While  the  BP  attempts  to  emphasize  the  importance  of  coherence  in  the    EHEA,  Benneworth  et  al.,  (2011)  focus  on  the  diversity  between  these  systems,  such  as  investigating  themes  that  are  clearly  BP  related.  This  leads  the  BP  into  a  path  where  the  focus  will  be  on  dealing  with  differences  from  a  whole  other  angle,  with  alternative  questions  appearing  into  the  spotlight.  Consequently,  the  outcomes  of  the  Bologna  Process  so  far  can  be  summarized  as  convergence  at  a  

5  

 

macro  level,  coinciding  with  greater  diversity  at  a  micro  level  (see  e.g.  van  der  Westerheijden  et  al,  2008;  The  Bologna  Process  2020,  2009).  A  more  recent  example  of  a  study,  providing  an  alternative,  more  multidimentional  perspective  on  the  BP,  is  the  work  carried  out  by  Brøgger  (2013).  She  states  that  the  BP  should  no  longer  by  considered  a  linear  and  rational  decision-­‐making  process,  but  instead  that  ‘the  Bologna  Process  is  more  than  the  declarations,  the  communiqué’s  and  ministerial  orders,  but  is  something  continuously  being  ‘performed’,  reshaped,  expanded  and  changed  through  negotiations  between  these  multiplicities  of  worlds’  (Brøgger,  2013,  p.  20).    Given  the  paradoxical  strains  of  these  outcomes,  we  aim  to  draw  attention  to  the  questions  raised  by  these  issues  and  by  the  use  of  our  ‘steppingstones’  as  stated  earlier:  and  by  doing  so,  hope  for  a  critically  reflected  debate  on  issues  concerning  educational  policy  in  an  international  perspective  as  being  of  great  concern  when  developing  the  BP  the  next  decade  to  come  and  into  the  future.  As  explained  in  the  above,  it  is  our  intention  to  scrutinize  several  developments  raised  by  the  implementation  of  the  Bologna  Process  in  the  higher  education  systems.  By  analysing  research  that  deals  with  critical  viewpoints,  we  search  for  evidence  that  would  balance  the  oversized  positive  picture  about  the  BP.  Because  of  the  current  and  future  importance  of  the  BP  for  the  HE  sector  in  Europe  over  time,  and  the  decades  to  come,  the  survival  and  continuation  of  higher  education  systems  will  be  affected.  We  therefore  find  it  important  to  raise  awareness  of  the  actual  impact  of  the  BP,  given  that  compatibility  with  BP  provides  an  important  selection  mechanism,  while  perhaps  equally  interesting  and  innovative  movements  and  social  flows  may  be  ignored,  because  of  their  incomparability.    Therefore,  policy  documents  and  research  studies  are  evaluated  with  a  focus  on  the  developments  caused  by  the  Bologna  Process  within  higher  education  systems,  in  order  to  answer  the  following  research  question:  Which  parts  of  the  Bologna  Process  involve  equalizing,  uniform  and  homogeneous  developments  and  which  parts  stimulate  differentiation,  competitive  and  heterogeneous  developments?  And  to  be  more  precise,  to  what  extent  are  these  developments  focussed  on  the  political  rhetoric  involved  with  BP  or  do  they  emphasize  the  actual  impact  on  the  higher  education  systems?  In  order  to  grasp  this  picture  some  inclusive  and  exclusive  criteria  will  be  used  in  our  literature  search  concerning  the  empirical  research  studies  that  will  be  further  outlined  in  the  sections  below.    The  overall  focus  of  our  literature  search  is  compassing  research  about  the  BP  that  in  some  way  mentions  any  kind  of  critical  statements  and/or  any  kind  of  reflections  by  using  the  contradictions  and  differentiations  mentioned.  The  review  will  not  initially  grade  or  value  these  statements  at  a  first  selection.          Research  Method  

The  study  involves  two  parts,  one  focuses  on  policy  documents  concerning  the  higher  education  sector  in  relation  to  the  Bologna  process  in  Europe.  The  results  from  that  part  are  incorporated  in  our  background  and  discussion.  The  second  part  is  a  literature  search  and  review  focusing  on  retro  perspective  critical  reflections  and  viewpoints  in  relation  to  the  Bologna  Process,  based  on  a  selection  of  research  studies.  The  search  method  and  the  analysis  process  involved  are  further  outlined  below.  

The  literature  review  intends  to  establish  an  up  to  date  position  on  our  topic.  The  rationale,  based  on  Hart  (2003a,  2003b),  for  conducting  a  literature  review  is  to  be  able  to  get  a  relevant  and  up-­‐to-­‐date  overview  about  the  topic,  consequently  providing  some  critical  points  of  current  knowledge  about  BP  and  its  consequences.  Bearing  in  mind  our  overall  statement  that  compared  to  the  importance  of  that  

6  

 

has  been  written  and  discussed  about  the  BP  rather  few  studies  have  been  conducted  from  an  explicit  critical  standpoint.  We  have  therefore  decided  to  carry  out  a  targeted  review  in  one  database  that  holds  studies  about  education  and  policy  concerning  higher  education.  To  do  so,  it  is  important  to  carry  out  he  process  of  reading,  analyzing,  evaluating  and  summarizing  scholarly  materials  about  a  specific  topic  in  a  systematic  way.  We  did  this  to  frame  the  critical  studies  available,  and  consequently,  enable  a  review,  which  covers  both  a  longitudinal  approach  and  more  specific  viewpoints.    

Data  collection  and  analysis  process    In  order  to  select  relevant  studies  and  data  we  have  turned  to  the  international  database  ERIC  -­‐  Education  Resource  Information  Center  (EBSCOhost)  focusing  on  social  sciences  an  education.  In  order  to  enclose  data  which  was  manageable  and  relevant,  some  additional  pre  conditions  for  the  search  have  been  stipulated:  Studies  published  between  1st  of  January  2004  and  1st  of  March  2013  and  written  in  English  are  included.  We  chose  these  dates,  because  we  wanted  to  include  studies  concerning  the  implementation  phase  of  the  BP,  such  as  the  reflections  in  relation  to  quality  assurance  and  diversifications.  Since  we  did  not  want  to  miss  out  any  of  the  current  outcomes  of  the  BP,  we  decide  to  incorporate  all  studies  available  until  March  2013  in  our  literature  search.    

First  phase  The  international  database  ERIC  was  used  to  search  data  (research  studies),  the  following  inclusion  criteria  were  used  in  different  combinations:  Bologna  process  AND  reflecting/reflection/reflections,  criticism,  educational  assessment,  assessment,  quality,  critical  analysis,  critical  review,  comparative  studies,  retro  perspective,  students  attitudes,  students  experiences,  teaching,  all  in  the  purpose  for  framing  the  topic  for  this  study.  This  first  scan  of  the  field  comprised  161  studies.  For  pragmatic  reasons,  we  split  our  investigations  into  two  parts:  2004-­‐2007  (phase  2)  and  2008-­‐2013  (phase  3),  bearing  in  mind  that  the  full  implementation  of  BP  started  in  2007.    Second  phase  In  year  2004-­‐2007,  9  studies  were  excluded  initially  due  to  not  dealing  with  any  aspects  of  the  BP  and  3  studies  due  because  these  turned  out  to  be  dated  before  2004,  leaving  149  studies  to  become  reviewed  further.  Closer  scrutiny  of  the  abstracts  resulted  into  a  further  reduction,  and  from  the  period  between  2004  and  2007,  eventually  32  studies  were  included  for  further  investigation,  while  6  papers  were  excluded  due  to  being  too  loosely  related  to  the  BP  or  too  hypothetically  written  (see  table  1  for  an  overview).        Table  1  in  here        

Third  phase  This  phase  involved  analysis  of  the  more  recent  studies  between  2008  and  the  first  of  March  2013,  as  a  distinct  criterion,  only  peer-­‐reviewed  studies  were  included.  The  authors  read  the  abstracts  once  more,  which  resulted  in  exclusion  of  more  studies  since  they  were  not  dealing  with  a  distinct  aspect  related  to  the  BP.  If  the  abstract  was  vague  or  ambiguous  in  some  way  the  whole  paper  was  retrieved  and  read  by  either  of  the  authors.  When  it  became  obvious  that  some  of  the  studies  did  not  discuss  the  BP  as  such,  or  not  in  a  reflective  manner  these  were  consequently  excluded  as  well.  For  this  phase,  all  the  remaining  articles  and  studies  were  read  through  in  full  length  by  either  of  the  authors.  On  closer  scrutiny,  still  13  studies  had  to  be  excluded  for  similar  reasons  as  in  the  previous  phases.  Out  of  all  studies  between  2008  and  March  2013,  59  (including  3  books)  studies  remained,  which  could  be  added  to  the  previous  32  

7  

 

from  2004-­‐2007,  leading  to  the  total  number  of  91  studies.  Consequently,  the  remaining  studies  were  part  of  our  final  analysis  and  tabulated  focusing  on  the  mentioned  criteria.    

Fourth  phase  involved  the  analysis  of  data.    

This  part  of  our  analysis  involved  the  identification  of  several  key  elements,  which  occurred  through  reviewing  the  papers,  and  consequently  identifying  relevant  sentences,  paragraphs  and  sections,  by  rereading  the  whole  paper  in  question.  By  critically  reviewing  the  selected  articles  for  data  showing  key  elements  drawn  from  the  research  studies,  both  authors  made  notes  about  the  content  concerning  the  BP  in  general  and  concerning  a  critical  stance  in  particular.  On  that  basis  identified  three  themes  in  the  results  in  order  to  be  able  to  more  distinct  clarifying  different  critical  meanings  and  viewpoints  stated  and  discussed  in  the  articles.  In  following  this  process  the  outcome  was  that  a  total  of  three  main  themes  remained  to  be  further  discussed  and  interpreted  as  various  wholes.  

The  fifth  phase  involved  the  interpretation  of  the  overall  meaning  of  the  themes  

In  this  part  of  our  analysis  and  further  synthesizing  of  meaning,  we  developed  a  more  distinct  understanding  and  knowledge  of  the  topics  based  on  all  91  articles.  The  review  highlighted  substantial  data  through  the  important  key  elements  previous  identified.  The  main  outcome  is  first,  that  critical  viewpoints  regarding  the  BP  actually  did  occur  in  our  data,  but  that  this  topic  is  rather  under  investigated  compared  to  the  ‘pro  BP  dimension’.  It  should  be  noted  that  only  a  few  of  the  studies  did  take  a  critical  stance  in  reflecting  on  the  BP  and  even  fewer  studies  used  a  critical  point  of  view  of  the  BP  as  their  main  objective.  The  merging  of  some  key  elements  which  interrelated  to  a  large  extent  lead  to  the  following  three  main  thematic  areas  concerning  the  character  and  meaning  of  critical  viewpoints  about  the  BP  outcomes  and  potential,  sometimes  non  desirable  outcomes.  In  order  to  do  justice  to  the  differences  in  nature  and  content  of  the  studies,  we  use  the  following  themes  to  illustrate  our  findings  distinguishing  between  Challenges  (in  all  62),  Tensions  (in  all  43)  and  Critical  Standpoints  (in  all  24),  these  are  outlined  in  the  result  sector  (see  table  2).  Also  indicating  that  some  of  the  studies  overlapped,  and  consequently,  became  positioned  in  more  than  one  of  the  themes.    

 Results    

The  papers  that  have  been  reviewed  and  analysed  concerning  the  BP  can  be  placed  in  a  certain  order,  differing  from  taking  a  mildly  critical  stance,  by  referring  to  possible  disadvantages  towards  using  a  critical  viewpoint  on  Bologna  as  the  central  topic  of  discussion.  Within  this  order,  we  distinguish  the  three  following  themes:  Challenges,  involving  studies  about  potential  disadvantages  caused  by  the  BP,  tensions,  referring  to  the  incompatibility  of  certain  BP  measures  and  third,  the  studies  that  take  a  critical  standpoint,  exploring  and  analysing  the  actual  problematic  or  biased  consequences  of  the  BP.  There  is  however  some  overlap  between  these  three  themes,  some  papers  appear  in  more  than  one  category.    

Some  illustrative  quotations  from  the  articles  are  provided  in  relation  to  the  abstract  description  of  the  general  meaning  in  each  theme.  In  the  running  text  some  of  the  91  papers  (see  the  total  list  of  all  papers  included  in  the  analysis)  are  also  mentioned  and  we  choose  to  mark  these  with  an*  in  the  reference  list.  

This  hierarchy  of  themes  is  visible,  for  example  in  the  pattern  revealed  by  the  studies  selected  and  reviewed  from  2011.  Whereas  in  some  studies  a  rather  mild  perspective  is  being  used,  e.g.  when  stipulating  that  not  all  BP  goals  have  to  be  achieved,  Rauhfargers  (2011,  as  an  example),  or  in  a  

8  

 

discussion  that  not  all  BP  objectives  are  necessarily  shared,  Cernetic  (2011),  or  more  focused,  in  a  comparison  between  Finland  and  Austria,  concerning  QA  systems,  and  how  they  are  coping  with  globalization,  Bernhard  (2011).  Still  other  studies  provide  a  more  fundamental  level  of  criticism,  when  they  worry  for  the  domination  of  the  BP,  Corbett  (2011),  or  develop  a  critical  perspective  on  QA  (Haapakorpi,  2011).  It  gets  even  more  interesting  when  various  countries  are  being  discussed;  while  the  study  on  Romania  apparently  provides  an  overview  of  the  current  status  quo,  Damian  (2011),  the  study  on  Ukrain  and  Russia  emphazises  the  difference  between  official  documentation  and  the  actual  situation,  Luchinskaya  &  Ovchynnikova  (2011),  and  a  third  study  on  Serbia  provides  an  even  more  critical  assessment  of  Bologna  (Despotovic,  2011).  

Challenges  –  Papers  belonging  to  this  theme  are  showing  viewpoints  discussing  out  issues  that  can  be  considered  potential  difficulties  for  the  higher  education  system,  e.g.  studies  that  involve  whether  higher  education  institutions  are    ‘preparing  for  the  future’  and  which  consequences  are  to  be  expected  from  BP.  These  expectations  are  outlined  and  compared  in  terms  of  how  things  might  turn  out  eventually,  both  on  institutional  and  national  level.  The  discussion  of  such  potential  difficulties  can  lead  to  reasoning  about  the  current  challenges  when  adapting  to  the  BP.    

An  example  of  a  paper  discussing  such  ‘challenges’  is  authored  by  Greenwood  (2009).  He  uses  the  BP  ideas  to  look  at  the  US  higher  education  system,  and  attempts  to  explain  the  problems  of  the  current  US  higher  education  system  by  using  the  developments  introduced  by  BP  (accountability,  accreditation).  The  paper  is  more  a  political  pamphlet  and  uses  a  very  critical  perspective.  Despite  a  rather  weak  link  with  BP,  the  complications  and  difficulties  of  the  accreditation  process  and  the  ambivalence  concerning  the  improvement  for  teaching  quality  are  all  very  recognizable  and  relevant  themes.  

An  Illustrative  quote:  ‘Rather  than  recommending  that  either  the  US  or  the  European  higher  educational  systems  adopts  a  particular  programme,  this  essay  is  intended  as  a  way  of  opening  a  dialogue  between  those  with  substantive  empirical  and  policy  interests  in  higher  education  reform  in  the  US  and  Europe,…(Greenwood,  2009,  p.  2).    Another  paper  that  address  the  issue  of  challenges  in  terms  of  a  comparison  between  Finland  and  Austria,  involves  the  work  by  Andrea  Bernard  (2011).  She  uses  expert  interviews  to  focus  on  the  challenges  of  quality  assurance  in  higher  education.  An  illustrative  quote  from  the  Conclusion:  ‘Countries  which  react  more  effectively  to  these  pressures  concerning  a  decline  in  income  and  an  increase  in  competition  between  institutions  as  well  as  for  the  best  students  are  expected  to  be  in  possession  of  a  functioning  quality  assurance  system  that  is  able  to  face  the  challenges  of  the  upcoming  decades.  In  showing  how  higher  education  is  influenced  by  quality  assurance  this  study  has  aimed  at  providing  more  clarity,  but  also  at  making  a  plea  for  higher  education  institutions  which  are  not  yet  on  the  road  to  doing  so  to  take  steps  to  assure  their  quality’  (Bernard,  2011,  p.591).  

Tensions  –  This  theme  frames  studies  that  'put  X  'against'  Y  in  the  process  of  adaptation  to  the  BP  when  it  is  taking  place  over  time.  These  studies  concern  comparisons  of  either  already  experienced  outcomes  or  expected  outcomes  in  those  developments  that  are  still  on  the  run.  Sometimes  critical  comments  are  mentioned,  but  these  are  directed  towards  potential  changes  and  adjustments  to  the  BP.    

An  example  of  a  paper  describing  the  BP  tensions  is  authored  by  Cernetic  (2011),  the  paper  considers  the  issues  of  massification  as  opposed  to  educational  quality,  illustrated  with  several  examples  from  academia,  such  as  the  conflation  of  two  types  of  degrees  and  the  effects  of  cost  reduction  through  competition.  The  paper  ends  with  some  avenues  and  reflective  questions.  

9  

 

Another  example  concerns  the  paper  by  Portela  et  al.  (2009),  investigating  the  preferences  of  Spanish  students  when  choosing  their  academic  program  and  the  advantages  and  disadvantages  of  a  common  degree  structure  by  means  of  a  large  survey.  They  consequently  provide  insights  into  the  speed  of  the  BP  implementation.  The  results  of  this  study  ‘confirm  a  positive  impact  of  the  Bologna  process  on  the  demand  for  programs,  which  varies  with  program  size  and  across  fields  of  study  (p.  470).  Portela  et  al.  ‘uncover  that  being  a  program  leader,  i.e.  the  only  institution  in  the  country  that  restructured  a  given  program,  was  associated  with  higher  demand  by  prospective  students,  which  nevertheless  stemmed  from  their  "second  best"  options  and  not  from  their  first  choices’  (p.  471).  Portela’s  study  reveals  that  the  implementation  of  BP  causes  tensions,  as  the  coexistence  of  old  and  new  systems  ‘has  most  likely  favored  the  surge  of  controversy  on  its  implementation  among  higher  education  institutions,  students  and  labor  markets’.  Portela  et  al  use  Crosier  et  al.  (2007)  to  explain  that  such  controversies  result  from  different  visions  on  the  nature  of  the  reform  and  from  insufficient  transparency  and  information  conveyed  by  higher  education  institutions.    Critical  standpoints  –  framing  those  studies  that  start  with  the  experiences  of  a  dilemma  or  other  problem  and  take  as  a  starting  point  an  issue  on  various  levels,  such  as  department,  institutional  &  organizational,  regional  or  national  level.  The  studies  in  this  theme  actual  take  a  critical  standpoint  and  in  the  light  of  this,  discuss,  problematize  and  scrutinize  the  actual  consequences  of  BP.    

A  very  interesting  example  of  such  a  critical  paper  involves  the  work  by  Dahl  et  al.  (2009),  providing  an  overview  of  the  three  systems  of  grading  in  Scandinavian  countries,  and  explains  the  consequences  of  BP  for  the  ECTS.  The  paper  provides  detailed  overviews  of  the  Danish,  Swedish  and  Norwegian  grading  systems  and  makes  clear  how  supposed  transparency  as  propagated  by  the  BP  only  functions  at  the  superficial  level,  demonstrating  that  creating  transparency  is  merely  an  illusion  (Dahl,  Lien  &  Lindberg-­‐Sand,  2009).              

‘….  the  translation  of  grades  only  works  on  a  superficial  level.  The  grading  scales  designed  are  fundamentally  different  as  classification  systems;  they  attach  different  numerical  values  to  grades  with  identical  labels  and  they  relate  differently  to  norm-­‐  and  standards-­‐referenced  judgments  of  learning  outcomes.  The  information  condensed  in  similar  grades  from  the  three  countries  cannot  be  equated.  The  vision  of  simple  transparency  turns  out  to  be  an  illusion’  (Dahl  et  al.,  2009,  p.  75).    

Another  example  is  the  paper  by  Luchinskaya  and  Ovchynnikova  (2011),  providing  an  overview  of  the  current  status  quo  of  BP  in  Russia  and  Ukraine  at  national  policy  level,  two  rather  peripherical  countries  in  this  context.  While  their  papers  starts  off  with  suggesting  ‘that  while  Ukraine  may  have  implemented  more  of  the  Bologna  Process  objectives  overall,  including  ECTS  and  the  degree  cycles,  Russia  has  made  progress  in  the  diploma  supplement,  and  both  countries  are  at  a  similar  level  of  quality  assurance’.  However,  further  on,  they  describes  a  reversal  of  official  rhetoric,  initiated  by  President  Putin,  expressing  his  fear  that  the  new  degree  system  may  ruin  what  remains  of  the  Soviet  system  of  education.  The  authors  consequently  conclude:  ‘that  the  Russian  officials  have  joined  the  BP  out  of  the  questions  of  prestige  and  competitiveness,  consider  the  BP  a  foreign  policy  rather  than  an  education  issue  and  use  its  non-­‐binding  character  to  pursue  only  slight  changes  in  the  system  of  HE.’  (ibid,  p.  30).    

 Conclusions  

When  perceiving  the  results  of  our  literature  review,  there  are  three  relevant  findings:  

10  

 

First,  our  literature  review  shows  that  related  to  the  importance  of  the  BP,  the  number  of  studies  using  a  critical  or  at  least  reflective  perspective  is  relatively  low.  Closer  scrutiny  revealed  even  fewer  relevant  studies.  Consequently,  we  broadened  our  selection  categories  to  studies  discussing  hypothetical  challenges  and  tensions.  Interesting,  while  the  total  number  of  relevant  studies  has  not  increased  significantly  over  the  years,  on  average  share  of  studies  using  a  critical  stance  grew  extensively,  from  one  out  of  10  studies  in  2007  to  8  out  of  14  studies  in  2010.    Second,  when  going  back  to  our  framework  and  research  questions:    identifying  aspects  of  the  Bologna  Process  in  terms  of  involve  equalizing,  uniform  and  homogeneous  developments  and  which  parts  stimulate  differentiation,  competitive  and  heterogeneous  developments?  If  and  how,  do  these  developments  focused  on  the  political  rhetoric  involved  with  the  BP  emphasize  the  actual  impact  on  the  higher  education  systems?    We  demonstrate  here  in  line  with  Huisman  (2009,  p.  7-­‐9)  and  Neave  &  Amaral  (2008)  that  following  the  Bologna  Process  intentions,  the  development  in  the  HE  sector  have  at  large  brought  structural  convergence,  launching  a  discourse  that  will  decrease  the  influences  of  diversity.  At  the  same  time,  actions  have  been  roused  showing  a  tendency  of  creating  counter  reaction  on  national  and  on  local  institutional  levels,  trying  to  deal  with  various  diversity  aspects.  Huisman  (2009)  asserts  that  there  are  four  possible  explanations  for  these  inconsistent  (convergence-­‐diversity)  outcomes,  two  of  them  are  relevant  for  interpretation  of  our  findings.  

The  first  involves  the  idea  of  translation,  implying  that  ideas  change  as  they  travel  and  that  national  policy  may  be  implemented  in  order  to  solve  rather  national  and  administrative  problems  while  the  BP  is  rather  used  as  an  excuse.  For  example,  the  study  carried  out  by  Dahl  et  al.  (2009)  shows  that  when  attempting  to  achieve  transparency  in  the  grading  systems  across  three  Scandinavian  countries  this  turns  out  to  be  a  mere  illusion.  A  second  relevant  explanation  involves  the  questions  of  quality  in  HE  implying  that  due  to  BP  knowledge  development  may  become  less  sensitive  for  diversity  and  variations,  resulting  into  a  weak  reinforcement  of  innovative  and  creative  thinking,  and  in  practice,  then  not  allowing  new  forms  of  teaching  in  the  classroom  (cf.  concerning  different  angels  on  this  subject  matter:  Dahlgren  et.  al.,  2008;  Dysthe  &  Webler,  2010;  Jensen  &  Michel-­‐Schertges,  2010).  The  third  explanation  involves  the  political  elements  of  policy  and  decision  making,  meaning  that  the  policy  process  is  even  more  strongly  affected  by  historical  legacies  and  path  dependencies,  consequently  no  longer  open  to  unexpected  turns  and  creative  outcomes,  as  these  are  not  framed  in  the  BP.  This  is  being  revealed  by  the  Russian  paper  by  Luchinskaya  and  Ovchynnikova  (2011)  demonstrating  that  Russia  only  joined  the  BP  for  reasons  of  prestige  and  window  dressing,  and  that  the  history  and  reputation  of  the  Soviet  system  are  stronger  than  the  impact  of  BP,  quite  similarly  to  what  Dahl  et  al.  (2009)  expose  in  the  historical  differences  between  three  grading  systems.      Third,  our  study  intends  to  increase  awareness  of  the  lack  of  critical  studies  available,  which  can  consequently  lead  to  a  more  balanced  view  of  the  BP.  This  review  reveals  that  more  critical  research  needs  to  be  conducted  concerning  the  evaluation  of  the  consequences  of  BP,  in  order  to  outline  its  various  undesirable  effects.  Further  research  into  the  effects  of  the  BP  implementation  at  the  local  level  would  highlight  the  differences  and  difficulties  in  the  implementation  of  the  Bologna  objectives,  consequently  making  visible  that  BP  is  clearly  lacking  in  certain  areas,  unveiling  its  various  undesirable  effects.  Subsequently,  exposing  the  shortcomings  of  the  European  higher  education  system  will  eventually  lead  to  new  developments,  making  the  system  able  to  face  the  current  and  future  challenges.    Our  aim  is  to  raise  awareness  and  contribute  to  the  discussion  about  this  issue.  The  question  we  need  to  discuss  more  thoroughly  is  what  consequences  are  to  be  avoided  and  which  are  to  be  strived  for?  Are  

11  

 

we  striving  for  homogeneity  of  curriculum  and  syllabus  in  delivering  fixed  standardised  and  measurable  standards,  easy  to  compare  grade  wise?  Or  do  the  future  European  higher  education  systems  need  to  prepare  for  multiple  variations  in  order  to  be  part  of  a  global  knowledge  society?  Then  they  may  be  continually  allowing  for  innovation  and  creation  of  knowledge  development  and  stimulating  a  culture  for  learning,  consequently  accepting  variations  and  differences  between  national  systems,  institutions,  employees  and  students.    Limitations  

There  are  some  limitations  to  our  study,  since  our  selection  procedure  occurred  through  a  database  in  English,  we  are  missing  out  studies  in  other  languages,  such  as  national  or  very  specific  studies.  As  such  studies  will  very  likely  also  demonstrate  that  ‘the  devil  is  in  the  detail’,  we  may  have  missed  some  interesting  viewpoints  and  relevant  contributions  to  our  debate.  In  addition,  using  several  databases  may  have  extended  our  numbers  of  papers  selected.  This  is  particularly  true  for  studies  from  2007  and  before.  In  order  to  fill  in  the  gap  between  the  moment  this  paper  was  finalised  (January  2014)  and  March  2013,  a  delimited  search  was  conducted  using  the  following  terms:  bologna  process  and  critical/criticism/analysis/standardisation,  but  no  new  papers  became  available  published  after  March  2013.  The  extent  of  our  search  is  limited  but  nevertheless  provides  an  overview  of  the  field  at  this  moment  considering  the  delimitations  mentioned.    

As  explained,  the  original  purpose  of  our  paper  was  to  provide  an  overview  of  the  pros  and  cons  of  the  BP,  in  order  to  discuss  the  BP  in  a  more  nuanced  manner  and  by  using  an  epistemological  perspective.  We  assumed  wrongly  that  a  great  number  of  studies,  critically  reflecting  and  analyzing  BP  outcomes  ought  to  be  available  by  now.  Due  to  the  limited  amount  of  studies  available  this  was  not  possible.  Instead,  we  have  broadened  our  themes  and  have  also  included  studies  with  a  more  moderate  viewpoint.  This  resulted  into  a  broader,  but  no  less  relevant  overview.  To  conclude,  the  initial  amount  of  papers  was  extensive,  despite  that  only  a  few  studies  actually  used  a  thorough  critical  view  at  BP,  we  consequently  widened  our  selection  criteria  and  described  our  review  and  selection  process  in  a  detailed  and  thorough  manner.    

Acknowledgements  

We  are  immensely  grateful  to  the  ECER  for  funding  part  of  our  research.    

12  

 

References  

*Adelman,  C.  (2009).  The  bologna  process  for  u.s.  eyes:  Re-­‐learning  higher  education  in  the  age  of  convergence.    Institute  for  Higher  Education  Policy,  pp.  1-­‐258.  

Avery,  H.  &  Wihlborg,  M.  (2013).  Teachers’  Interpretation  of  Bildung  in  Practice:  Examples  from  Higher  Education  in  Sweden  and  Denmark.  Journal  of  Learning  Development  in  Higher  Education,  5,  pp.  1-­‐20.  

Benneworth,  P.,  Harry  de  Boer,  L.,  Cremonini,  Ben.,  Jongbloed,  L.,  Leisyte,  H  &  Vossensteyn,  Egbert  de  Weert  (2011).  Quality-­‐related  funding,  performance  agreements  and  profiling  in  higher  education.  http://www.utwente.nl/mb/cheps/publications/Publications%202011/C11HV018%20Final%20Report%20Quality-­‐related%20funding%2C%20performance%20agreements%20and%20profiling%20in%20HE.pdf  Downloaded  24th  of  June  2013  

*Bernard,  A.  (2011)  Quality  Assurance  on  the  Road:  Finland  and  Austria  in  comparison,  European  Educational  Research  Journal,  10(4),  pp.  583-­‐594.  http://dx.doi.org/10.2304/eerj.2011.10.4.583  

Bologna  Follow-­‐up  Group  (2007)  Bergen  to  London  2007,  Secretarial  Report  on  the  Bologna  Work  Programme  2005-­‐2007.  http://www.ehea.info/Uploads/Related%20EU%20activities/Report-­‐from-­‐BergentoLondon-­‐May-­‐2007.pdf  Retrieved  the  19th  of  November  2012.    The  Bologna  Process  2020  (2009).  The  European  Higher  Education  Area  in  the  new  decade.  Communique  of  the  Conference  of  European  Ministers  Responsible  for  Higher  Education,  Leuven,  28-­‐29  April  2009.(www.ond.vlaanderen.be  retrieved19th  of  November  2012).  

Brögger,  K.  (forthcoming).  The  Ghosts  of  Higher  Education  Reform:  On  the  organisational  processes  surrounding  policy  borrowing.  Globalisation,  Societies  and  Education  (accepted  2013).  

Bucharest  Communique  (2012)  Making  the  Most  of  Our  Potential:  Consolidating  the  European  Higher  Education  Area  http://www.ehea.info/Uploads/(1)/Bucharest%20Communique%202012(2).pdf  Retrieved  on  15th  of  October  2013.    Budapest-­‐Vienna  Declaration  on  the  European  Higher  Education  Area  (2010)    http://www.ond.vlaanderen.be/hogeronderwijs/bologna/2010_conference/documents/Budapest-­‐Vienna_Declaration.pdf  (retrieved  10th  December  2013)    *Cernetic,  M.  (2011)  Lisbona's  Goals  and  Bolonian  Process-­‐Issue  of  Education  in  EU  Integration.  Online  Submission,  US-­‐China  Education  Review  B,  5,  pp.  721-­‐733.    

*Corbett,  A.  (2011).  Ping  pong:  Competing  leadership  for  reform  in  eu  higher  education  1998-­‐2006.  European  Journal  of  Education,  46(1),  pp.  36-­‐53.  

*Dahl,  B.,  Lien,  E  and  Lindberg-­‐Sand,  Å.  (2009).  Conformity  or  Confusion?  Changing  Higher  Education  Grading  Scales  as  a  Part  of  the  Bologna  Process:  The  Cases  of  Denmark,  Norway  and  Sweden.  Learning  and  Teaching:  The  International  Journal  of  Higher  Education  in  the  Social  Sciences,  2(1)  pp.  39-­‐79.  

13  

 

*Dahlgren,  L-­‐O.,  Fejes,  A.,  Abrandt-­‐Dahlgren,  M  &  Trowald,  N.  (2009).  Grading  Systems,  Features  of  Assessment  and  Students'  Approaches  to  Learning.  Teaching  in  Higher  Education,  14(2),  pp.  185-­‐194.  

*Damian,  R.M.  (2011).  The  bologna  process  as  a  reform  initiative  in  higher  education  in  the  Balkan  countries:  The  case  of  Romania.  European  Education,  43(3),  pp.  56-­‐69.    

*Despotovic,  M.  (2011).  The  interpretation  and  implementation  of  the  bologna  process  in  Serbia.  European  Education,  43(3),  pp.  43-­‐55.  

*Dysthe,  O.  &  Webler,  W.D.  (2010).  Pedagogical  issues  from  Humboldt  to  bologna:  The  case  of  Norway  and  Germany.  Higher  Education  Policy,  23(2),  pp.  247-­‐270.    European  Commission  (2010)  Focus  on  Higher  Education  in  Europe  2010:  New  report  on  the  impact  of  the  Bologna  process.  Eurydice  Report  http://eacea.ec.europa.eu/education/eurydice/eurybase_en.php#description  Retrieved  on  1st  of  June  2010.    European  Commission  (2013)  The  Bologna  Process  -­‐  Towards  the  European  Higher  Education  Area  http://ec.europa.eu/education/higher-­‐education/bologna_en.htm  (retrieved  13th  of  July  2013).    *Greenwood.  D.  J.  (2009).  Bologna  in  America:  The  Spellings  Commission  and  Neo-­‐Liberal  Higher  Education  Policy.  Learning  and  Teaching.  The  International  Journal  of  Higher  Education  in  the  Social  Sciences,  2(1)  pp.  1-­‐38.  

*Haapakorpi,  A.  (2011).  Quality  assurance  processes  in  finnish  universities:  Direct  and  indirect  outcomes  and  organisational  conditions.    Quality  in  Higher  Education,  17(1),  69-­‐81.  

Hart,  C.  (2003a)  Doing  a  Literature  Search.  London:  SAGE.    Hart,  C.  (2003b)  Doing  a  Literature  Review.  London:  SAGE.    Huisman,  J.  (2009).  The  Bologna  Process  towards  2020:  Institutional  diversification  or  convergence?  in  B.  Kehm,  J.  Huisman  &  B.  Stensaker  (Eds.),  The  European  Higher  Education  Area:  Perspectives  on  a  moving  target.  Rotterdam:  Sense  Publishers,  pp.  245-­‐262.    *Jensen,  K.  &  Michel-­‐Schertges,  D.  (2010).  Transforming  of  educational  institutions  after  gats-­‐-­‐consequences  in  social  relations  as  corporation,  competition  and  state  regulation.  Journal  for  Critical  Education  Policy  Studies,  8(2),  pp.  311-­‐328.      Karseth,  B.  (2009).  The  Bologna  Process:  A  Science  Fiction  Story?  Paper  Presented  at  the  ECER,  28-­‐30/9,  University  of  Vienna,  Austria  (work  in  progress).    Leuven  Declaration  (2009)  The  Bologna  Process  2020  -­‐  The  European  Higher  Education  Area  in  the  new  decade  Communiqué  of  the  Conference  of  European  Ministers  Responsible  for  Higher  Education,  Leuven  and  Louvain-­‐la-­‐Neuve,  28-­‐29  April.  

14  

 

http://www.ond.vlaanderen.be/hogeronderwijs/bologna/conference/documents/leuven_louvain-­‐la-­‐neuve_communiqué_april_2009.pdf  (retrieved  9th  of  December  2013).    *Luchinskaya,  Daria  ;  Ovchynnikova,  Olena  (2011)  The  Bologna  Process  Policy  Implementation  in  Russia  and  Ukraine:  Similarities  and  Differences.  European  Educational  Research  Journal,  10(1)  pp.  21-­‐33.  

Neave,  G.  &  Amaral,  A.  (2008).  On  process,  progress,  success  and  methodology  or  the  unfolding  of  the  Bologna  process  as  it  appears  to  two  reasonably  benign  observers.  Higher  Education  Quarterly  62(1/2),  pp.  40-­‐62.    Nilsson,  M  &  Wihlborg,  M.  (2011).  Higher  Education  as  Commodity  of  Space  for  Learning:  modelling  contradictions  in  educational  practices.  Power  and  Education,  3(2),  pp.  104-­‐116.    *Portela,  M.,  Sa,  C.,  Alexandre,  F  and  Cardoso,  A-­‐R.  (2009).  Perceptions  of  the  Bologna  Process:  What  Do  Students'  Choices  Reveal?  Higher  Education:  The  International  Journal  of  Higher  Education  and  Educational  Planning,  58(4),  pp.  465-­‐474.  

*Rauhvargers,  A.  (2011).  Achieving  bologna  goals:  Where  does  Europe  stand  ahead  of  2010.  Journal  of  Studies  in  International  Education,  15(1),  pp.  4-­‐24.    Reichert,  S.,  &  Tauch,  C.  (2005).  Trends  IV:  European  Universities  Implementing  Bologna.  s.l.  [Brussels]:  European  University  Association.    Sursock,  A  &  Smidt,  H.  (2010)  Trends  2010:  A  decade  of  change  in  European  Higher  Education.  EUA-­‐publications,  Brussels,  Belgium.    Svensson,  L  &  Wihlborg,  M.  (2010)  Internationalising  the  Content  of  Higher  Education.  Higher  Education  60(6),  pp.  595-­‐613.    *Teelken,  C.  &  Wihlborg,  M.  (2010).  Reflecting  on  the  bologna  outcome  space:  Some  pitfalls  to  avoid?  Exploring  universities  in  Sweden  and  The  Netherlands.  (special  edition).  European  Educational  Research  Journal,  9(1),  pp.  105-­‐115.        Threefold  differentiation  (2010)  Recommendations  of  the  Committee  on  the  Future  Sustainability  of  the  Dutch  Higher  Education  System,  Ministry  of  OCW.    Trends  IV  (2007)  Universities  shaping  the  European  Higher  Education  Area.  An  EUA  report.    Trends  V  (2011)  Universities  shaping  the  European  Higher  Education  Area,  AN  EUA  REPORT.  By  *DAVID  CROSIER,  LEWIS  PURSER  &  HANNE  SMIDT  http://www.eua.be/fileadmin/user_upload/files/Publications/Final_Trends_Report__May_  10.pdf,  VSNU  [Association  of  Universities  in  the  Netherlands].    Westerheijden,  D.F.  van  der,  V.  Hulpiau,  K.  Waeytens  (2007).  From  Design  and  Implementation  to  Impact  of  Quality  Assurance:  An  Overview  of  Some  Studies  into  what  Impacts  Improvement.  Tertiary  Education  and  Management,  13(4),  pp.  295-­‐312.  

15  

 

Van  der  Westerheijden,  D.F.  van  der,  et  al.,  (2008)  The  first  decade  of  working  on  the  European  Higher  Education  Area,  The  Bologna  Process  Independent  Assessment  Volume  1  Detailed  assessment  report  http://ec.europa.eu/education/highereducation/doc/bologna_process/independent_assessment_1_detailed_rept.pdf  (downloaded  24th  of  June  2013).    Wihlborg,  M.  (2009)  Quality  in  internationalising  H  E  -­‐  A  challenging  pedagogical  &  didactical  issue  for  the  21st  century.  European  Educational  Research  Journal  8(1),  pp.  117-­‐  132.                

16  

 

Supplement:  

Table  2    Overview  of  the  selected  papers  according  to  their  year  of  publication  and  theme  

Year   Challenge   Tension   Critical  SP   Total  number  of  papers  

2004   Blackmur,  D.  (2004);  Finocchietti,  G.  (2004);  Lindblom-­‐Ylanne,  S.  &  Hamalainen,  K.  (2004).  

    3  

2005   Coleman,  J.A.  (2005);  Heitmann,  G.  (2005);  Papatsiba,  V.  (2005);  Pol,  M.  

(2005);  Saarinen,  T.  (2005);  Westerheijden,  D.F.  (2005);  Nyborg,  P.  (2004-­‐2005).  

    7  

2006   Egorov,  A.  &  Sukhova,  E.  (2006);  Floud,  R.  (2006);  Fried,  J.  et.  al.,  (2006);  Hjort,  K.  (2006);  Huisman,  J.  &  Naidoo,  R.  (2006);  Kettunen,  J.  &  Kantola,  M.  (2006);  Sirca,  N.  T.,  et  al.,  (2006);  Stamoulas,  A.  (2006);  Verhesschen,  P.  (2006);  Vlasceanu,  L.  &  Voicu,  B.  (2006);  Zapesotskii,  A.  (2006).  

Huisman,  J.  &  Naidoo,  R.  (2006);  Kehm,  B.  M.  &  Teichler,  U.  (2006);  Stamoulas,  A.  (2006).  

  12  

2007   Alesi,  B.  et  al.,  (2007);  Augusti,  G.  (2007);  Kettunen,  J.  &  Kantola,  M.  (2007);  Mikkola,  A.  et  al.,  (2007);  Onnerfors,  A.  (2007);  Oprean,  C.  (2007);  Rivza,  B.  &  Teichler,  U.  (2007);  Roper,  S.  D.  (2007);  Gorga,  A.  (2007-­‐2008).  

Alesi,  B.  et  al.,  (2007);  Burnett,  J.  (2007);  Onnerfors,  A.  (2007);  Oprean,  C.  (2007);  Rivza,  B.  &  Teichler,  U.  (2007).  Gorga,  A.  (2007-­‐2008).  

Burnett,  J.  (2007).   10  

2008   Adelman,  C.  (2008);  Contreras,  A.  (2008);  Mangset,  M.  (2008);  Oh,  J-­‐E.  (2008);  Reinalda,  B.  (2008);  Saarinen,  T.  (2008);  Vidovic,  V.  V.  (2008);  Xu,  J.  (2008).  

Contreras,  A.  (2008);  Dobren'kova,  E.  V.  (2008);  Fejes,  A.  (2008a);  Fejes,  A.  (2008b);  Hartmann,  E.  (2008);  Karseth,  B.  (2008);  Kozma,  T.  (2008);  Mangset,  M.  (2008);  Oh,  J-­‐E.  (2008);  Reinalda,  B.  (2008);  Saarinen,  T.  (2008);  Ursin,  J.  et  al.,  (2008);  Xu,  J.  (2008).  

Fejes,  A.  (2008a);  Fejes,  A.  (2008b);  Hartmann,  E.  (2008);  Palfreyman,  D.  (2008);  Reinalda,  B.  (2008);  Xu,  J.  (2008).  

16  

2009   Adelman,  C.  (2009);  Gonzalez  et  al.  (2009);  Greenwood.  D.  J.  (2009);  Hunt  et  al.,  (2009);  Jezierska,  J.  M.  (2009);  Portela,  M.  (2009);  

Adelman,  C.  (2009);  Bitusikova,  A.  (2009);  Portela,  M.  (2009);  Teelken  &  Lomas  (2009).  Dahlgren  et  al,  

Adelman,  C.  (2009);  Dahl  et  al.,  (2009);  Dale  &  Robertson  (2009).  

14  

17  

 

Uhomoibhi,  J.  O.  (2009);  Valk,  A.  (2009);  Van  Biesen  et  al.,  (2009).    

 

(2009).  

2010   Bitusikova,  A.  et  al.,  (2010);  Carter,  S.  et  al.,  (2010);  Diaz,  M.  J.  F.  et  al.,  (2010);  Evans,  L.  (2010);  Jensen,  K.  &  Michel-­‐Schertges,  D.  (2010);  Silova,  I.  (2010);  Sanders,  R.  H.  &  Dunn,  J.  M.  (2010);  Stiwne,  E.  &  Alves,  M.  G.  (2010).  

 

Bitusikova,  A.  et  al.,  (2010);  Carter,  S.  et  al.,  (2010);  Diaz,  M.  J.  F.  et  al.,  (2010);  Dysthe,  O.  &  Webler,  W-­‐D.  (2010);  Geraldo,  J.  L.  G.  et  al.,  (2010);  Jensen,  K.  &  Michel  Schertges,  D.  (2010);  Kehm,  B.  M.  (2010);  Serrano-­‐Velarde,  K.  &  Stensaker,  B.  (2010);  Silova,  I.  (2010);  Stiwne,  E.  &  Alves,  M.  G.  (2010).  

Bitusikova,  A.  et  al.,  (2010);  de  Rudder,  H.  (2010);  Diaz,  M.  J.  F.  et  al.,  (2010);  Dysthe,  O.  &  Webler,  W-­‐D.  (2010);  Geraldo,  J.  L.  G.  et  al.,  (2010);  Jensen,  K.  &  Michel-­‐Schertges,  D.  (2010);  Kehm,  B.  M.  (2010);  Silova,  I.  (2010);  Teelken,  C.  &  Wihlborg,  M.  (2010).  

14  

2011   Bernhard,  A.  (2011);  Cernetic,  M.  (2011);  Corbett,  A.  (2011);  Damian,  R.  M.  (2011);  Haapakorpi,  A.  (2011);  Rauhvargers,  A.  (2011).  

Cernetic,  M.  (2011);  Haapakorpi,  A.  (2011);  Luchinskaya,  D.  &  Ovchynnikova,  O.  (2011);  Voegtle,  E.  M.  et  al,  (2011)  

Corbett,  A.  (2011);  Lucin,  P.  &  Prijic  Samarzija,  S.  (2011);  Despotovic,  M.  (2011);  Stelmach,  B.  L.  &  von  Wolff,  S.  D.  (2011)  

12  

2012   Fadeeva,  Z.  &  Galkute,  L.  (2012)   Alves,  M.  G.,  et  al.,  (2012);  Liesner,  A.  (2012)  

Liesner,  A.  (2012)   3  

   

62  

 

43  

 

24  

91  total  

129  

All  studies  are  included  in  the  references.  Quotations  are  used  as  illustrations  in  the  paper  and  are  highlighted  in  the  references  with  *.  The  total  number  of  individual  papers  is  91.  The  number  of  129  shows  that  some  papers  are  positioned  in  more  than  one  theme.