95564   Armenia      SABER Country Report WORKFORCE DEVELOPMENT  2014       Dimensions  Status     1. Strategic Framework  The  strategic  framework  is  assessed  to  be  at  a  high  emerging  level.  The  political  support  for  workforce  development  (WfD)  as  an  asset  for  economic    progress  is  strong;  the  challenges  of  aligning  the  workforce  development  system  to  the  needs  of  the  economy  are  recognized  and  addressed  in  the  country’s strategic documents. However, the roles and responsibilities of key  stakeholders  in WfD remain fragmented and  the  influence of businesses and  industries in shaping and implementing WfD priorities is modest.    2. System Oversight  System oversight is assessed  to be at the emerging  level. Competency‐based  testing and certification await implementation, arrangements for institutional    accreditation are still being formulated, and measures for articulation among  training  programs  have  to  be  further  improved.  Funding  is  also  an  issue:  Government  funding  is  modest;  there  is  no  strong  linkage  between  the  allocation  of  funds  to  institutions  and  institutions’  performance,  and  the  funding  of  educational  institutions  is  generally  not  supplemented  by  other  sources.    3. Service Delivery  Service  delivery  is  assessed  to  be  at  the  emerging  level,  suggesting  that  although formally all stakeholders have influence over training  curricula, in a    large number of cases, non‐state stakeholders’ involvement is limited. Private  training providers are allowed to operate within the existing legal framework  quite  freely,  but  they  have  almost  no  incentives  to  meet  quality  standards,    and a culture of monitoring and evaluation is not well developed.                ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Table of Contents Executive Summary ................................................................................................................................................................. 3  1. Introduction ........................................................................................................................................................................ 5  2. Country Context .................................................................................................................................................................. 7  Economic Trends ................................................................................................................................................................. 7  Employment .................................................................................................................................................................... 7  Supply of Skills ................................................................................................................................................................. 8  3. Overview of Findings and Implications .............................................................................................................................  10  Overview of the SABER‐WfD Scores ................................................................................................................................. 10  Policy Implications of Findings .......................................................................................................................................... 11  4. Aligning Workforce Development to Key Economic and Social Priorities ........................................................................  15  Strategic Socioeconomic Aspirations and Priorities .........................................................................................................  15  SABER‐WfD Ratings on the Strategic Framework .............................................................................................................  16  Policy Goal 1: Articulating a Strategic Direction for WfD.  .............................................................................................  17  Policy Goal 2: Articulating a Strategic Direction for WfD.  .............................................................................................  18  Policy Goal 3: Strengthening Critical Coordination for Implementation. .....................................................................  18  Implications of the Findings .............................................................................................................................................. 19  5. Governing the System for Workforce Development ........................................................................................................  20  Overall Institutional Landscape  ......................................................................................................................................... 20  SABER‐WfD Ratings on System Oversight .........................................................................................................................  21  Policy Goal 4: Ensuring Efficiency and Equity in Funding.  .............................................................................................  22  Policy Goal 5: Assuring Relevant and Reliable Standards. ............................................................................................  22  Policy Goal 6:  Diversifying Pathways for Skills Acquisition. .........................................................................................  24  Implications of the Findings .............................................................................................................................................. 25  6. Managing Service Delivery ................................................................................................................................................ 26  Overview of the delivery of training services ...................................................................................................................  26  SABER WfD Ratings on Service Delivery ...........................................................................................................................  27  Policy Goal 7: Incentivizing Diversity and Excellence in Training Provision .................................................................. 27  Policy Goal 8: Fostering Relevance in Public Training Programs ..................................................................................  29  Policy Goal 9: Enhancing Accountability for Results .....................................................................................................  30  Implications of the Findings .............................................................................................................................................. 30  Annex 1: Acronyms ............................................................................................................................................................... 32  Annex 2: The SABER‐WfD Analytical Framework  ..................................................................................................................  33  Annex 3: Rubrics for Scoring the SABER‐WfD Data  ...............................................................................................................  35  Annex 4: References and Additional Sources .......................................................................................................................  44  Annex 5: SABER‐WfD Scores ................................................................................................................................................. 47  Annex 6: Validation Workshop Report ................................................................................................................................. 48  Annex 7: Authorship and Acknowledgements ......................................................................................................................  50         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   2  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Executive Summary Armenia is a small, open‐economy country that is strategically located in the South Caucasus, at the crossroads of Western  Asia and Eastern Europe. Since 2004, economic growth has meant that Armenia has crossed the threshold from a low‐ to  middle‐income country. In 2012, the GNI per capita in PPP terms (constant 2005 international dollars) was 5,540 and the  HDI  value  was  0.729—registering  in  the  high  human  development  category—positioning  the  country  to  rank  87th  out  of  187 countries and territories. Between 1990 and 2012, Armenia’s HDI value increased from 0.628 to 0.729, an increase of  16 percent or average annual increase of about 0.7 percent.  Like  many  countries  worldwide,  Armenia  has  made  considerable  efforts  to  reinforce  its  education  and  training  systems’  capacity  to  respond  to  the  pressures  of  globalization  and  the  challenges  of  a  knowledge‐based  economy.  For  countries  like  Armenia  that  have  few  natural  resources,  the  most  important  resource  for  economic  development  is  human  capital  in the form of a well‐educated, creative labor force. The only way to secure this capital is by creating a globally competitive  education system, which is the goal of wide‐ranging reforms.1 The achievement of this goal requires strong leadership at  all levels of the workforce development (WfD) system, consistency in setting and implementing long‐term national goals,  and coherence in policies targeted at decreasing the gaps between skills demand and supply.    This  report  presents  a  comprehensive  diagnostic  of  the  country’s  WfD  policies  and  institutions  to  inform  policy  dialogue  on this important issue. The results are based on a new World Bank tool designed for this purpose.  Known as SABER‐WfD,  the tool is part of the World Bank’s initiative on Systems Approach for Better Education Results (SABER),2 the aim of which  is  to  provide  systematic  documentation  and  assessment  of  the  policy  and  institutional  factors  that  influence  the  performance  of  education  and  training  systems.  It  examines  three  crucial  dimensions  of  the  WfD  system:  strategic  framework,  system  oversight,  and  service  delivery.  The  SABER‐WfD  tool  encompasses  initial,  continuing,  and  targeted  vocational  education  and  training  that  are  offered  through  multiple  channels  and  focuses  largely  on  programs  at  the  secondary and post‐secondary levels. This report documents the results of the use of the SABER‐WfD tool in Armenia for  the first time.  Leaders  play  an  important  role  in  crystallizing  a  strategic  vision  for  WfD  that  is  appropriate  given  a  country’s  unique  circumstances  and  opportunities,  and  in  Armenia  there  are  some  visible  champions  advocating  for  WfD.  It  is  well  recognized  that  effective  advocacy  for  WfD  requires  credible  assessments  of  the  demand  for  skills,  engagement  of  employers  in  shaping  the  WfD  agenda,  and  the  provision  of  incentives  for  employers  to  support  skills  development.  To  align the efforts of multiple stakeholders involved in WfD with the country’s key socioeconomic priorities, in Armenia the  roles  and  responsibilities  of  all  government  and  non‐government  stakeholders  are  formally  defined  by  policy  along  with  corresponding  institutional  mechanisms  for  coordinating  government  entities  and  non‐government  WfD  stakeholders.  Despite this effort, however, coherence is lacking and communication and interaction remain weak. There is a disconnect  between the long‐term strategic goals and current vision for WfD, on the one hand, and the industry involvement in setting  strategic  priorities  for  WfD,  on  the  other.  Moreover,  the  measures  undertaken  by  the  Government  of  the  Republic  of  Armenia to provide means for employers to be engaged in the strategy‐making process to address skills constraints, even  in priority sectors, are limited.                                                                1  Economy and Values (EV) Research Center and EV Consulting, National Competitiveness Report of Armenia 2010: Higher Education Report (Yerevan: 2010), p. 6.   2  For details on SABER, see http://www.worldbank.org/education/saber.       SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   3  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    The  efficient  and  equitable  funding  of  investments  in  WfD  is  important.  Although  the  government  allocates  funds  from  the state budget according to existing procedures, the current principle of funding does not promote efficiency in resource  use, and private sector involvement in providing resources for training is very limited.     In general, the linkages in Armenia between the education and training systems and the labor market are weak. There is  a clear mismatch between the type and level of skills needed by the labor market and what is being supplied by education  and training. A key trend is that while the WfD system is producing an increasingly highly educated workforce, graduates  do  not  possess  the  specific  skills  required  by  the  labor  market,  which  are  often  lower‐level  skills  and  attainable  through  shorter  periods  of  education.  Therefore,  it  is  important  to  continue  with  the  system  reforms  that  aim  to  increase  the  quality  of  professional  education  and  to  bring  it  into  compliance  with  labor  market  demands  as  well  as  the  strategic  educational  and  development  objectives  of  the  country.  In  order  to  keep  training  program  offerings  relevant  to  current  market conditions, training institutions need reliable information on current and emerging skills needs.         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   4  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    1. Introduction  of  public  policymaking  and  what  they  reveal  about  the  Strengthening  microeconomic  fundamentals,  broadening  system’s  capacity  to  conceptualize,  design,  coordinate,  job  opportunities,  and  enabling  workforce  development  and implement policies in order to achieve results on the  (WfD)  are  all  viewed  as  important  means  for  improving  Armenia’s  socioeconomic  prospects.    To  inform  policy  ground.  dialogue  on  the  important  issue  of  WfD,  this  report  attempts  to  present  a  comprehensive  diagnostic  of  the  Each  dimension  is  composed  of  three  policy  goals  that  country’s  WfD  policies  and  institutions.  The  results  are  correspond  to  important  functional  aspects  of  WfD  based  on  a  new  World  Bank  tool  designed  for  this  systems  (see  Figure  1).  Policy  goals  are  further  broken  purpose.  Known  as  SABER‐WfD,  the  tool  is  part  of  the  down  into  discrete  policy  actions  and  topics  that  reveal  World  Bank’s  initiative  on  Systems  Approach  for  Better  more detail about the system.  Education Results (SABER),3 the aim of which is to provide  systematic  documentation  and  assessment  of  the  policy  Figure 1. Functional Dimensions and Policy Goals in the  and  institutional  factors  that  influence  the  performance  SABER‐WfD Framework of  education  and  training  systems.  The  SABER‐WfD  tool  encompasses  initial,  continuing,  and  targeted  vocational  education  and  training  that  are  offered  through  multiple  channels,  and  focuses  largely  on  programs  at  the  secondary  and  post‐secondary  levels.  The  SABER‐WfD  tool was used in Armenia for the first time.   The tool is based on an analytical framework that  identifies three functional dimensions of WfD policies  and institutions:  (1) Strategic framework, which refers to the praxis of  advocacy,  partnership,  and  coordination  in  relation to the objective of aligning WfD in critical  Source: Tan et al. 2013.  areas to priorities for national development;  (2) System  oversight,  which  refers  to  the  Information for the analysis is gathered using a structured  arrangements  governing  funding,  quality  SABER‐WfD  Data  Collection  Instrument,  which  was  assurance,  and  learning  pathways  that  shape  the  designed  to  collect,  to  the  extent  possible,  facts  rather  incentives  and  information  signals  affecting  the  than  opinions  about  WfD  policies  and  institutions.  The  choices  of  individuals,  employers,  training  Data  Collection  Instrument  defines  three  functional  providers, and other stakeholders; and  dimensions,  nine  policy  goals,  and  56  system  topics.  For  (3) Service  delivery,  which  refers  to  the  diversity,  each topic, it poses a set of multiple choice questions that  organization,  and  management  of  training  are  answered  based  on  documentary  evidence  and  provision,  both  state  and  non‐state,  that  delivers  interviews  with  knowledgeable  informants.  The  answers  results  on  the  ground  by  enabling  individuals  to  allow each topic to be scored on a four‐point scale against  acquire market‐ and job‐relevant skills.  standardized  rubrics  based  on  available  knowledge  on  Taken together, examining these three dimensions allows  global  good  practice  (See  Figure  2).  Topic  scores  are  averaged  to  produce  Policy  Goal  scores,  which  are  then  for  a  systematic  analysis  of  the  functioning  of  a  WfD  aggregated  into  Dimension  scores.  The  results  are  system  as  a  whole.  The  focus  in  the  SABER‐WfD  framework is on the institutional structures and practices                                                               3  For details on SABER, see http://www.worldbank.org/education/saber.       SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   5  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    finalized  following  validation  by  the  relevant  national  counterparts, including the informants themselves.   Figure 2. SABER‐WfD Scoring Rubrics Source: Tan et al. 2013.  The rest of this report summarizes the key findings of the  SABER‐WfD  assessment  and  also  presents  the  detailed  results for each of the three functional dimensions. To put  the  results  into  context,  the  report  begins  below  with  a  brief profile of the country’s socioeconomic makeup.  The  collection  of  data  using  the  SABER‐WfD  instrument  was  led  by  a  principal  investigator  and  co‐principal  investigator.  The  sources  for  the  SABER‐WfD  study  include  the  documentary  evidence  as  well  as  interviews  with  key  informants  including  stakeholder  and  provider  representatives.        SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   6  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    2. Country Context   under working age has declined from 30.3 percent to  20.2 percent, while the share of the population above  Economic Trends working age has increased from 6 percent to 10.3    percent5.   Armenia’s  transition  from  a  centrally  planned  to  a  The  liberalization  of  Armenia’s  economy  in  1990‐91  and  market‐oriented  economic  system  formally  began  in  the adoption of the first Employment Act in 1992 laid the  1991.  From  1995  to  2001  the  Armenian  economy  grew  foundations  that  formed  the  labor  market.  Employment  by  an  average  of  6  percent  annually,  and  from  2002  to  in  Armenia  steadily  declined  between  1991  and  2004  2007  it  registered  double‐digit  rates  of  annual  growth  (from  1.672  million  to  1.082  million  persons)  as  a  result  (see Figure 3). Due to the global economic crisis, in 2008  of  the  economic  transition.  The  economic  growth  the  economy  slowed  down,  registering  6.8  percent  between  2003  and  2008  also  could  not  support  an  growth,  and  in  2009  it  suffered  a  deep  decline  (‐14.4  adequate  increase  in  employment,  since  the  growth  in  percent).  The  recent  economic  indicators  point  to  a  the  newly  formed  economic  sectors  was  assured  mainly  moderate  economic  recovery,  with  GDP  growth  of  2.2  as  a  result  of  higher  productivity,  and  consequently  percent in 2010 and 4.7 percent in 2011.  higher  incomes  from  employment.6  One  of  the  major  The most productive sectors in Armenia are a few export‐ reasons  for  this  economic  growth  without  increased  oriented  industries,  such  as  mining,  as  well  as  sectors  employment  was  the  absence  of  adequate  coordinated  with  a  high  presence  of  foreign  ownership,  such  as  the  policies  aimed  at  increasing  jobs.  In  Armenia’s  current  financial sector. Currently the top three most productive  strategic  program,  employment  growth  and  the  sectors—financial  intermediation,  mining,  and  development  of  human  capital  are  recognized  as  key  construction—account  for  just  9  percent  of  the  total  priorities, and the program highlights  activities aimed at  employment  in  the  country.  By  contrast,  exactly  half  of  the creation of quality, well‐paid jobs.   the labor force is concentrated in the three sectors with  Table 1. Share of Employed, Unemployed and Economically  the lowest productivity levels: food and accommodation  Non‐Active Population in the Working‐age Population, 2001‐ services, agriculture, and education.4   11 (percent, based on LFS data)  Figure 3. Armenia: Real GDP Growth (%, year over year)    2008  2009  2010  2011  20 Employed 49.8 48.1  49.6 51.4 7.2 10 Unemployed 9.7 11.1  11.6 11.6 Economically 0 40.5  40.8  38.8  37.0  1991 1994 1997 2000 2003 2006 2009 2012 non‐active   ‐10 Source: Armenia, National Statistical Service, “Labor Market in the Republic  ‐14.4 ‐20 of Armenia, 2012” (www.armstat.am). Note: LFS = Labor Force Survey   ‐30   ‐40 ‐41.8 Due to transitional changes, employment in all sectors of  ‐50   economy  has  declined  except  in  agriculture.7  The  greatest  change  since  transition  has  been  the  shift  from  Employment stable  wages  and  salaried  jobs  to  casual  and  less‐formal  As of 2011, Armenia’s population was 2.977 million.  jobs and self‐employment. The share of self‐employed in  Between 1991 and 2013, the share of the population  2011 comprised 29.8 percent, the vast majority of which                                                               4 growth continues, one challenge for the education and training system will   Economy and Values (EV) Research Center and EV Consulting, “National  be to ensure that emerging skills demands are met.  Competitiveness Report of Armenia: Agenda for Upgrading Management  7  Land reform initiated in 1991 resulted in the emergence of subsistence  Practices” (2011‐12), p. 14.  agriculture, which absorbed 23.3 percent of labor employed in the economy  5  Note that the working‐age population is defined as people ages 15 to 64.    in 1991 (compared to 17.7 percent in 1990). Although the ratio of employed  6  While economic growth has failed to have a positive net effect on job  in subsistence agriculture starting mid‐2000s showed a declining trend, it was  creation so far, sustained market reforms can pay off in terms of greater job  still as high as 38.9 percent in 2011.     creation and increased productivity (Arias and Sánchez‐Páramo, 2014). As     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   7  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    (80  percent8)  were  employed  in  subsistence  agriculture.  public  spending  on  education  has  led  to  a  deterioration  Although the share of labor resources with tertiary, post‐ of  the  quality,  relevance,  and  efficiency  of  education  graduate,  secondary  specialized,  or  incomplete  tertiary  services.  Despite  this  fact,  the  general  level  of  education  was  high  in  Armenia  at  49.6  percent,  53.3  educational  attainment,  particularly  among  labor  percent  of  this  group  was  unemployed.  Of  those  who  resources  (both  the  economically  active  and  non‐active  were unemployed, 40.2 percent had vocational or upper  population)  remains  high,  as  suggested  by  the  LFS  data  secondary education.9   below (see Figure 4).   Despite  high  levels  of  education,  employers  find  it  Reforms that were undertaken in Armenia in the field of  difficult  to  fill  job  vacancies  due  to  a  lack  of  adequately  education  mainly  concerned  general  and  higher  skilled  candidates.    Results  from  a  recent  World  Bank  education,  giving  little  attention  to  technical  and  STEP  skills  measurement  employer  and  household  vocational  education  and  training  (TVET).  Only  in  recent  survey  shows  the  employers  are  able  differentiate  years  have  a  number  of  documents  been  adopted  that  between individuals’ education and the actual skills, and  focus  on  the  development  of  national  TVET  with  regard  that  a  candidates  possessed  of  a  variety  of  skills  can  to  Initial  TVET  (ITVET),  lifelong  learning,  and  social  command  a  premium  on  the  labor  market.10  Results  partnership.   show  that  higher  cognitive,  technical  and  socio‐ The  educational  attainment  of  the  population  reveals  a  emotional  increase  the  probability  of  several  desirable  constant  share  of  vocational  and  secondary  specialized  labor  market  outcomes  including  being  employed  and  education  of  about  25  percent.  Compared  to  general  earnings.  The same survey indicates that employers see  education (43.9 percent in 2010), the participation in VET  the technical and vocational education system as part of  is low, as its attractiveness did not change significantly.   the  skills  problem.  Roughly  two  out  of  three  employers  feel that technical and vocational training does not meet  Education  system.  The  formal  education  system  there  skills  needs.11  Employers’  dissatisfaction  is  most  comprises  four  years  of  primary  schooling,  followed  by  pronounced with respect to practical skills. Over three in  middle school, adding up to five years of lower secondary  four report that technical and vocational education do an  education.  These  two  levels  comprise  general  basic  inadequate job of instilling these skills.   education  in  Armenia,  which  is  followed  by  three  years  of upper secondary education (high school) or of primary  The youth unemployment rate is high, at 39.2 percent in  vocational (craftsmanship) education.    2011,  according  to  the  Labor  Force  Survey  (LFS).  Taken  together, these extremely high unemployment rates and  The VET system is characterized by two different  unemployment  duration  (about  one‐fourth  of  pathways:   unemployed  were  looking  for  jobs  for  more  than  four    years) and the high share of the employed in subsistence  1. Preliminary VET schooling, which culminates  and informal jobs raise questions about the sustainability  in  a  craftsman  qualification.  This  may  start  of  the  country’s  economic  performance.  They  also  raise  after nine years of general basic/compulsory  questions as to whether Armenia can realize its vision of  or  secondary  (12  years)  education,  and  the  emerging  as  a  competitive,  knowledge‐based,  and  skill‐ duration  may  be  from  six  months  to  three  intensive economy.  years.  2. Middle  vocational  education  (colleges),  Supply of Skills which  prepares  middle  vocational  Education.  Since  independence,  the  literacy  rates  in  specialists.  This  may  start  after  compulsory  Armenia  have  been  as  high  as  nearly  99  percent.  general  or  secondary  education,  with  a  However, the transition period has had a negative impact  duration  of  two  to  five  years  to  be  qualified  on  the  education  system.  In  particular,  the  reduction  of  as a “specialist.”                                                                8 11   Armenia, National Statistical Service, “Labor Market in the Republic of  The general education system enjoys slightly more esteem, but not by  Armenia, 2012” (www.armstat.am).     much. A little fewer than half of firms surveyed felt that the general  9  Ibid.  education system met their skills needs.  10  Valerio, et. al., Armenia Skills toward Employment and Productivity (STEP)    Survey Findings (Urban Areas), (2015). Survey included urban firms only.     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   8  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014      Both  routes  offer  vocational  qualification  (access  to  the  labor market) and opportunities for a secondary general  diploma  (Matura),  and  therefore  provide  the  option  to  pursue higher education (see Figure 8).    Preliminary professional education is offered by state  institutions. At this level, TVET professions related to  the spheres of services, trade, and the food industry are  the most popular ones.  Middle  level  professional  education  also  is  provided  by  state  institutions.  Private  colleges  are  not  allowed  to  issue  “state  model”  diplomas,  however,  so  the  number  of such colleges has decreased in recent years.  For  students  entering  craftsman  school  or  college  after  completing  compulsory  general  education  (grades  1  to  9), preliminary and middle TVET offer both the vocational  qualification and a secondary general diploma (Matura),  and  therefore  provide  the  option  to  pursue  higher  education.  As for continuing education, a number of initiatives with  regard  to  continuing  technical  vocational  and  education  training  programs  have  been  proposed  by  outside  donors  and  have  been  welcomed  by  the  national  government,  but  in  practice  little  progress  has  been  made  in  this  area.  As  a  result,  this  dimension  of  TVET  is  developing  rather  slowly  and  no  particular  structure  is  assigned to it.  Figure 4. Composition of Labor Resources by Education,  2011 (percent of total)         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   9  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    3. Overview of Findings and Implications  mentioned  above,  in  Armenia  it  is  assessed  to  be  at  the  Emerging level, with a score for this dimension of 2.1 (out   This  chapter  highlights  findings  from  the  assessment  of  of 4). This finding suggests that while political support for  Armenia’s  workforce  development  (WfD)  system  based  WfD as an asset for economic progress is strong, the roles  on  the  SABER‐WfD  analytical  framework  and  tool.  The  and  responsibilities  of  key  stakeholders  in  WfD  remain  focus  is  on  policies,  institutions,  and  practices  in  three  fragmented,  and  the  influence  of  businesses  and  important  functional  dimensions  of  policymaking  and  industries in shaping and implementing WfD priorities is  implementation:  strategic  framework,  system  oversight,  modest.   and  service  delivery.  Because  these  aspects  collectively  create the operational environment in which individuals,  System  Oversight.  System  oversight  refers  to  the  firms,  and  state  and  non‐state  training  providers  make  standards  and  quality  assurance  that  guide  the  decisions with regard to training, they exert an important  functioning of the system. For this dimension, Armenia’s  influence  on  observed  outcomes  in  skills  development.  score  is  1.9,  which  falls  at  the  low  end  of  the  Emerging  Strong  systems  of  WfD  have  institutionalized  processes  level  of  development.  The  results  revealed  that  and  practices  for  reaching  agreement  on  priorities,  for  competency‐based  testing  and  certification  await  collaboration  and  coordination,  and  for  generating  implementation,  arrangements  for  institutional  routine feedback that sustain continuous innovation and  accreditation  are  still  being  formulated,  and  measures  improvement.  By  contrast,  weak  systems  are  for  articulation  among  training  programs  need  to  be  characterized  by  fragmentation,  duplication  of  effort,  further  improved.  Funding  is  also  an  issue:  Government  and limited learning from experience.  funding is modest; there is no strong linkage between the  allocation  of  funds  to  institutions  and  the  institutions’  The  SABER‐WfD  assessment  results  summarized  below  performance; and the funding of educational institutions  provides a baseline for understanding the current status  has generally not been supplemented by other sources.   of  the  WfD  system  in  Armenia  as  well  as  a  basis  for  discussing  ideas  on  how  best  to  strengthen  it  in  the  Service Delivery. Service delivery refers to the set‐up for  coming years.    training  provision  that  equips  individuals  with  market‐  and  job‐relevant  skills.  Armenia’s  score  for  this  Overview of the SABER‐WfD Scores dimension  is  2.3,  meaning  that  the  service  delivery  is  a  Figure  5  on  the  next  page  shows  the  overall  results  for  bit  above  the  Emerging  level  of  development.  A  key  Armenia  in  the  three  functional  dimensions  of  the  finding  in  this  dimension  is  that  although  formally  all  SABER‐WfD framework.   stakeholders  have  influence  over  training  curricula,  in  a  large  number  of  cases  non‐state  stakeholders’  The  score  for  each  functional  dimension  is  an  involvement  is  limited.  Private  training  providers  are  aggregation of the scores for the underlying policy goals  allowed  to  operate  within  the  existing  legal  framework  associated with it.    quite freely, but they have almost no incentives to meet  The  strategic  framework,  system  oversight,  and  service  quality  standards,  and  a  culture  of  monitoring  and  delivery  dimensions  are  all  rated  at  an  Emerging  level.  evaluation  is  not  well  developed.  While  service  delivery  The detailed results will show that although Armenia has  scores  relatively  well  compared  to  the  other  two  appropriate  policies  and  institutions  for  WfD  and  there  dimensions  at  this  time,  given  the  nature  of  the  has  been  some  success  when  it  comes  to  policy  challenges  continued  improvement  in  service  delivery  conceptualization  and  implementation,  the  task  of  will  likely  be  difficult  to  achieve  without  marked  putting  effective  and  responsive  institutions  into  place  improvement  in  linking  WfD  to  broader  socioeconomic  has  been  much  less  successful  across  all  three  goals and strengthening of the arrangements for funding  dimensions.  and quality assurance.   Strategic  Framework.  The  strategic  framework    dimension  is  concerned  with  setting  the  direction  and  the  overall  authorizing  environment  for  WfD.  As     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   10  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Figure 5. Armenia: Benchmarking Results  To  achieve  these  goals,  not  only  do  well‐designed  policies need to be in  place, but these  policies also  have  to be translated into actions.  Dimension Policy Goal By  systematically  documenting  existing  policies,  1. Direction Framework institutions,  and  practices,  this  report  provides  a  Strategic 2. Demand‐led foundation  for  identifying  policy  and  institutional  gaps  2.1 and  moving  forward  towards  actions  for  strengthening  3. Coordination Armenia’s  workforce.  The  results  indicate  areas  of  particular  system  strengths,  which  could  be  used  as  platforms  for  wider  actions,  as  well  as  weaknesses  that  4. Funding need  to  be  overcome  for  a  better‐functioning  WfD  Oversight System system. In particular, the current assessment highlights a  5. Standards 1.9 number  of  areas  that  may  provide  a  starting  point  for  6. Pathways dialogue  around  strengthening  Armenia’s  WfD  policies  and institutions.   7. Excellence The  recommendations  here  are  not  listed  based  on  Delivery Service priority, but rather linked to each policy dimension in the  8. Relevance SABER‐WfD  framework.  In  the  end,  the  prioritization  of  2.3 actions  will  be  the  result  of  an  on‐going  dialogue  and  9. Accountability assessment by policymakers.  1 2 3 4 On  Strategic  Framework.  A  strong  strategic  framework    for  WfD  requires  visible  leadership  and  advocacy  that  is  driven by an understanding of, and conviction about, the  Source: Authors’ analysis based on SABER‐WfD data  role  and  nature  of  WfD  in  national  development.  It  is  critical  to  identify  strategic  priorities  and  to  mobilize  Note: Key to Scoring: 1 = Latent; 2 = Emerging; 3 = Established; 4 = Advanced;  see Figure 2 for definitions.    collaborative  effort  to  overcome  challenges.  Therefore,    critical  efforts  are  required  to  strengthen  cooperation  among  all  stakeholders.  Although  in  recent  years  some  Policy Implications of Findings positive  developments  were  registered  at  the  strategic  governance  level  in  the  identification  of  primary  goals,  The  findings  presented  in  this  report  reinforce  the  targets,  and  priorities,  well‐coordinated  policy  actions  government’s  recent  identification  of  priority  issues  it  is  for improving the strategic framework of WfD need to be  seeking to address. Armenia’s Development Strategy for  considered further.  2012‐2015,  Employment  Strategy  for  2013‐2018,  and    Strategy  of  National  Security  all  highlight  target  goals  Recommendation 1: Strong political leadership is  that include the following:   necessary, and it needs to be backed by an apex‐  To  ensure  a  competitive  and  better‐quality  level  WfD  body  that  can  coordinate  the  design  education system,   and implementation of strategic WfD initiatives.  With the wide range of stakeholders in the area of WfD,   To  ensure  a  sustainable  and  continued  strong leadership is essential to ensure the coherence of  improvement of labor force competitiveness,   policies  and  effectiveness  of  program  implementation.   To  mitigate  the  imbalance  between  the  labor  There  is  therefore  a  critical  role  for  an  apex‐level  body  force supply and demand, and  with  a  legally  defined  mandate  to  coordinate  the  implementation  of  key  priorities.  This  apex‐level  body   To create job opportunities for young people and  should be able to connect promote strategic cooperation  employment  opportunities  for  disadvantaged  among  businesses,  relevant  government  agencies,  groups of the population.   educational  and  training  institutions  and  civil  society.     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   11  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    One  important  consideration  is  promoting  a  demand‐ Funding  arrangements  (how  money  is  mobilized,  driven  approach  to  WfD  led  by  industry  and  the  private  allocated,  and  channeled)  are  critical  in  shaping  sector  generally.  The  time  lag  between  labor  market  incentives  and  consequently  the  decisions  made  by  signals  and  actual  employers’  needs  requires  stronger  individuals,  training  providers,  and  employers.  In  intervention  from  different  labor  market  players,  Armenia,  the  WfD  system  relies  on  limited  resources,  particularly  from  employers’  organizations,  as  well  as  mainly  from  the  state.  There  are  no  explicit  criteria  to  better  communication  and  cooperation  among  all  social  encourage performance or efficiency in spending. In fact,  partners  and  the  government  agencies  concerned.  the  current  system  often  promotes  inefficiencies  in  Therefore, the partnership with industry and the private  allocation  and  inequalities  among  training  providers.  sector is key to the progress of the WfD agenda.   Funding  principles  are  not  tied  to  performance,  which  results  in  few  investments  in  innovation  for  service  The  appropriate  institutional  arrangement  for  this  delivery.    coordination  function  is  a  subject  that  requires  more  study.  One  possible  option  is  strengthening  and  Based  on  the  assessment,  the  following  could  be  expanding  the  National  Council  for  VET  Development  considered  in  terms  of  improving  system  financing:  (i)  (NCVD)’s roles and mandates. Together with the National  increasing  overall  public  funding  allocated  to  WfD,  but  Center  for  VET  Development  (NCVETD),  various  sectoral  the  increased  funding  nevertheless  needs  to  be  utilized  committees  for  educational  and  training  standards,  and  in  a  more  effective  way,  particularly  with  regard  to  boards  of  vocational  education  institutions,  NCVD  could  further  leveraging  private  financing;  (ii)  introducing  assume  a  larger  role  in  coordinating  WfD  strategy  performance‐based  funding  to  training  institutions  for  implementation  at  different  levels.  However,  the  better  training  efficiency  and  effectiveness,  particularly  capacity of NCVD needs to be much strengthened in the  as  measured  by  graduates’  job  placement;  (iii)  building  areas  of  carrying  out  comprehensive  assessments  of  appropriate  capacity  into  training  institutions  so  that  national  economic  prospects;  identifying  their  their  autonomy,  as  currently  guaranteed  by  the  legal  implications  for  skills  supply  and  demand;  and  aligning  framework, goes hand in hand with accountability, which  education and training supply, labor market policies, and  is  a  prerequisite  for  performance‐based  funding  to  be  broad  economic  policies.  To  play  the  apex‐level  role  relevant and  to enable  them to become more flexible in  effectively  also  requires  NCVD  to  be  able  to  collaborate  responding  to  local  market  needs;  (iv)  introducing  with  a  wide  range  of  stakeholders,  prepare  an  agreed  competitive  funding  into  the  system,  with  both  public  implementation  plan  of  needed  reforms,  and  oversee  and  private  training  institutions  eligible,  as  a  driver  for  and  support  each  implementation  agency  that  is  greater incentives for better quality and innovation; and  involved.    (v) promoting innovation and scaling‐up of best practices  at  the  sector  level  through  strong  monitoring  and  On  System  Oversight.  The  main  objectives  of  oversight  evaluation mechanisms across all programs.  include  the  facilitation  of  efficient  and  effective  skills  acquisition  by individuals  to improve their employability  Recommendation  3:  Strengthen  and  expand  and  productivity  and  the  ability  of  employers  to  meet  current  efforts  to  put  in  place  quality  assurance  their demand for skilled workers in a timely manner. The  system  (accreditation,  standardization,  and  goal  is  to  minimize  mismatches  in  skills  supply  and  certification) that is uniformly enforced.  demand,  thereby  enhancing  the  contribution  of  WfD  to  Creating  reliable  standards  for  quality  in  service  economic growth and social progress.    provision  and  skills  acquisition  is  an  integral  part  of  having  efficient  and  effective  system  oversight.  In  2011,  Based  on  the  diagnosis,  system  oversight  is  the  weakest  the  government  adopted  the  “Armenian  Qualification  element  in  Armenia’s  WfD  system  and  thus  requires  Framework,”  which  facilitates  a  comparison  of  national  particular attention.   qualifications  with  other  European  frameworks.  The  Recommendation  2:  The  government  should  level descriptors of the national qualification framework  pilot  performance‐based  funding  mechanisms  also  form  the  basis  for  the  development  of  state  that  ensures  diversification  in  resources  and  educational/training  standards.  The  existing  promotes non‐state investments in TVET.  educational/training  programs  are  being  reviewed  in  accordance  with  the  descriptors.  Since  2009,  about  120     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   12  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    competency‐based  state  educational/training  standards  the  longer  term,  following  the  economic  growth  and  and  modular  curricula  have  been  developed  for  TVET,  higher demand for high‐order skills.   which  were  reviewed  by  the  sectoral  committees  and  In Armenia, despite the adequate number of institutions  approved  by  the  Ministry  of  Education  and  Science  and programs covering diverse disciplines and levels, the  (MoES).  About  100  standards  have  already  been  system  provides  limited  opportunities  for  progression  introduced to educational and training institutions.   within  vertical  pathways.  This  is  due  to  the  fact  that  the  Regulations  of  the  State  Accreditation  of  Educational  perception  of  VET  was  and  still  is  of  a  second‐chance  Institutions  providing  professional  education  programs  education,  one  for  less‐privileged  pupils  who  had  no  and  their  professions  have  also  been  adopted  by  the  alternatives  to  this  “dead  end”  education,  one  that  national  government.  The  National  Center  for  would  not  lead  to  university  or  to  attractive  jobs  in  the  Professional  Education  Quality  Assurance  Foundation  labor  market.  Even  though  there  are  no  policy  barriers  (ANQA) is an external body monitoring quality assurance  for  graduates  of  preliminary  and  middle  VET  to  enter  in  higher  education.  Following  European  standards  and  tertiary education, in practice it is difficult for them to get  guidelines,  ANQA  compiled  a  Strategic  Plan  (for  the  “back  on  track”  once  the  focus  of  learning  has  shifted  transitional  period  2011‐15)  that  aims  to  establish  a  toward  vocational  training  under  the  VET  curriculum.  quality assessment culture at the tertiary level. However,  Without  additional  private  tutoring  and  extra  learning  ANQA  only  issues  accreditation  to  tertiary  institutions,  outside  the  schools,  they  have  little  chance  to  pass  the  not specific programs. In addition, ANQA does not cover  tertiary  education  entrance  exams.  Students  coming  quality  assurance  for  TVET  institutions  below  tertiary  from low‐income families are particularly disadvantaged,  level.    since their families would not be able to afford the extra  tutoring required.   Going  forward,  the  following  measures  should  be  considered  by  policymakers:    (i)  At  the  tertiary  level,  There  is  a  general  policy  framework  in  place  to  guide  allocating  adequate  resources  to  and  strengthening  further  development  in  this  area.  The  key  national  ANQA  to  fulfill  its  role  as  a  quality  assurance  body,  and  policies  and  strategies  are  all  designed  to  contribute  to  further  fostering  a  closer  link  between  institution  diversifying  the  pathways  for  skills  acquisition  in  accreditation  and  institution’s  contribution  to  the  labor  Armenia.  These  include  “VET  System  2012‐2016  Reform  market  and  skills;  (ii)  charting  out  a  roadmap  for  Program  with  Action  Plan  and  Implementation  developing  a  quality  assurance  system  for  TVET  Timeline”;  “Concept  of  Lifelong  Learning  in  Armenia”  institutions and programs below the tertiary level and for  adopted in October 2009; “Concept on Social Partnership  priority  professional  programs  at  the  tertiary  level;  (iii)  in  the  Field  of  Preliminary  Professional  (craftsmanship)  piloting  skills  assessment  and  certification  protocols  to  and  Middle  Professional  Education”  adopted  in  May  grant  competency‐based  qualifications  within  and  2009;  and  “Memorandum  of  Understanding  on  beyond  the  existing  formal  pathways,  particularly  for  Cooperation  in  the  field  of  VET,”  signed  in  September  selected  occupations  and  skills  with  high  labor  market  2009  by  MoES,  the  Republican  Union  of  Employers  of  demand.  Armenia,  and  the  RA  Chamber  of  Commerce  and  Industry.  Recommendation  4:  Increase  pathways  from  VET to higher education.   Looking ahead, policies should be refined to address the  following  needs:  (i)  Strengthening  the  learning  of  The  underlying  aim  for  diversified  and  flexible  pathways  foundation skills at the preliminary and middle‐level VET  is  to  keep  the  skills  of  the  workforce  up  to  date  and  schools, which will likely need related curriculum reform  adapted  to  changing  economic  conditions  and  at  these  levels  giving  added  emphasis  on  core  subjects;  opportunities.  Given  that  labor  market  conditions  are  (ii)  assessing  the  feasibility,  together  with  the  costs  of  always evolving, it is important that all available options  benefits,  of  postponing  tracking  into  vocational  for  acquiring  relevant  skills,  particularly  those  funded  education  and  training  after  12  years  of  broad‐based  publicly,  remain  responsive  and  sensitive  to  emerging  general  education;  and  (iii)  improving  the  assessment  trends  and  opportunities  for  employment.  The  demand  and  introducing  recognition  of  prior  learning  within  the  for  skills  upgrading  is  particularly  going  to  dominate  in     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   13  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    qualifications  framework,  which  can  be  piloted  in  vis‐à‐vis  labor  market  demand  more  carefully  selected areas.  ensured.   On  Service  Delivery.  This  functional  dimension  of  policy  Currently,  a  large  share  of  curriculum  and  training  choices  shifts  our  focus  from  the  strategic  and  systemic  programs has been developed despite the absence of an  to  the  operational.  Service  delivery  addresses  adequate  level  of  input  from  industry  and  the  private  implementation challenges in WfD that stand between a  sector. Linkages between industry and training providers  country’s  ambition  for  WfD  to  support  economic  exist,  but  they  are  largely  sporadic  and  have  yet  to  be  development  and  what  materializes  in  reality.  Training  institutionalized  across  the  system  as  whole.  The  large  providers,  both  state  and  non‐state,  are  the  main  potential  of  training  provision  by  the  private  sector  channels  through  which  the  country’s  strategic  and  partners has not been fully tapped.  systemic  policies  are  translated  into  operational  The  assessment  thus  highlights  the  following  applications.    recommended  actions:  (i)  introducing  incentives  to  Recommendation  5:  Increase  provider  attract  private  sector  investments  in  the  delivery  of  accountability  for  results  through  robust  training  (financial  and/or  non‐financial),  through  either  monitoring and evaluation.  pre‐employment  training  or  on‐the‐job  training;  (ii)  exploring  public‐private  partnership  potentials  in  Training providers (both state and non‐state) in Armenia  delivering  training,  which  could  be  through  government  are  regulated,  but  there  is  a  gap  in  terms  of  contracting  of  private  training  providers  that  have  track  accountability for results at the WfD sector level to meet  records  of  effectiveness  and  efficiency  or  have  training  quality standards. This in  part stems from: (i) limited‐to‐ expertise in specific skill domains or industry knowledge;  nearly‐nonexistent  monitoring  and  evaluation  of  the  and (iii) linking to innovative financing instruments, such  delivery  of  WfD  services;  (ii)  a  lack  of  evidence‐based  as  competitive  grants  for  training,  in  order  to  introduce  assessments;  and  (iii)  a  weak  information  base  for  competition  that  would  incentivize  innovation  in  communicating labor market needs.   delivering  high‐quality  programs  relevant  to  the  labor  Therefore,  in  this  area  the  following  is  suggested:  (i)  in  market.  The  competition  should  be  open  to  both  public  selected  and  strategic  sectors/industries,  enhancing  the  and private providers.  monitoring and evaluation system at the sector level and  linking  this  to  accreditation  and  certification  of  training    providers  and  programs,  with  one  central  agency  –  possibly  MoES  –  serving  as  a  clearinghouse  of  all  information; (ii) introducing and enforcing accountability  measures for both state and non‐state training providers      by  setting  clear  performance  indicators  to  be  used  in  accreditation  and  quality  assurance  processes;  (iii)  instituting  a  graduate  tracking  database,  which  can  be  piloted  in  selected  institutions,  and  in  the  longer  term  creating  a  centralized  database  for  continuous  system  monitoring and improvement; (iv) building a strong labor  market  information  system  and  career  counseling  services  based  on  labor  market  information.  The  labor  market  information  system  can  be  tailored  to  specific  users—students  and  parents,  job  seekers,  employers,  policymakers,  education  and  training  institutions—and  ultimately  to  address  mismatches  in  skills  supply  and  demand.   Recommendation  6:  Public‐private  partnerships  should be broadened and relevance of programs     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   14  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    4. Aligning Workforce Development to Key  modernization  of  the  governance  system,  including  improving  the  effectiveness  of  state  governance  and  Economic and Social Priorities   ensuring accelerated growth of the resource envelope at  Workforce development (WfD) is not an end in itself, but  the disposal of the state.  an  input  toward  achieving  broader  objectives:  boosting  The  government’s  Export‐Led  Industrial  Policy  employability and productivity, relieving skill constraints  Framework  reflects  the  government’s  active  industrial  on  business  growth  and  development,  and  advancing  policy, which is intended to support the expansion of the  overall  economic  growth  and  social  well  being.  This  exportable  sector  of  the  economy  by  identifying  and  chapter  briefly  introduces  Armenia’s  socioeconomic  utilizing  export  potential.  The  guiding  vision  for  the  aspirations,  priorities,  and  reforms,  which  are  relevant  industrial  policy  is  to  turn  Armenia  into  a  country  for contextualizing the next section’s presentation of the  producing  high‐value  and  knowledge‐intensive  goods  SABER‐WfD ratings. It summarizes the key features of the  and  services  with  creative  human  capital  at  its  core.  environment  in  which  apex‐level  strategy  is  made:  (i)  Achieving  this  vision  requires  a  phased  approach  that  strategic  priorities  for  economic  development;  (ii)  entails  a  gradual  transition  from  resource‐intensive  national WfD priorities; and (iii) key laws that define the  production to capacity‐ and skills‐intensive production— procedures  and  context  for  setting  economic  and  WfD  and subsequently knowledge‐based production—to play  strategy.   a  dominant  role  in  the  long‐term  outlook.12  At  the  core  of creating such an economy is the challenge of matching  Strategic Socioeconomic Aspirations and employment, skills development, and WfD.   Priorities Lastly,  the  government’s  Employment  Strategy  (2013‐ The  current  stage  of  Armenia’s  socioeconomic  18)13  provides  the  country’s  vision  on  implementing  development  poses  a  set  of  complex  challenges  for  the  investment,  fiscal  and  monetary  policies,  education  country,  making  it  urgent  to  address  both  immediate  (including  higher  education),  vocational  training,  and  political  demands  and  institutional  and  structural  social  welfare  policies  through  the  lens  of  employment,  reforms  for  enabling  sustained  growth  and  with  a  vision  to  “reduce  the  gap  between  labor  market  macroeconomic  stability.  The  government  has  declared  and  educational  institutions  through  continuously  building  a  knowledge‐based  economy  as  its  long‐term  increasing  the  quality  of  education,  implementing  the  strategic objective, and it has adopted several policies to  national qualification framework, providing  opportunity  guide the achievement of this objective.   for and assuring the accessibility of lifelong learning, and  Most  notable  among  these  policies  is  the  Armenia  implementing  effective  career  guidance  services.”  Development  Strategy  (ADS),  2012–2025,  which  Policies  and  specific  measures  for  promoting  provides  a  vision  for  the  country’s  socioeconomic  and  employment  implemented  by  the  government  should  political development. The strategy defines the “increase  have clear procedures for effectiveness evaluation.  of  the  employment  through  creation  of  quality  and  high  Technical and Vocational Education and Training (TVET)  productivity  jobs  and  elimination  of  human  poverty  and  Reforms.  A  strong  education  sector  is  considered  to  be  assuring human development” as the main objectives. In  important  as  one  of  the  preconditions  for  the  country’s  order  to  achieve  the  mentioned  objectives,    the  ADS  sustainable  development  and  development  of  the  updated  the  government’s  2008    Sustainable  human  capital.  Thus,  the  development  of  this  sector  is  Development Program  strategy  paper,  which envisaged  one  of  the  development  priorities  of  the  country.  three  sets  of  priority  strategies:  (i)  economic  policy  for  Increasing  the  quality  and  effectiveness  of  education  at  ensuring  sustainable  and  accelerated  economic  growth;  all  levels  of  the  educational  system,  increasing  the  (ii)  active  social  and  income  policy  for  vulnerable  relevance of different levels to each other and matching  population  groups  (including  the  poor);  and  (iii)  them  to  international  standards,  and  ensuring                                                               12  Armenia, Ministry of Economy, “Republic of Armenia, Export‐Led Industrial  conventions and the recommendations of the European Social Charter  Policy Framework” (Yerevan: 2011), page 3.  Requirements of the EU European Neighborhood policy program (RA  13   The Employment Strategy was developed taking into account the RA  Employment Strategy, 2013‐2018, page 4). In addition, it refers to other  Constitution, the regulatory (legislative) framework of the sphere, as well as  country strategy papers where it is appropriate.   the International Labor Organization’s (ILO’s) employment related     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   15  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    affordable/accessible  education  for  all  groups  of  the  Council for VET Development (NCVD), a tripartite body to  population  are  all  priorities  for  the  development  of  the  drive  system  reform,  and  the  creation  of  the  National  sector. In order to achieve the mentioned goals, reforms  Center for VET Development (NCVETD), an instrument to  are implemented at all levels of education.  implement the decisions made by the NCVD.   By the end of the 1980s, the preliminary (craftsmanship)  SABER‐WfD Ratings on the Strategic and  middle  vocational  system  of  Armenia  had  lost  its  significance  due  to  the  socioeconomic  crisis  and  the  Framework absence  of  appropriate  legislative  and  normative  Based  on  data  collected  by  the  SABER‐WfD  instruments.  After the fall  of the Soviet  Union, Armenia,  questionnaire,  Armenia  receives  an  overall  rating  of  2.1  like  most  former  Soviet  countries,  faced  challenges  (Emerging)  for  the  Strategic  Framework  dimension  (see  related  to  the  emerging  private  sector  and  declining  Figure 6). This score is the  average of  the ratings for the  public sectors. The restructuring of the economy and the  underlying policy goals:    closing  down  of  large  state  enterprises  led  to  a  level  of  Policy  Goal  1:   Articulating  a  strategic  direction  unemployment  not  seen  before,  with  serious  for WfD   consequences  for  poverty  and  social  exclusion.  As  a  result,  vocational  and  technical  schools  saw  their  main  Policy  Goal  2:    Fostering  a  demand‐driven  clients  disappearing  from  the  market,  and  they  had  to  approach to WfD   rebuild  themselves  (their  teachers,  curricula,  and  Policy  Goal  3:    Strengthening  critical  pedagogical approach) to meet the new emerging needs  coordination  among  key  WfD  leaders  and  of the labor market.  stakeholders  Starting  in  1999,  by  adopting  the  Law  on  Education,  the  The  ratings  for  these  policy  goals  are  presented  and  government  undertook  broad  reforms  in  the  field  of  explained  below,  followed  by  a  reflection  on  their  education. These reforms mainly concerned general and  implications for policy dialogue.  higher  education,  giving  little  attention  to  TVET.  Only  in    recent  years  have  a  number  of  policies  have  been  adopted that focus on the development of national TVET  Figure  6.  SABER‐WfD  Ratings  of  the  Strategic  Framework  with  regard  to  Initial  TVET  (ITVET),  lifelong  learning,  and  Dimension  social partnership.     In  2004,  to  make  the  content  of  vocational  education  relevant  to  labor  market  requirements,  the  government  Strategic Framework Overall 2.1 approved  the  Preliminary  (Craftsmanship)  and  Middle  Vocational  Education  and  Training  Strategy,  which  has  served as a basis for implementing reforms in the sphere  1. Direction 2.5 of preliminary and middle vocational education.   2. Demand‐led 1.4 The  document  “Concept  on  Social  Partnership  in  the  Field  of  Preliminary  (Craftsmanship)  and  Middle  3. Coordination 2.3 Vocational Education in RA”  adopted by the Government  in  2008  identifies  the  following  priorities  for  Armenian  TVET:  (i)  optimize  TVET  financing  and  improve  TVET  1 2 3 4 Note: Key to Scoring:  1 = Latent; 2 = Emerging; 3 = Established; 4 = Advanced;  governance;  (ii)  introduce  competency‐based  TVET  see Figure 2 for definitions.    standards;  (iii)  increase  the  effectiveness  of  the  TVET  Source: Authors’ analysis based on SABER‐WfD data.   system  and  improve  educational  outcomes;  (iv)    modernize  quality  monitoring  mechanisms;  and  (v)  strengthen and institutionalize social partnership.     In  2008,  two  important  steps  were  taken  for  VET  governance:  namely,  the  establishment  of  the  National     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   16  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Policy Goal 1: Articulating a Strategic Direction for the  readiness  of  students  for  the  current  labor  market,  WfD. and  addressing  the  unmet  demand  for  skills  of  current,  Leaders play an important role in crystallizing a strategic  often non‐strategic industries.   vision for WfD that is appropriate to the country’s unique  There appears to be a consensus in Armenia that there is  circumstances  and  opportunities.  Their  advocacy  and  a  mismatch  between  supply  and  demand  for  qualified  commitment  attract  partnership  with  stakeholders  for  labor  and  that  there  is  little  up‐to‐date  information  on  the common good, build public support for key priorities  the actual demand. The National Competitiveness Report  in  WfD,  and  ensure  that  critical  issues  receive  due  Armenia 2010: Higher  Education Challenge  concluded in  attention  in  policy  dialogue.  Taking  these  ideas  into  its analysis that:   account, Policy Goal 1 assesses the extent to which apex‐ level  leaders  in  government  and  in  the  private  sector  What  is  needed  is  better  information  on  the  provide  sustained  advocacy  for  WfD  priorities  through  labor  market,  policies  that  promote  economic  institutionalized processes.   growth  and  labor  absorption,  and  more  academic counselors to advise on career choices  Armenia is rated at the Emerging (2.5) level on this policy  or  act  as  liaisons  between  industry  and  the  goal,  reflecting  the  fact  that  there  are  some  visible  institution.   champions  advocating  for  WfD  to  support  economic  development. Although the advocacy is on an ad‐hoc and  The  process  of  connecting  labor  market  supply  and  limited  basis,  nonetheless  WfD  champions  have  taken  demand,  businesses,  the  economy,  and  the  educational  specific  action  on  strategic  WfD  priorities  through  a  institutions  started  years  ago  and  is  still  underway.  The  range  of  interventions,  and  implementation  progress  is  government,  business  chambers  and  guilds,  and  VET  monitored, albeit through ad‐hoc reviews.  institutions  (schools,  colleges,  and  universities),  assisted  by  international  donors,  have  undertaken  numerous  The  prioritization  of  WfD  across  all  national  plans  initiatives  to  deal  with  the  challenge.  The  establishment  demonstrates  a  level  of  government  support  and  of  the  NCVETD  and  NCVD,  of  sectoral  committees  for  willingness  to  reform  WfD.  The  country’s  strategic  educational  standards,  and  of  boards  of  vocational  documents  identify  as  integral  to  national  security  and  education  institutions  that  serve  as  bodies  for  economic  and  social  development  the  following  goals:  coordinating  WfD  strategies  at  different  levels  –  these  enhancing  the  skills  and  competitiveness  of  the  labor  are all mechanisms that were created to pull the various  force, mitigating  the imbalance  between the labor force  elements  of  WfD  into  a  coherent  national  plan  aligned  supply and demand, creating job opportunities for young  with  the  country’s  economic  challenges  and  priorities.  people,  and  ensuring  employment  opportunities  for  However,  stronger  and  more  consistent  leadership  is  noncompetitive  groups  of  the  population.  These  goals  required  to  bring  efforts  of  multiple  national  and  are articulated in policy and planning documents such as  international  stakeholders  together,  mainstream  good  ADS,  Employment  Strategy,  Armenia  Export‐Led  practice  to  create  a  critical  mass  for  improvement,  and  Industrial  Policy  Framework,  Concept  on  the  make these mechanisms work to link WfD to the broader  Development  of  Preliminary  Professional  economic  development  goals  of  the  country.  Stronger  (craftsmanship) and Middle Professional Education in RA  leadership  is  also  needed  to  convert  ad  hoc  actions  with Action Plan for 2009‐2011, Adult Education Concept  focused  on  improving  areas  of  the  WfD  system  into  Paper  and  Strategy,  Concept  of  Lifelong  Learning  in  regular  actions  that  can  leverage  WfD  as  a  tool  for  Armenia  Education.  The  reforms  of  tertiary  educational  economic development.  programs  are  underway  and  aim  to  improve  the  quality  of vocational, higher, and continuing education, bringing  At  present  there  is  no  consensus  among  leaders  about  them in line with European standards.  how to achieve greater coherence among socioeconomic  goals  and  WfD.  Despite  the  existence  of  the  above‐ Despite the fact that the vision of WfD and advocates for  mentioned  strategic  documents,  the  efforts  of  those  WfD are there and the vision is reflected in key strategic  within  various  government  bodies  remain  fragmented,  documents,  there  is  a  disconnect  between  these  long‐ indicating  that  there  is  a  need  for  leaders  in  the  term  strategic  goals  and  the  current  vision  for  WfD,  government  to  provide  more  sustained  guidance  on  which  focuses  on  combating  unemployment,  improving  concrete  goals  for  WfD  and  how  different  agencies  can     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   17  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    harmonize  activities  in  pursuit  of  them.  In  addition,  implications.  Another  reason  could  be  the  weak  limited,  ad  hoc  advocacy  from  the  business  community  cooperation among stakeholders.  has not yet led to a comprehensive and widely supported  There  is  also  a  lack  of  consensus  among  apex‐level  strategy  for  leveraging  WfD  as  a  means  to  support  leaders  on  the  appropriate  policies  and,  crucially,  a  broader  economic  and  social  development  plans.  This  roadmap for their implementation. This is in part related  has  taken  place  partly  because  the  business  community  to  limited  industry  input  at  the  apex  level  and,  despite  (which  could  serve  as  influential  champions)  is  largely  limited  examples  of  productive  engagement,  the  failure  absent  in  advocating  for  a  strategic  vision  for  WfD.  of the business community as a whole to take a proactive  Although  institutional  mechanisms  have  been  created  approach to identify and address the emerging skills gap.   and  seem  to  be  functioning,  the  private  sector’s  involvement  in—and  thus  ownership  of—the  decisions  While clear roles and responsibilities are assigned by law  on WfD priorities is weak, sporadic, and only at the local  to  ministries  and  agencies  such  as  the  Ministry  of  and sectoral levels.   Education  and  Science  (MoES),  the  Ministry  of  Economy  (MoE), and the Ministry of Labor and Social Issues (MLSI)  Policy Goal 2: Articulating a Strategic Direction for with  regard  to  strategy  development  and  WfD. implementation,  Armenian  law  neither  assigns  Effective  advocacy  for  WfD  requires  credible  analogous  responsibilities  to  the  private  sector  nor  assessments  of  the  demand  for  skills,  engagement  of  contains  provisions  to  incentivize  skills  upgrading  by  employers  in  shaping  the  country’s  WfD  agenda,  and  employers.  Efforts  to  facilitate  more  robust  connections  incentives  for  employers  to  support  skills  development.  among businesses, those involved in economic planning,  Policy  Goal  2  incorporates  these  ideas  and  benchmarks  and  educational  institutions  have  been  on  the  the system according to the extent to which policies and  government’s  agenda  for  years,  but  measures  to  do  so  institutional  arrangements  are  in  place  to:  (i)  establish  have  been  ad  hoc  and  slow  moving.  Such  efforts  have  clarity  on  the  demand  for  skills  and  areas  of  critical  included  utilizing  new  and  upgraded  channels  to  link  constraint;  and  (ii)  engage  employers  in  setting  WfD  supply  and  demand  for  qualified  labor,  and  establishing  priorities and in enhancing skills‐upgrading for workers.  and strengthening relationships with institutions such as  career  centers,  the  NCVD,  sectoral  committees  for  Armenia  is  rated  at  the  Latent  (1.4)  level  on  this  policy  educational  standards,  boards  of  vocational  education  goal,  reflecting  the  fact  that  industry  is  not  involved  in  institutions,  and  training  and  setting  strategic  priorities  for  WfD  nor  does  the  competitiveness/innovation funds.  government take measures to include industry, either by  providing  means  to  engage  industry  in  the  strategy‐ Policy Goal 3: Strengthening Critical Coordination for making  process  or  by  encouraging  employers  to  take  an  Implementation.   active role in  training workers. Measures to identify  and  Ensuring  that  the  efforts  of  multiple  stakeholders  address  skills  constraints,  even  in  priority  sectors,  are  involved  in  WfD  are  aligned  with  the  country’s  key  also limited.   socioeconomic priorities is an important goal of strategic  Formal  assessments  of  Armenia’s  economic  prospects  coordination.  Such  coordination  typically  requires  and  their  implications  for  the  labor  market  are  done  leadership  at  a  sufficiently  high  level  to  overcome  periodically.  Occasional  studies  have  identified  the  gaps  barriers to cross‐sector or cross‐ministerial cooperation.  between  the  skills  and  knowledge  that  exist  and  those  Policy  Goal  3  examines  the  extent  to  which  policies  and  that are required, the training needs of the workforce in  institutional arrangements are in place to formalize roles  a particular sector of the economy, and the shortcomings  and  responsibilities  for  coordinated  action  on  strategic  of  the  educational  system  in  contrast  with  the  actual  priorities.  demand in the long term. However, the findings of those  Armenia is rated at the Emerging (2.3) level on this policy  studies  have  not  been  addressed  appropriately  or  in  a  goal,  meaning  that  the  coordination  of  government  timely  way.  One  reason  for  this  is  that  the  skills  and  entities in the pursuit of WfD strategies and programs is  knowledge  needs  assessments  are  occasional  and  are  weak.  Non‐governmental  WfD  stakeholders,  such  as  not  sufficient  to  provide  a  complete  picture  of  the  employers  and  trade  unions,  have  a  legally  defined  role  country’s  economic  prospects  and  economy‐wide  skills     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   18  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    and  responsibility.  Furthermore,  the  coordination  Despite the well‐established roles and responsibilities of  between  them  and  government  entities  occurs  through  WfD stakeholders and some formal mechanisms in place  ad‐hoc albeit institutionalized mechanisms, which at the  that bring WfD stakeholders together, there is still a lack  national level extends to WfD strategy.   of  coherence,  and  the  communication  and  interaction  remains weak.  The assessment suggests that each of the ministries and  agencies has a legally defined role and responsibility, and  Implications of the Findings there  are  almost  no  overlaps  in  the  mandates  of  the  The  relationship  between  education,  on  the  one  side,  entities  responsible  for  WfD.  The  involvement  of  all  and the economy, business, and the labor market, on the  parties  is  assured  by  the  existence  of  corresponding  other,  is  a  matter  of  debate  in  Armenia.  It  has  received  institutions  at  the  national  and  local  level.  The  NCVD,  constant  attention  both  from  the  government  and  from  created  in  2008,  is  the  main  institution  in  this  sphere;  it  employers,  who  underline  the  need  for  a  skilled  labor  is made up equally of governmental ministries (MLSI and  force  in  order  to  make  companies  competitive  in  the  MoES) and employers and trade unions. According to its  internal and external market.  The process of connecting  charter, the NCVD holds both regular (at least four times  labor  market  supply  and  demand,  businesses,  the  per  year)  and  ad‐hoc  meetings.  Direct  participation  by  economy,  and  the  educational  institutions  started  years  council  members  in  the  meetings/sessions  is  required.  ago,  when  the  government,  to  deal  with  the  above‐ Other  non‐government  stakeholders  (that  are  not  mentioned  challenges,  began  undertaking  numerous  members of the NCVD) do not have legally defined roles  initiatives.  and  responsibilities;  however,  they  have  some  non‐ formal engagement.  However,  the  findings  of  this  analysis  for  Dimension  1  reveal  a  number  of  challenges  yet  to  be  addressed.  The  document  “Concept  on  Social  Partnership  in  the  Although the country’s main strategic documents define  Field  of  Preliminary  (Craftsmanship)  and  Middle  the  “increase  of  the  employment  through  creation  of  Vocational Education in RA” presents the strategic issues  quality  and  high  productivity  jobs  and  elimination  of  regarding  the  development  of  social  partnership  in  the  human poverty and assuring human development” as the  sphere  of  preliminary  and  middle‐vocational  education,  main  objectives,  advocacy  and  dialogue  among  the  and  proposes  solutions  deriving  from  the  interests  of  all  champions  in  order  to  collaborate  on  the  WfD  policy  parties.  It  is  aimed  at  promoting  the  formation  of  a  agenda remains challenging.  tripartite  consensus  on  cooperation  between  the  government, employers, and trade unions as well as the     institutional  composition  of  social  partnership.  In  the  field  of  VET  it  defines  the  following  four  levels  of  social  partnership:  national,  local  (institutional),  sectoral,  and  regional.  On  the  national  level,  the  social  partnership  is  realized  within  the  framework  of  the  NCVD,  as  established by a 2008 decision of the prime minister.14   In order to ensure social partnership on the institutional  level, collegial governance bodies–VET governing boards  (VETGBs)–have been established in VET institutions.   Taking  into  consideration  the  relatively  small  territory  and limited resources of Armenia, structures (temporary  or  permanent  sectoral  or  regional  councils  or  committees) of social partnership have been established  on  sectoral  and  regional  levels,  but  only  to  tackle  issues  specific to the relevant sector or region.                                                               14  Armenia, Office of the Prime Minister, “Decision of the RA Prime‐Minister,  No. 1012‐A, 11 December 2008.”     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   19  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    5. Governing the System for Workforce  Development  (NCVETD)  was  established  as  a  part  of  the  National Institute for Education.  Development   The  National  Center  for  Professional  Education  Quality  Fostering efficient and  equitable funding of investments  Assurance was established in 2008, responsible for both  in  workforce  development  (WfD),  facilitating  effective  higher  and  vocational  education.  It  has  been  taking  the  skills  acquisition  by  individuals,  and  enabling  employers  first  steps  towards  the  definition  of  quality  assessment  to  meet  their  demand  for  skilled  workers  in  a  timely  standards and criteria.  manner are important functions of WfD authorities. The  In  2011  the  government  established  a  National  Training  overall objective is to minimize systemic impediments to  Fund with the objective of raising the competitiveness of  skills  acquisition  and  mismatches  in  skills  supply  and  individuals  in the labor market and reducing the level of  demand.  This  chapter  begins  with  a  brief  description  of  poverty  by  imparting  vocational  knowledge  and  other  how  the  WfD  system  in  Armenia  is  organized  and  working abilities and skills.  governed and provides a summary description of: (i) the  organizational  and  governance  structures  of  the  WfD  The  TVET  system  can  be  categorized  into  two  different  system  (i.e.,  the  main  ministerial  agencies  and  levels:  (i)  preliminary  (craftsmanship)  vocational  mandates);  and  (ii)  key  characteristics  of  WfD  funding  education,  which  has  a  duration  of  six  months  to  three  mechanisms.  It  begins  with  a  brief  overview  of  the  years  and  leads  to  a  Craftsman  qualification;  and  (ii)  institutional  landscape  for  governance  of  the  WfD  middle  vocational  education,  which  has  the  duration  of  system,  then  presents  the  detailed  SABER‐WfD  results,  two  to  five  years  and  leads  to  a  Specialist  qualification  and concludes with a discussion of the policy implications  (see  Figure  7).  Post‐completion  of  compulsory  general  of these results.  education (grades 1 to 9) students are offered the option    of  pursuing  higher  education  through  either  vocational  Overall Institutional Landscape15  training  or  pursuit  of  a  secondary  general  diploma.  Successful  middle‐level  TVET  graduates  can  then  The  Ministry  of  Education  and  Science  (MoES)  bears  proceed to a second year of higher education.  responsibility  for  the  overall  coordination  of  curricula  and learning outcomes for all types of education. Overall,  However,  resolutions  adopted  by  the  national  the  technical  and  vocational  education  and  training  government  rearranged  a  number  of  preliminary  (TVET)  system  can  be  considered  centralized  when  it  (Craftsmanship) and middle‐level vocational educational  comes to decision‐making but fragmented when it comes  institutions.  In  December  2011,  13  craftsmanship  to the distribution of authority.  vocational  schools  functioning  in  Armenia  were  transferred to the subordination of the MoES. Currently,  A  new  division  under  MoES,  called  TVET  Policy  Making  all 25 such schools are managed by this body.  and  Strategy,  was  established  in  2008  as  a  result  of  restructuring  of  the  TVET  Department  under  MoES.  In  According  to  the  2011–13  measures  adopted  by  the  the  same  year,  the  National  Council  for  TVET  government,  the  middle‐level  educational  institutions  Development  (NCVD)  was  set  up  as  a  tripartite  body  are to be transferred under the authority of MoES by the  aimed  at  supervising  the  TVET  reform.  Representatives  following stages: in 2012, seven colleges being managed  of  national  government  and  social  partners,  that  is,  by the Ministry of Agriculture, one under the Ministry of  employers  and  trade  unions,  are  all  participating  in  the  Culture,  and  one  under  the  Ministry  of  Energy,  and  in  council.  2013, all colleges managed by the Ministry of Healthcare.  In  order  to  provide  methodological  support  to  the  VET  When  it  comes  to  lifelong  learning,  the  State  system  development  (e.g.,  the  development  of  Employment  Services  Agency  (SESA),  acting  under  the  standards), improve curricula and learning materials, and  authority  of  the  Ministry  of  Labor  and  Social  Issues  provide  teacher  training,  the  National  Center  for  TVET  (MLSI), provides services all over the country through its                                                               15  This section draws from UNESCO‐UNIVOC’s World TVET Database  (http://www.unevoc.unesco.org/worldtvetdatabase1.php?ct=ARM&ct2=&ct 3=&disp=3).     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   20  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    network of local employment services, including training  development as a priority, the Ministry of Finance (MoF)  for the unemployed.  has  been  against  any  increase  in  the  budget  for  TVET.  Therefore,  the  main  funding  of  TVET  institutions  comes  The  National  Institute  of  Labor  and  Social  Research  from  fee‐paying  students,  whereas  the  funds  for  (NILSR) in cooperation with NCVETD, under MoES, began  modernization  and  improvement  of  TVET  come  from  identifying  occupations  as  a  first  step  to  establishing  donor  organizations  (the  European  Union,  the  United  standards  and  qualifications  in  2008.  The  competency  Nations,  and  governments  and  institutions  of  various  standards for each occupation are being developed by a  countries).  specially  formed  working  group:  Appropriate  ministries,  social  partners,  and  VET  institutions  are  participating  in  The  share  of  expenditure  on  education  in  Armenia  in  developing the standards. The working group consists of  2012  comprised  2.6  percent  of  GDP,  compared  to  3.2  five  to  seven  representatives  of  a  government  percent  in  2010  and  2.8  percent  in  2008.  Thus,  the  specialized  agency  (NCVETD),  training  providers,  budget  allocation  for  education  is  quite  low.  Out  of  the  employers, or industry associations.    total  2012  education  budget,  only  5.2  percent  went  to  Even though a number of initiatives have been proposed  VET (although this is higher than the 4.8 percent in 2011),  by outside donors with regard to programs in continuing  including  preliminary  and  middle  VET.  In  the  2011‐12  TVET  and  have  been  welcomed  by  the  national  government,  in  practice  little  progress  has  been  done  in  school year, the number of students attending initial and  this  area.  As  a  result,  this  dimension  of  TVET  is  middle  VET  was  34,821,  of  which  27  percent  attended  developing  rather  slowly  and  no  particular  structure  is  with  free  seats;  thus  73.5  percent  of  students  were  assigned to it.  privately funding their education. This type of reliance on  Non‐formal  learning  activities  are  not  registered  in  household  contributions  understandably  limits  Armenia (mainly because no license is required for  their  disadvantaged  populations  from  accessing  public  provision), and no relevant official statistics on them are  training. The number of free seats has decreased, putting  collected.  According  to  some  experts’  estimations,  an  even  higher  financial  burden  on  young  people  and  however,  tens  of  thousands  of  people  are  involved  in  their families.   these activities.  Figure 7. The Armenian Education System    SABER‐WfD Ratings on System Oversight The  SABER‐WfD  framework  identifies  three  pertinent  Researcher Second stage (leading to advanced research policy  goals  corresponding  to  oversight  mechanisms  for  qualifications) influencing the choices of individuals, training providers,  Higher Education - Master and employers:    First stage (leading to entry LABOR M ARKET (Second or further) Degree to advanced research Policy Goal 4:  Ensuring Efficiency and Equity in  programmes) Higher Education - Bachelor (First) Funding  Middle Vocational Education Degree Policy Goal 5:  Assuring Relevant and Reliable  Standards    Preliminary Vocational Education TVET Institutions First stage (not leading to entry to advanced Upper Secondary Education (3 years) Policy Goal 6:  Diversifying Pathways for Skills  Secondary General E ducation Craftsmanshi p research programmes) High Schools Acquisition.  Basic General Educatioan Lower Secondary Education (5 years) The  ratings  for  these  Policy  Goals  are  presented  and  Middle Schools explained  below,  followed  by  a  reflection  on  their  implications for policy dialogue.  Primary Education (4 years) Elementary Schools Based  on  data  collected  by  the  SABER‐WfD  questionnaire,  Armenia  receives  an  overall  rating  of  Public  spending  on  education  is  very  limited  and  has  1.9  (Emerging)  on  the  System  Oversight  (see  Figure  been decreasing. Despite the fact that the MoES and the  8).    This  score  is  the  average  of  the  ratings  for  the  Ministry  of  Economy  (MoE)  have  recognized  TVET  underlying  three  Policy  Goals:  Ensuring  Efficiency     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   21  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    and  Equity  in  Funding  (1.4),  Assuring  Relevant  and  by  the  rationalization  programs  aimed  at  reducing  the  Reliable  Standards  (2.1),  and  Diversifying  Pathways  number  of  less‐relevant  VET  schools.  In  order  to  ensure  for Skills Acquisition (2.2). The explanation for these  better use of the limited resources, the rationalization of  ratings and their implications follow below.  the system is ongoing with  the reduction of  the  number  Figure 8. SABER‐WfD Ratings of the System Oversight  of  colleges  and  preliminary  VET  schools  (ETF,  2013,  p.  12).  The current input‐based budgeting processes for TVET do  Overall 1.9 not  take  into  account  performance  indicators;  they  are  System Oversight based  on  historic  trends  and  enrollment,  with  some  4. Funding 1.4 consideration  of  alignment  to  emerging  WfD  priorities.  However, most public programs do not draft or distribute  5. Standards 2.1 annual  performance  documentation,  which  results  in  a  lack  of  accountability  and  incentives  to  utilize  resources  6. Pathways 2.2 efficiently or to become more self‐reliant. There does not  appear  to  be  much  cost  consciousness  in  the  TVET  1 2 3 4   system;  based  on  the  current  budget  process,  the  Note: Key to Scoring:  1 = Latent; 2 = Emerging; 3 = Established; 4 = Advanced;  prevailing  incentives  are  to  spend  allocated  budgets  in  see Figure 2 for definitions.    full  and  to  obtain  more  financing.  Lack  of  available  data  Source: Authors’ analysis based on SABER‐WfD data.  on  cost‐benefit  analysis  and  cost  comparisons  across  Policy Goal 4: Ensuring Efficiency and Equity in programs  and  institutions  could  be  one  reason  for  this.  Another  effect  of  this  lack  of  data  is  that  it  is  difficult  to  Funding. determine the impact on equity of funding. WfD requires a significant investment of resources by the  government, households, and employers. To ensure that  Despite  the  fact  that  formal  and  institutional  these  resources  are  effectively  used,  it  is  important  to  partnerships  between  training  providers  and  employers  examine  the  extent  to  which  policies  and  institutional  have  been  designed,  the  systemic  arrangements  for  the  arrangements  are  in  place  to:  ensure  stable  funding  for  WfD authority to collaborate with industry and other key  effective  programs  in  initial,  continuing,  and  targeted  stakeholders  are  absent.  Although  the  government  VET;  monitor  and  assess  equity  in  funding;  and  foster  facilitates  the  partnership  between  industries  and  other  partnerships with employers for funding WfD. Therefore,  stakeholders  through  formal  arrangements  and  the  Policy Goal 4 focuses on the government’s role in funding  partnership is institutionalized on the national, regional,  WfD, ensuring efficient and effective use of the available  and  individual  levels,  industry  involvement  is  very  funds, and in fostering partnerships that can multiply the  limited.  While  industry  experts  occasionally  provide  resources  available  to  encourage  and  support  technical  inputs  in  setting  standards  and  testing,  at  the  investment in WfD by individuals and employers.    college  level  the  industry  involvement  often  ends  at  Armenia  is  rated  at  the  Latent  (1.4)  level  on  this  Policy  providing internship opportunities.  Goal,  reflecting  funding  allocation  procedures  that  do  Policy Goal 5: Assuring Relevant and Reliable not promote efficiency in resource use and the lack of the  Standards. private  sector  involvement  in  providing  resources  for  training.  The  government  determines  the  priorities  for  The  WfD  system  in  Armenia  comprises  a  wide  range  of  the state budget expenditure and allocates finances.   training  providers  offering  courses  at  various  levels  in  diverse  fields.  An  effective  system  of  standards  and  Since Soviet times, both preliminary and middle VET has  accreditation  would  enable  students  to  document  what  not  been  considered  very  important  and  most  of  the  they  have  learned  and  employers  to  identify  workers  limited  budget  resources  for  education  have  been  with  the  relevant  skills.  For  Policy  Goal  5,  it  is  therefore  allocated  to  general  education.  The  VET  system  has  important to assess the status of policies and institutions  undergone  several  phases  of  reform,  in  particular  after  to  set  reliable  competency  standards,  assure  the  the  adoption  of  the  Law  on  Education  in  1999,  followed  credibility  of  skills  testing  and  certification,  and  develop     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   22  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    and  enforce  accreditation  standards  for  maintaining  the  In  2011,  the  government  adopted  the  NQF  and  the  quality  of  training  provision.  Therefore,  this  particular  schedule for its implementation. The NQF is described in  policy  goal  focuses  on  assuring  the  quality  of  both  the  official  documents  as  an  eight‐level  Lifelong  Learning  services  offered  by  training  providers  and  the  skills  Framework  (with  one  being  the  lowest  and  eight  the  acquired  by  individuals  through  credible  procedures  for  highest  level)  designed  to  be  consistent  with  the  accreditation and certification.   European  Qualifications  Framework  for  Lifelong  Learning.  The  objectives  of  the  NQF  are  (i)  to  link  Armenia is rated at the Emerging (2.1) level on this policy  different  levels  of  qualifications  (including  general  goal, suggesting that although the competency standards  education)  and  educational  degrees  awarded  in  a  are developed for a large number of occupations and all  hierarchy  from  the  lowest  to  the  highest;  (ii)  to  link  key  stakeholders  are  engaged  in  setting  competency  Armenian  qualifications  to  those  of  other  countries  that  standards  for  major  occupations,  the  policy  dialogue  on  have  implemented  a  national  qualifications  framework;  competency  standards  and  on  Armenia’s  national  (iii)  to  enable  learners  and  workers  to  access  a  qualification  framework  (NQF)  engages  numerous  qualification,  transfer  between  qualifications,  and  stakeholders  through  institutionalized  processes.  Still,  progress to the next level, in the spirit of trust, mobility,  competency‐based  testing  is  not  used;  skills  testing  for  and lifelong learning.   major  occupations  is  mainly  theory‐based  and  the  certificates  awarded  have  little  impact  on  employment  Because  the  educational  standards  started  being  and earnings.  developed  in  2009,  whereas  the  NQF  was  adopted  in  Since  2009,  more  than  100  competency‐based  state  2011,  most  of  the  current  educational  standards  should  educational  standards  and  modular  curricula  have  been  be  reviewed  and  approved  in  accordance  with  the  developed  for  the  TVET,  all  of  which  were  reviewed  by  specialties and educational levels by December 2013.  the  sectoral  committees  and  approved  by  the  MoES.  Of  The  National  Center  for  Professional  Education  Quality  these 100 standards, 80 have already been introduced at  Assurance  Foundation  (ANQA)  is  the  agency  under  the  educational  institutions  and  the  remaining  20  were  government  that  establishes  accreditation  standards.  supposed to be introduced at the beginning of the 2012‐ ANQA was established in November 2008 and started its  13 academic year.   functioning in March 2009. The responsibility for running  Here  it  should  be  mentioned  that  after  the  state  and  maintaining  ANQA  falls  under  the  MoES.  ANQA  educational  standards  for  qualifications  are  developed,  conducts  external  quality  assurance  processes  in  the  next  step  is  to  develop  the  modular  programs  and  accordance with the norms set by government legislation  educational  plans  based  on  which  educational  and regulations, as well as with  the European Standards  institutions  build  their  educational  programs;  these  and  Guidelines.  ANQA  also  develops  guidelines,  criteria,  programs should be tested and, after that, implemented.  and standards for quality  assurance, taking into account  Therefore,  given  that  the  occupations  standards  are  still  the local needs and international good practice.    in  the  early  stages  of  development,  Armenia  currently  The  accreditation  of  middle  and  higher  professional  does not carry out competency‐based testing.  educational  institutions  only  began  in  2011,  while  To  regulate  the  process  of  testing,  the  MoES  developed  preliminary  vocational  education  institutions  are  not  a  system  for  educational  institutions  to  report  on  the  subject to accreditation.   process  of  testing.  According  to  the  procedure  of  Accreditation  will  include  institutional  accreditation,  reporting, the educational institutions submit a report on  which  focuses  primarily  on  the  adequacy  of  testing  twice  a  year,  at  the  end  of  each  semester.  After  infrastructure,  and  the  accreditation  of  educational  the  educational  standards  and  modular  programs  are  programs  by  profession/specialty.  Institutional  introduced  to  educational  institutions,  they  should  be  accreditation  is  mandatory  for  all  educational  tested and, after that, implemented. Therefore, since the  institutions  functioning  in  the  territory  of  Armenia  and  test results based on existing standards will be viewed in  must  be  renewed  periodically.  The  accreditation  of  coming  years,  the  development  of  competency‐based  educational  programs  is  voluntary  and  can  be  sought  if  testing is still in its initial stage of development.     the results of institutional accreditation are positive.                          SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   23  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    To assure quality at the tertiary level of education, ANQA  graduates of secondary vocational/technical streams can  has  developed  a  comprehensive  Quality  Assurance  easily progress to post‐secondary levels of study.  Framework, which revolves around four mechanisms: (i)  The  portion  of  this  Policy  Goal  focused  on  skills  an  institutional  audit;  (ii)  academic  program  certification  and  recognition  of  prior  learning  lags  other  accreditation;  (iii)  ANQA  recognition;  and  (iv)  aspects  of  the  Pathways  goal  and  is  accordingly  rated  information provision.   quite  low–at  the  Latent  level.  This  reflects  both  the  fact  This  process  is  already  underway  in  three  state  TVET  that the AQF is still being developed and also the fact that  colleges:  Yerevan  Regional  State  College  №  1,  Yerevan  while students within the formal education system enjoy  Regional  State  College  №  2,  and  Yerevan  State  open  pathways  for  progression,  there  are  vocational  Armenian‐American  "Erebuni"  Medical  College.  In  institutions  under  other  ministries  that  do  no  issue  addition,  in  2012  the  ANQA  started  mandatory  certificates that are recognized by institutions under the  accreditation  processes  for  three  VET  institutions  MoES,  and  therefore  such  institutions  are  effectively  (regional  colleges):  the  three  chosen  VET  institutions  dead‐ends.  The  system  is  being  reformed  and  have  already  passed  the  first  stage–the  stage  of  self‐ modernized,  with  most  institutions  being  consolidated  analysis  based  on  the  specially  developed  form–after  under the oversight of the MoES, something that should  which the process of accreditation will begin.  improve  the  portability  of  qualifications  issued  by  these  institutions.  In  addition,  the  issues  pertaining  to  the  Policy Goal 6: Diversifying Pathways for Skills recognition  of  prior  learning  have  not  been  addressed  Acquisition. sufficiently.   In  dynamic  economic  environments,  workers  need  to  The  assessment  and  validation  of  non‐formal  learning  is  acquire new skills and competencies as well as keep their  in its very initial stages, and the concept and policy issues  skills up to date throughout their working lives. They are  linked  with  this  are  just  being  discussed  in  government.  best  served  by  a  system  of  initial  and  continuing  Therefore,  the  NQF  is  expected  to  become  a  key  reform  education and training that promotes lifelong learning by  instrument  for  improving  quality  in  the  national  offering  clear  and  flexible  pathways  for  transfers  across  education  and  training  system.  To  fulfill  the  agenda  courses,  progression  to  higher  levels  of  training,  and  described above, the NQF should be revised and further  access  to  programs  in  other  fields.  For  those  already  in  developed.   the workforce, schemes for recognition of prior learning  are  essential  to  allow  individuals  to  efficiently  upgrade  Although  the  government  is  strongly  committed  to  their existing skills and learn new ones.   providing lifelong learning, systematic career counseling  has a long way to go. The absence of a unified system and  Policy  Goal  6  examines  the  diversity  of  programs  and  clear  definition  of  authorities  and  responsibilities  for  ease  of  movement  between  them,  whether  or  not  the  each  agency,  of  age‐specific  and  need‐specific  methods  system  facilitates  skills  upgrading  by  providing  and  instruments,  and  of  a  qualification  and  training  information on emerging trends and recognition of prior  system for service providers creates serious obstacles for  learning,  and  how  well  the  system  is  able  to  adapt  to  effective  organization  and  provision  of  continuing  VET  changing skills demand.   services.  Armenia is rated at the Emerging (2.2 points) level on this  Though pathways and opportunities do exist for upgrade  policy  goal,  meaning  that  while  pathways  and  and  acquiring  skills,  the  public  perception  of  TVET    recognition  of  prior  learning  are  stated  as  priorities,  the  hinders  using  this  opportunity,  since  it  has  traditionally  current system does not effectively address obstacles to  been associated with low academic performance, limited  lifelong  learning  related  to  the  articulation  of  social  possibilities,  and  low‐skilled  jobs.  The  creation  of  certification,  recognition  of  informally  acquired  skills,  or  pathways into and out of the VET system, as well as steps  access to career guidance services. The learning pathway  to  improve  its  quality,  have  helped  to  improve  public  is quite diversified; graduates from middle school have a  perceptions of VET.  However, despite the fact that public  choice  to  attend  high  school  or  obtain  a  preliminary  perception  of  the  VET  system  is  changing,  it  is  still  a  vocational education in colleges and academies that can  serious  challenge  for  VET  institutions  to  become  more  provide  secondary  and  professional  education.  Also,  attractive for enrollment.       SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   24  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Implications of the Findings The  funding  of  the  system  raises  the  question  of  In  Armenia,  there  exist  a  number  of  training  providers,  sustainability  and  equity.  The  government  determines  both  state  and  non‐state,  offering  courses  at  various  recurrent  funding  for  VET  institutions  based  largely  on  levels  in  diverse  fields.  One  of  the  main  deficiencies  the previous year’s budget. Public resources allocated for  identified  within  Dimension  2  is  that  although  a  system  WfD  are  scarce  and  always  competing  with  other  of competency standards and accreditation mechanisms  socioeconomic policy priorities. Improving efficiency and  has  been  developed  in  consultation  with  key  sustaining an adequate level of public resources for WfD  stakeholders,  the  competency‐based  testing  is  not  used  would benefit from a clear strategy and mechanisms for  for  skilled  and  semi‐skilled  occupations  (it  is  mainly  continuous monitoring and evaluation. Incentives should  theory‐based),  the  certificates  awarded  have  little  be  introduced  in  the  budget  processes  as  a  way  to  use  impact  on  employment  and  earnings,  and  the  financial mechanisms to stimulate better performance. A  accreditation standards are not sufficiently developed.   common  characteristic  of  advanced  WfD  systems  is  regular assessments and timely reviews of the impact of  Despite  the  fact  that  the  public  perception  of  the  VET  funding  on  a  range  of  training  and  labor  market  system  is  changing,  it  is  still  a  serious  challenge  for  VET  outcomes. institutions  to  become  more  attractive  for  enrollment.  Though  pathways  and  opportunities  to  upgrade  and     acquire new  skills exist,  the current public perception of  TVET hinders using this opportunity, as it has traditionally      been associated with low academic performance, limited  social  possibilities,  and  low‐skilled  jobs.  In  a  society  marked  by  a  very  strong  aspiration  toward  obtaining  university degrees (regardless of their use in practical life  or  their  value  in  the  labor  market),  it  is  fundamental  to  take coherent action on multiple fronts to improve public  perception  of  TVET.    Moreover,  to  address  negative  perceptions on TVET, action must be taken to increase its  stature  among  stakeholders  on  both  the  supply  and  demand side. Not only should the general population be  better  informed  about  the  quality  of  vocational  education  and  training  provided  and  about  available  career paths/options, employers should also be aware of  WfD’s  outcomes  and  play  a  major  role  in  setting  accreditation  standards  to  overcome  the  gap  in  recognition from the standpoint of providers versus that  of employers.       SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   25  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    6. Managing Service Delivery  middle  technical  colleges,  four  educational  complexes  and  one  university.  At  this  level  of  TVET,  professions  in  Training  providers  are  the  main  channels  through  which  the  services,  trade,  and  food  industry  are  the  most  the  country’s  policies  in  workforce  development  (WfD)  popular ones.  are  translated  into  results  on  the  ground.  This  chapter  For  economic  reasons,  the  number  of  colleges  has  provides a brief overview of the composition of providers  recently  been  reduced  by  from  101  in  2010  to  91  public  and  the  types  of  services  available  in  the  system  before  and  private  middle  VET  in  2011  in  an  attempt  to  presenting  the  detailed  SABER‐WfD  findings  on  service  rationalize  the  system.  There  are  71  public  middle  delivery  and  their  policy  implications.  It  briefly  vocational  colleges,  five  universities  providing  middle  summarizes  the  key  features  of  service  delivery,  as  VET,  and  13  private  middle  VET  colleges  (which,  reflected  in  data  on  (i)  enrollment  trends  by  level  and  however,  are  not  allowed  to  issue  a  “state”  diploma,  type  of  training  program—initial  vocational  education  something  that  has  contributed  to  their  decline  in  and training (IVET), continuing vocational education and  numbers in recent years).  training  (CVET),  and  active  labor  market  programs  (ALMPs)—and by type of provider (state and non‐state);  In  2010‐11,  the  number  of  preliminary/craftsmanship  (ii)  prevalence  of  firm‐based  training;  and  (iii)  the  labor  VET  schools  has  decreased  from  30  to  25,  aiming  at  market outcomes of training.  increasing  efficiency  in  the  system.  In  2011,  51  public  institutions  provided  preliminary  professional  Overview of the delivery of training services (vocational)  education  (25  craftsmanship  vocational  The  Ministry  of  Education  and  Science  (MoES)  provides  schools,  20  middle  vocational  institutions  providing  the  bulk  of  vocational  training  through  different  preliminary  education,  four  educational  complexes,  one  channels.  The  vocational  track  starts  after  the  end  of  university, and one foundation).   compulsory basic education (after grade 9). At this point,  Since  December  2011,  all  25  public  preliminary  students  attend  high  school,  where  they  earn  a  (craftsmanship)  vocational  schools  have  been  managed  certificate  in  Secondary  General  Education  (Matura)  by  the  MoES.  At  this  level  of  preliminary  VET,  the  after  three  years  of  study  or  attend  a  dedicated  professions related to the spheres of services, trade, and  vocational institution. There are two levels of vocational  the  food  industry  are  the  most  popular  ones.  Females  education: preliminary and middle vocational education.  enroll  mainly  in  traditional  fields  like  pedagogy,  health,  Students  may  enter  both  directly  after  completion  of  and the arts.  compulsory  education.  Thus,  these  levels  are  differentiated  by  the  level  of  skill  possessed  by  Provision  of  Adult  Learning.  The  legislative  and  political  graduates,  not  by  the  level  of  educational  attainment  frameworks  for  adult  education  and  learning  are  required for admission. Accordingly, the time required to  reflected  in  the  number  of  legislative  measures  passed  complete  these  levels  varies.    Preliminary  courses  last  by  the  government.  The  Law  on  Education,  adopted  in  from  six  months  to  three  years,  and  middle  courses  last  1999,  in  addition  to  establishing  the  basic  framework,  from  two  to  five  years.    Students  studying  in  both  approaches,  and  principles  of  the  management,  preliminary  and  middle  vocational  education  and  financing,  and  methodology  for  the  whole  field  of  training (VET) institutions may also obtain a Matura, and  education,  refers  to  the  issue  of  additional  education  as  therefore are able to pursue higher education.   well (Article 26).    General  high  schools  can  also  offer  a  vocational  stream,  The  government  also  adopted  a  strategic  document  in  though  it  should  be  mentioned  that  not  all  high  schools  October 2009, titled “The Concept of Lifelong Learning in  do  due  to  the  lack  of  required  resources  to  run  such  Armenia,”  which  lays  out  relevant  principles  and  programs. The educational attainment of the population  concepts related to lifelong learning, the main problems  in  Armenia  reveals  a  constant  share  of  vocational  and  in the field, and possible solutions. However, investment  secondary  specialized  education  of  about  25  percent.  in  lifelong  learning  is  extremely  limited  and  the  Preliminary professional education is offered at 51 state  government provides support for lifelong learning mainly  institutions:  25  vocational  craftsmanship  schools,  20  through  its  active  employment  measures  organized  by  the State Employment Services Agency (SESA). Under the     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   26  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    EU Sector Policy Support Programmes 2007, a study was  The  ratings  for  these  three  Policy  Goals  are  presented  carried out in 2009 to assess the feasibility of establishing  below  and  are  followed  by  a  reflection  on  their  a  National  Training  Fund  to  promote  adult  learning.  The  implications for policy dialogue.  study  was  based  on  a  review  of  existing  documents  and  Based  on  data  collected  by  the  SABER‐WfD  on  interviews  with  local  stakeholders,  including  social  questionnaire,  Armenia  received  an  overall  rating  of  2.3  partners,  public  institutions,  companies,  school  training  points  (Emerging)  for  the  Service  Delivery  Dimension  providers,  and  employment  centers.  The  study  found  (see Figure 9).  This score is the average of the ratings for  that  the  annual  offering  of  training  per  year  includes:  (i)  the  underlying  Policy  Goals  mentioned  above.  The  employment  services  (provided  to  approximately  1,300  explanation  for  these  ratings  and  their  implications  unemployed persons); (ii) short‐term courses in colleges  follow below.  (1,000  trainees);  (iii)  trade  union  organizations  (1,000  people);  (iv)  NGOs  (1,000  trainees);  (v)  large  enterprises  Figure  9.  SABER‐WfD  Ratings  of  the  Service  Delivery  such  as  ArmenTel,  Viva  Cell,  Grand  Candy  (1,000  people  Dimension  each);  (vi)  adult  education  organizations  (300  people);  (vii)  international  programs  and  projects  (number  of  trainees  not  available,  but  the  study  reports  that  computer  technologies  and  foreign  languages  are  the  first  and  second  most  subscribed  training  courses);  and  (viii)  the  Centre  for  Professional  Orientation  (approximately  1,000  people  trained,  free  consultations  provided).   There  are  a  few  privately  owned  or  managed  training    providers.  Other  forms  of  training  include  industry  Note: Key to Scoring:  1 = Latent; 2 = Emerging; 3 = Established; 4 = Advanced;  attachments  (apprenticeships  schemes)  and  in‐service  see Figure 2 for definitions.    training  and  re‐training  of  both  employed  and  Source: Authors’ analysis based on SABER‐WfD data.  unemployed  workers  in  the  labor  force.  Information  on  this type of training is scarce.    Policy Goal 7: Incentivizing Diversity and Excellence in Training Provision In  general,  the  linkages  between  the  education  and  training system and the labor market could be described  Because  the  demand  for  skills  is  impossible  to  predict  as weak. There is a clear mismatch between the type and  with precision, having a diversity of providers is a feature  level  of  skills  needed  by  the  labor  market  and  what  is  of  strong  WfD  systems.  Among  non‐state  providers,  the  being  supplied  by  the  education  and  training  system.  A  challenge  is  to  temper  the  profit  motive  or  other  key  trend  is  that  while  the  WfD  system  is  producing  an  program  agendas  with  appropriate  regulation  to  assure  increasingly  highly  educated  workforce,  graduates  do  quality  and  relevance  of  institutions.  Among  state  not possess the skills required by the labor market, even  providers,  a  key  concern  is  their  responsiveness  to  the  though they are often lower‐level and attainable through  demand  for  skills  from  employers  and  students.  Striking  shorter periods of education.  the  right  balance  between  institutional  autonomy  and  accountability  is  one  approach  to  address  this  concern.  SABER WfD Ratings on Service Delivery Policy  Goal  7  takes  these  ideas  into  account  and  The  policy  goals  for  this  dimension  in  the  SABER‐WfD  benchmarks the system according to the extent to which  framework  focus  on  the  following  three  aspects  of  policies and institutional arrangements are in place to: (i)  service delivery:   encourage  and  regulate  non‐state  provision  of  training  and  (ii)  foster  excellence  in  public  training  provision  by  Policy Goal 7:  Incentivizing Diversity and  combining incentives and autonomy in the management  Excellence in Training Provision   of public institutions.  Policy Goal 8:  Fostering Relevance in Public  Training Programs   Armenia is rated at the Emerging (2.1) level on this policy  Policy Goal 9:  Enhancing Accountability for  goal,  reflecting  the  fact  that  there  are  active  non‐state  Results.        SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   27  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    providers  in  the  training  market  despite  almost  no  Among  state  training  providers,  a  key  concern  is  their  government  incentives  to  encourage  non‐state  responsiveness  to  the  demand  for  skills  from  employers  provision.  While  most  of  these  providers  are  registered  and students. Aiming at increasing VET effectiveness and  and  licensed,  few  measures  for  quality  assurance  are  in  relevance  to  the  regional  and  local‐level  needs,  the  VET  place.  Regarding  public  training  provision,  the  governing  boards  (VETGB)  were  established  in  all  VET  government  grants  considerable  autonomy  to  the  colleges  in  accordance  with  the  law  adopted  in  2005  (it  institutions.  There  are  provisions  for  oversight  of  public  took  three  years  to  establish  them,  with  lengthy  institutions,  but  little  is  done  to  create  appropriate  discussion about representation). According to the law, a  incentives  for  performance.  The  government  does  not  governing  board  is  established  for  a  period  of  five  years  require  public  institutions  to  meet  explicit  performance  and  has  representatives  from  pedagogical  staff,  targets or provide financial or non‐financial incentives for  students,  and  the  public  administration  body  handling  performance.    education. It has the power to approve budgets, strategic  programs, and tuition fees, as well as the power to elect  In  Armenia,  training,  re‐training,  and  re‐qualification  a  director.  Starting  in  2011,  the  membership  of  the  requirements  are  fulfilled  by  both  state  and  non‐state  governing  boards  of  the  regional  colleges  was  extended  providers.  Under  the  current  arrangements,  the  non‐ by  involving  new  representatives  of  social  partners  and  state providers do not benefit from government training  regional  employment  services.  Changes  were  also  grants, and incentives for entry do not exist.   introduced  into  the  management  boards  of  all  VET  The Law on Licensing16 does not prescribe any limitation  schools  by  involving  more  representatives  of  social  with  respect  to  organizations  providing  supplementary  partners,  local  authorities,  NGOs,  and  regional  educational  programs,  which  leaves  open  a  free  avenue  employment  services  in  order  to  promote  cooperation  for any organization that would like to be engaged in the  within  the  community  and  increase  the  relevance  of  training  provision.  Under  these  circumstances,  issues  education within the community context.  such as preparedness of the educational‐methodological  In 2009 the document “Concept on Social Partnership in  training  courses  and  the  availability  of  respective  the  Field  of  Preliminary  (Craftsmanship)  and  Middle  specialized staff and materials or technology do not have  Vocational Education” was endorsed by the government  significant  meaning;  the  only  requirement  for  and,  based  on  this,  a  Memorandum  of  Understanding  implementation  is  that  the  given  organization’s  charter  and  Cooperation  in  the  field  of  VET  was  signed  by  the  must establish the possibility of preparedness.  The issue  MoES  and  social  partners  in  the  same  year.  The  aim  of  of  quality  in  the  preparation  of  learners/trainees  is  left  the  memorandum  was  to  improve  cooperation  and  completely  to  the  conscience  of  the  organization  support  for  the  future  development  of  VET  as  a  providing  the  training,  because  the  process  is  not  modernized system that provides a  qualified labor force  inspected  by  any  organization.  As  a  result,  the  exact  suited to the requirements of employers.   number  of  organizations  engaged  in  the  business  of  training  provision  remains  unclear.  A  number  of  The amount of effective control these boards exercise in  governmental  and  non‐governmental  organizations  practice,  however,  is  questionable,  as  the  existing  provide  retraining  and  level‐raising  courses  for  the  measures  for  accountability  are  not  sufficient  and  those  specialists  in  their  respective  fields/sectors;  their  measures  that  exist  are  not  being  adequately  enforced.  educational  programs  are  provided  upon  the  request  of  The  government  grants  VETGBs  considerable  autonomy  organizations  and  are  aimed  exclusively  at  raising  the  in  personnel,  equipment,  income‐generating  activities,  level of specialists’ knowledge and capacities to conform  and  program  offerings.  While  the  VETGBs  in  principle  with the demands of their work functions. Therefore, for  exercise  control  over  the  operations  of  schools,  the  non‐state  providers  the  main  challenge  is  to  bring  the  VETGBs do not set explicit performance targets, meaning  profit  motive  together  with  appropriate  regulation  in  that while VETGBs can exercise considerable control over  order  to  ensure  the  quality  and  relevance  of  training  inputs,  there  is  little  accountability  for  outcomes  provision.   achieved.  The  provision  of  financial  or  non‐financial                                                               16 The Law of the Republic of Armenia on Licensing, 2001.    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   28  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    incentives for performance are weak, both at the level of  preparing and providing teacher and staff training within  the VETSBs and at individual institutions.  the  system.  The  NCVD  was  established  in  2008  as  a  tripartite  consultative  body  that  includes  an  equal  Policy Goal 8: Fostering Relevance in Public Training number  (seven  each)  of  representatives  from  the  three  Programs parties (public, employers, trade unions) and ensures the  In  order  to  keep  their  program  offerings  relevant  to  achievement  of  social  partnership  in  the  VET  sector  at  current  market  conditions,  public  training  institutions  the national level. It meets on a regular basis and has two  need reliable information on current and emerging skills  main  objectives:  (i)  to  promote  VET  system  reforms  and  needs. As such, these training institutions would benefit  assist  in  further  developing  the  VET  sphere;  and  (ii)  to  from  establishing  and  maintaining  relationships  with  provide  consultancy  to  the  MoES  on  decision‐making,  employers,  industry  associations,  and  research  design,  and  performance  of  development  programs  institutions. Such partnerships are a potential source for  related  to  vocational  education  and  training  policy.  institutions  to  receive  information  about  skills  Recently,  NCVD  made  the  decision  to  reorganize  the  13  competencies  and  expertise,  as  well  as  advice  on  existing  sectoral  committees  into  15.  The  role  of  the  curriculum  design  and  technical  specifications  for  sectoral  committees  is  to  review  the  educational  training  facilities  and  equipment.  They  could  also  help  standards  and  curricula  as  developed  by  the  National  create  opportunities  for  workplace  training  for  students  Center for TVET Development (NCVETD).17   and continuing professional development for instructors  New  and  upgraded  channels  to  link  supply  and  demand  and administrators. Policy Goal 8 considers the extent to  for  qualified  labor  and  to  establish  and  strengthen  which  arrangements  are  in  place  for  public  training  relationships  with  institutions  are  currently  being  providers to: (i) benefit from industry and expert input in  utilized.  The  NCVETD,  sectoral  committees  for  the design of programs and (ii) recruit administrators and  educational  standards,  and  boards  of  vocational  instructors with relevant qualifications and support their  education  institutions  have  all  played  a  part  in  this  professional development.   process.  Despite  the  fact  that  the  institutional  Armenia is rated at the Emerging (2.3) level for this policy  mechanisms  exist  to  ensure  effective  links  between  the  goal,  reflecting  the  fact  that  informal  and  sporadic  links  training  institutions  and  industry,  in  practice,  industry’s  exist  between  public  training  institutions  and  industry,  involvement  at  the  level  of  educational  institutions  is  with limited involvement of industry in curriculum design  mostly limited to providing internship opportunities.   and  the  specification  of  standards  for  training  facilities.  The  NCVETD  is  in  charge  of,  and  periodically  organizes,  Links  between  public  training  providers  and  research  trainings  for  heads  and  deputies  of  educational  institutions are rare.   institutions, lecturers, and training masters. For example,  The  process  of  connecting  labor  market  supply  and  since  the  concept  of  modular  education18  is  new  in  demand,  businesses,  the  economy,  and  educational  Armenia, the NCVETD organized a training series in 2010  institutions  has  begun  and  strong  progress  has  been  for  about  183  heads  and  deputies  of  educational  made, starting in 2008 with the restructuring of  the  VET  institutions,  as  well  as  2,544  lecturers  and  training  Department  in  the  MoES  and  establishment  of  the  new  masters. Heads of education institutions are encouraged  division  of  VET  Policymaking  and  Strategy.  The  to  participate  in  different  seminars,  workshops,  and  implementation  of  VET  reform  came  under  the  conferences,  especially  when  they  are  organized  in  responsibility  of  the  National  Council  for  VET  Armenia.  The  above‐mentioned  activities  are  Development  (NCVD)  and  has  included  significant  tasks  implemented  through  a  capacity  building  approach,  in revising curricula, developing of learning material, and  aimed  at  improving  the  knowledge,  understanding,  and                                                               17  Armenia, VET TA Program, Quarterly Progress Report, 2nd quarter 2012.   introduction of the new state education standards, educational programs  18  In Armenia, as the VET system is being developed and gradually  were developed based on the subjects, while now instead of subjects,  implemented, capacity‐ or results‐oriented educational criteria are being  especially in vocational training groups, the modules are being taken into  applied. This is an important but not sufficient factor for the VET system to  consideration. The difference between the two approaches is that now the  prepare skilled, qualified, and competitive personnel to meet labor market  trainee is required to be able to perform an action instead of only having  demand. The next important challenge for the VET institutions is to be able  some knowledge about the action.   to meet the requirements set by the above‐mentioned criteria. Before the     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   29  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    consensus  on  VET  reform  objectives  from  the  expected to improve the data collection process and  beneficiaries’ side.    produce the relevant information on the educational  system.   In 2009, the Concept on Social Partnership in the Field of  Preliminary  (Craftsmanship)  and  Middle  Vocational  According  to  Armenia’s  Law  on  State  Statistics,19  all  Education  was  endorsed  by  the  government  and,  based  educational  institutions  report  administrative  on  this,  a  Memorandum  of  Understanding  and  measurements (enrollments, staffing, budgets, etc.) and  Cooperation  in  the  field  of  VET  was  signed  by  the  MoES  educational  attainment,  as  well  as  graduation  data,  to  and  social  partners  in  the  same  year.  The  aim  of  the  the  National  Statistical  Service  (NSS),  where  the  data  is  memorandum is to improve cooperation and support for  summarized and published.   the  future  development  of  VET  as  a  modernized  system  Besides  this,  the  public  training  providers  produce  and  that  provides  a  qualified  labor  force  suited  to  the  submit to the MoES an annual report as a necessary part  requirements of employers.  of  intradepartmental  accountability.  While  basic  Policy Goal 9: Enhancing Accountability for Results administrative  data  on  both  public  and  private  service  Systematic monitoring and evaluation of service delivery  provision is widely available, there is less information on  mechanisms  and  processes  is  valuable  for  both  quality  labor  market  outcomes  as  attempts  to  measure  this  are  assurance  and  ongoing  system  improvement.  limited  to  a  few  ad  hoc  skills‐related  surveys  or  Accomplishing  these  objectives  requires  gathering  and  evaluations of specifically targeted programs. Thus, even  analyzing data from a variety of sources. The reporting of  though  there  is  some  evidence  of  data  collection,  there  institution‐level  data  enables  the  relevant  authorities  to  is  no  system  for  feedback  to  improve  skills,  develop  ensure  that  providers  are  delivering  on  expected  policies, or deliver services.   Occasional or ad‐hoc  tracer  outcomes.  Such  data  also  enable  these  authorities  to  studies, conducted in the context of projects financed by  identify  gaps  or  challenges  in  training  provision  or  in  development  partners,  do  not  adequately  address  or  areas of good practice. Additionally, periodic surveys and  overcome  this  challenge.  Such  studies  are  carried  out  in  evaluations of major programs generate complementary  collaboration  with  the  MoES  and  NCVETD,  but  funding  information  that  can  help  enhance  the  relevance  and  often  comes  from  donors.  This  suggests  that  one  efficiency  of  the  system  as  a  whole.  Policy  Goal  9  impediment  to  creating  a  more  robust  information  considers  these  ideas  when  assessing  the  system’s  base—one  useful  as  a  basis  for  decisions  about  system‐ arrangements  for  collecting  and  using  data  to  focus  level performance—is inadequate funding.  attention  on  training  outcomes,  efficiency,  and  Implications of the Findings innovation in service delivery.  To  build  a  coherent  and  well‐functioning  VET  system  Armenia is rated at the Emerging (2.3) level on this policy  requires  shifting  away  from  government‐defined  goal,  reflecting  the  fact  that  all  training  providers  are  programs towards a well‐regulated market of private and  required  to  collect  and  report  basic  administrative  data.  public  providers  that  deliver  training  services  to  both  The  public  training  providers  produce  an  annual  report  working  and  unemployed  adults.  In  general,  successful  as  a  necessary  part  of  their  intradepartmental  systems  require  a  high  degree  of  coordination  and  accountability  requirements.  These  reports  are  for  partnership among government agencies and the private  internal use only and are submitted to the MoES, where  sector,  in  addition  to  ensuring  that  the  demand  side  of  they are then consolidated into one centralized database  training (businesses and individuals) has a strong voice in  that  is  publically  available  and  systematically  used  for  the  determination  of  training  policy.  Therefore,  it  is  analysis  of  system  inputs  by  the  MoES.  This  data  is  important to continue with the system reforms that aim  occasionally  used  by  different  stakeholders  to  assess  to  increase  the  quality  of  professional  education  and  to  institutional  performance  as  well  as  to  analyze  system‐ bring  them  into  compliance  with  labor  market  demands  level trends and issues.   as  well  as  the  strategic  educational  and  development  The development and implementation of the VET  objectives  of  the  country.  To  address  this  concern,  one  management information system is ongoing, and it is                                                               19  Law on State Statistics, Charter 1, Article 2, “Sphere of Law Activity.”     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   30  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    approach  would  be  to  strike  the  right  balance  between  and  delivery  of  public  training  programs  is  high  on  the  institutional autonomy and accountability.  agenda now.   The  findings  for  Dimension  3  reveal  that  although  the  Effective  monitoring  and  evaluation  systems  require  training  provision  is  quite  diversified,  the  effectiveness  appropriate  tools  for  measuring  quality  and  and relevance of training provisions are a challenge. The  performance,  and  robust  information  systems.  The  government  does  not  provide  adequate  financial  and  availability and use of policy‐relevant data is very limited.  non‐financial  incentives  to  foster  non‐state  training  The  responsiveness  of  public  training  institutions  to  the  provision.  In  addition,  the  measures  to  assure  quality  of  demand  for  skills  is  in  part  hindered  by  a  lack  of  training provision by training institutions are limited and  incentives  for  results.  In  turn,  performance  targets  for  require further improvement.     public  training  providers  and  corresponding  incentives  for  meeting  those  targets  are  currently  underutilized,  For  a  training  institution  to  be  able  to  respond  to  local  partly  because  of  the  lack  of  appropriate  feedback  needs,  decentralization  and  the  provision  of  adequate  information.  Therefore,  a  more  systematic  approach  to  autonomy  are  necessary  preconditions.  Despite  the  fact  collecting  data  on  training  outcomes  is  necessary  that  the  VETGBs  are  granted  considerable  autonomy,  (covering  not  only  enrollment  or  graduation  data,  but  their  ability  to  set  explicit  performance  targets  and  also  employer  and  trainee  satisfaction,  job  placement  become accountable for outcomes is a challenge.     rates  based  on  accurate  tracer  studies,  etc.).  A  more  The  key  concern  today  is  the  responsiveness  of  training  systematic  approach  will  also  help  ensure  that  institutions,  particularly  government  institutions,  to  the  policymaking  and  state‐budget  funding  are  evidence‐ demand  for  skills  from  employers  and  students.  The  based.    integration  of  industry  and  expert  input  into  the  design         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   31  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 1: Acronyms  ADS  Armenia Development Strategy       ALMP  Active Labor Market Programs  ANQA  National Center for Professional Education Quality Assurance Foundation        CAPS  Competitive Armenia Private Sector  CCI   Chamber of Commerce and Industry    CRRC  Caucasus Research Resource Centers  CTVET  Continuing Technical and Vocational Education and Training  EC   European Commission  EDMC   Enterprise Development and Market Competitiveness (USAID)   EIF  Enterprise Incubator Foundation   ETF   European Training Foundation  GD Fund  Global Developments Fund  ITVET  Initial Technical and Vocational Education and Training    LFS   Labor Force Survey  MLSI   Ministry of Labor and Social Issues  MoE  Ministry of Economy  MoES   Ministry of Education and Science       MoF  Ministry of Finance  MTEF  Midterm Expenditure Framework  NCVETD   National Center for VET Development  NCVD  National Council for VET Development    NGO   non‐governmental organization  NIE   National Institute of Education   NILSR  National Institute for Labor and Social Research  NQF  National Qualification Framework        NSS   National Statistical Service  PPP   public‐private partnership   PRSP   poverty reduction strategy paper  SESA   State Employment Services Agency  SMEs   small and medium enterprises  TVET  technical and vocational education and training  UNDP   United Nations Development Program  USAID   United States Agency for International Development  VETGB                VET Governing Board         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   32  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 2: The SABER‐WfD Analytical Framework        Policy Goal  Policy Action  Topic in DCI 2.5 FINAL  Setting a  G1_T1 Advocacy for WfD to Support Economic Development Provide sustained advocacy for WfD at the top  G1  Strategic  leadership level  G1_T2  Strategic Focus and Decisions by the WfD Champions  Direction  Overall Assessment of Economic Prospects and Skills  Strategic Framework  Establish clarity on the demand for skills and areas  G2_T1  Implications  of critical constraint  Dimension 1  Fostering a  G2_T2 Critical Skills Constraints in Priority Economic Sectors G2  Demand‐Led  G2_T3 Role of Employers and Industry   Approach  Engage employers in setting WfD priorities and in  G2_T4  Skills‐Upgrading Incentives for Employers  enhancing skills‐upgrading for workers  G2_T5 Monitoring of the Incentive Programs G3_T1 Roles of Government Ministries and Agencies Strengthening  Formalize key WfD roles for coordinated action on  G3_T2 Roles of Non‐Government WfD Stakeholders G3  Critical  strategic priorities  Coordination  Coordination for the Implementation of Strategic WfD  G3_T3  Measures   G4_T1 Overview of Funding for WfD  Recurrent Funding for Initial Vocational Education and  G4_T2  Provide stable funding for effective programs in  Training (IVET)  initial, continuing and targeted vocational education  Recurrent Funding for Continuing Vocational Education  Ensuring  and training  G4_T3  Efficiency and  and Training Programs (CVET)  G4  Equity in  Recurrent Funding for Training‐related Active Labor  Funding  G4_T4  Market Programs (ALMPs)  Monitor and enhance equity in funding for training G4_T5 Equity in Funding for Training Programs  Facilitate sustained partnerships between training  G4_T6  Partnerships between Training Providers and Employers  institutions and employers  Competency Standards and National Qualifications  Broaden the scope of competency standards as a  G5_T1  Frameworks  basis for developing qualifications frameworks  System Oversight  G5_T2 Competency Standards for Major Occupations Dimension 2  G5_T3 Occupational Skills Testing  Establish protocols for assuring the credibility of  Assuring  G5_T4 Skills Testing and Certification  skills testing and certification   Relevant and  G5  G5_T5 Skills Testing for Major Occupations  Reliable  Standards  G5_T6 Government Oversight of Accreditation G5_T7 Establishment of Accreditation Standards Develop and enforce accreditation standards for  maintaining the quality of training provision  Accreditation Requirements and Enforcement of  G5_T8  Accreditation Standards  G5_T9 Incentives and Support for Accreditation Promote educational progression and permeability  G6_T1 Learning Pathways  through multiple pathways, including for TVET  students  G6_T2  Public Perception of Pathways for TVET  Diversifying  G6_T3 Articulation of Skills Certification  Pathways for  Facilitate life‐long learning through articulation of  G6  skills certification and recognition of prior learning  Skills  G6_T4 Recognition of Prior Learning  Acquisition  G6_T5 Support for Further Occupational and Career Development Provide support services for skills acquisition by  workers, job‐seekers and the disadvantaged  Training‐related Provision of Services for the  G6_T6  Disadvantaged      SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   33  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    G7_T1 Scope and Formality of Non‐State Training Provision Encourage and regulate non‐state provision of  G7_T2 Incentives for Non‐State Providers  training  G7_T3 Quality Assurance of Non‐State Training Provision Enabling  Diversity and  G7_T4 Review of Policies towards Non‐State Training Provision G7  Excellence in  Training  G7_T5 Targets and Incentives for Public Training Institutions Provision  Combine incentives and autonomy in the  Autonomy and Accountability of Public Training  G7_T6  management of public training institutions  Institutions  Service Delivery  G7_T7 Introduction and Closure of Public Training Programs Dimension 3  G8_T1 Links between Training Institutions and Industry Integrate industry and expert input into the design  G8_T2 Industry Role in the Design of Program Curricula and delivery of public training programs  G8_T3 Industry Role in the Specification of Facility Standards Fostering  Relevance in  G8_T4 Links between Training and Research Institutions G8  Public Training  Programs  Recruitment and In‐Service Training of Heads of Public  Recruit and support administrators and instructors  G8_T5  Training Institutions  for enhancing the market‐relevance of public  training programs  Recruitment and In‐Service Training of Instructors of Public  G8_T6  Training Institutions  G9_T1 Administrative Data from Training Providers Enhancing  Expand the availability and use of policy‐relevant  Evidence‐based  G9_T2 Survey and Other Data  G9  data for focusing providers' attention on training  Accountability  outcomes, efficiency and innovation  Use of Data to Monitor and Improve Program and System  for Results  G9_T3  Performance         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   34  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Annex 3: Rubrics for Scoring the SABER‐WfD Data    Functional Dimension 1: Strategic Framework Policy Level of Development  Goal  Latent Emerging Established Advanced G1: Setting a Strategic Direction Visible champions for WfD are Some visible champions provide ad- Government leaders exercise Both government and non- either absent or take no specific hoc advocacy for WfD and have sustained advocacy for WfD with government leaders exercise action to advance strategic WfD acted on few interventions to occasional, ad-hoc participation sustained advocacy for WfD, and priorities. advance strategic WfD priorities; no from non-government leaders; their rely on routine, institutionalized for WfD  arrangements exist to monitor and advocacy focuses on selected processes to collaborate on well- review implementation progress. industries or economic sectors and integrated interventions to advance manifests itself through a range of a strategic, economy-wide WfD specific interventions; policy agenda; implementation implementation progress is progress is monitored and reviewed monitored, albeit through ad-hoc through routine, institutionalized reviews. processes.                    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   35  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 1: Strategic Framework Policy  Level of Development Goal  Latent Emerging Established Advanced There is no assessment of the Some ad-hoc assessments exist on Routine assessments based on A rich array of routine and robust country's economic prospects and the country's economic prospects multiple data sources exist on the assessments by multiple their implications for skills; industry and their implications for skills; country's economic prospects and stakeholders exists on the country's G2: Fostering a Demand-Led and employers have a limited or no some measures are taken to address their implications for skills; a wide economic prospects and their role in defining strategic WfD critical skills constraints (e.g., range of measures with broad implications for skills; the Approach to WfD  priorities and receive limited support incentives for skills upgrading by coverage are taken to address critical information provides a basis for a from the government for skills employers); the government makes skills constraints; the government wide range of measures with broad upgrading. limited efforts to engage employers recognizes employers as strategic coverage that address critical skills as strategic partners in WfD. partners in WfD, formalizes their constraints; the government role, and provides support for skills recognizes employers as strategic upgrading through incentive partners in WfD, formalizes their schemes that are reviewed and role, and provides support for skills adjusted. upgrading through incentives, including some form of a levy-grant scheme, that are systematically reviewed for impact and adjusted accordingly.        SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   36  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 1: Strategic Framework Policy Level of Development Goal  Latent Emerging Established Advanced Industry/employers have a limited Industry/employers help define WfD Industry/employers help define WfD Industry/employers help define WfD G3: Strengthening Critical Coordination for or no role in defining strategic priorities on an ad-hoc basis and priorities on a routine basis and priorities on a routine basis and WfD priorities; the government make limited contributions to make some contributions in selected make significant contributions in either provides no incentives to address skills implications of major areas to address the skills multiple areas to address the skills encourage skills upgrading by policy/investment decisions; the implications of major implications of major employers or conducts no reviews government provides some incentives policy/investment decisions; the policy/investment decisions; the Implementation  of such incentive programs. for skills upgrading for formal and government provides a range of government provides a range of informal sector employers; if a levy- incentives for skills upgrading for all incentives for skills upgrading for all grant scheme exists its coverage is employers; a levy-grant scheme with employers; a levy-grant scheme with limited; incentive programs are not broad coverage of formal sector comprehensive coverage of formal systematically reviewed for impact. employers exists; incentive programs sector employers exists; incentive are systematically reviewed and programs to encourage skills adjusted; an annual report on the upgrading are systematically levy-grant scheme is published with reviewed for impact on skills and a time lag. productivity and are adjusted accordingly; an annual report on the levy-grant scheme is published in a timely fashion.      SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   37  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 2: System Oversight Policy Level of Development Goal  Latent Emerging Established Advanced The government funds IVET, CVET The government funds IVET, CVET The government funds IVET, CVET The government funds IVET, CVET and ALMPs (but not OJT in SMEs) (including OJT in SMEs) and (including OJT in SMEs) and (including OJT in SMEs) and based on ad-hoc budgeting ALMPs; funding for IVET and ALMPs; funding for IVET is ALMPs; funding for IVET is processes, but takes no action to CVET follows routine budgeting routine and based on multiple routine and based on facilitate formal partnerships processes involving only criteria, including evidence of comprehensive criteria, including between training providers and government officials with program effectiveness; recurrent evidence of program effectiveness, G4: Ensuring Efficiency and Equity in Funding  employers; the impact of funding on allocations determined largely by the funding for CVET relies on formal that are routinely reviewed and the beneficiaries of training previous year's budget; funding for processes with input from key adjusted; recurrent funding for programs has not been recently ALMPs is decided by government stakeholders and annual reporting CVET relies on formal processes reviewed. officials on an ad-hoc basis and with a lag; funding for ALMPs is with input from key stakeholders targets select population groups determined through a systematic and timely annual reporting; through various channels; the process with input from key funding for ALMPs is determined government takes some action to stakeholders; ALMPs target diverse through a systematic process with facilitate formal partnerships population groups through various input from key stakeholders; between individual training channels and are reviewed for impact ALMPs target diverse population providers and employers; recent but follow-up is limited; the groups through various channels and reviews considered the impact of government takes action to facilitate are reviewed for impact and funding on only training-related formal partnerships between training adjusted accordingly; the indicators (e.g. enrollment, providers and employers at multiple government takes action to facilitate completion), which stimulated levels (institutional and systemic); formal partnerships between training dialogue among some WfD recent reviews considered the impact providers and employers at all levels stakeholders. of funding on both training-related (institutional and systemic); recent indicators and labor market reviews considered the impact of outcomes; the reviews stimulated funding on a full range of training- dialogue among WfD stakeholders related indicators and labor market and some recommendations were outcomes; the reviews stimulated implemented. broad-based dialogue among WfD stakeholders and key recommendations were implemented.    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   38  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 2: System Oversight Policy Level of Development Goal  Latent Emerging Established Advanced Policy dialogue on A few stakeholders engage in ad- Numerous stakeholders engage in policy All key stakeholders engage in policy competency standards and/or hoc policy dialogue on dialogue on competency standards and/or dialogue on competency standards and/or the NQF occurs on an ad-hoc competency standards and/or the the NQF through institutionalized the NQF through institutionalized basis with limited engagement NQF; competency standards exist processes; competency standards exist processes; competency standards exist for of key stakeholders; for a few occupations and are for most occupations and are used by most occupations and are used by training G5: Assuring Relevant and Reliable Standards  competency standards have used by some training providers some training providers in their providers in their programs; the NQF, if in not been defined; skills in their programs; skills testing is programs; the NQF, if in place, covers place, covers most occupations and a wide testing for major occupations competency-based for a few some occupations and a range of skill range of skill levels; skills testing for is mainly theory-based and occupations but for the most part levels; skills testing for most occupations most occupations follows standard certificates awarded are is mainly theory-based; follows standard procedures, is procedures, is competency-based and recognized by public sector certificates are recognized by competency-based and assesses both assesses both theoretical knowledge and employers only and have public and some private sector theoretical knowledge and practical practical skills; robust protocols, little impact on employment employers but have little impact skills; certificates are recognized by both including random audits, ensure the and earnings; no system is in on employment and earnings; the public and private sector employers credibility of certification; certificates are place to establish accreditation accreditation of training providers and may impact employment and valued by most employers and standards. is supervised by a dedicated earnings; the accreditation of training consistently improve employment office in the relevant ministry; providers is supervised by a dedicated prospects and earnings; the accreditation private providers are required to agency in the relevant ministry; the of training providers is supervised by a be accredited, however agency is responsible for defining dedicated agency in the relevant ministry; accreditation standards are not accreditation standards with stakeholder the agency is responsible for defining consistently publicized or input; standards are reviewed on an ad- accreditation standards in consultation enforced; providers are offered hoc basis and are publicized or enforced with stakeholders; standards are reviewed some incentives to seek and retain to some extent; all providers receiving following established protocols and are accreditation. public funding must be accredited; publicized and routinely enforced; all providers are offered incentives and training providers are required as well as limited support to seek and retain offered incentives and support to seek accreditation. and retain accreditation.    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   39  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 2: System Oversight Policy Level of Development Goal  Latent Emerging Established Advanced Students in technical and vocational Students in technical and vocational Students in technical and vocational Students in technical and vocational education have few or no options education can only progress to education can progress to vocationally- education can progress to academically or for further formal skills acquisition vocationally-oriented, non- oriented programs, including at the vocationally-oriented programs, beyond the secondary level and the university programs; the university level; the government takes including at the university level; the government takes no action to government takes limited action to some action to improve public government takes coherent action on improve public perception of improve public perception of TVET perception of TVET (e.g. diversifying multiple fronts to improve public G6: Diversifying Pathways for Skills Acquisition  TVET; certificates for technical and (e.g. diversifying learning pathways); learning pathways and improving perception of TVET (e.g. diversifying vocational programs are not some certificates for technical and program quality) and reviews the learning pathways and improving program recognized in the NQF; vocational programs are recognized impact of such efforts on an ad-hoc quality and relevance, with the support of a qualifications certified by non- in the NQF; few qualifications basis; most certificates for technical media campaign) and routinely reviews Education ministries are not certified by non-Education ministries and vocational programs are recognized and adjusts such efforts to maximize their recognized by formal programs are recognized by formal programs in the NQF; a large number of impact; most certificates for technical and under the Ministry of Education; under the Ministry of Education; qualifications certified by non- vocational programs are recognized in the recognition of prior learning policymakers pay some attention to Education ministries are recognized by NQF; a large number of qualifications receives limited attention; the the recognition of prior learning and formal programs under the Ministry of certified by non-Education ministries are government provides practically provide the public with some Education, albeit without the granting recognized and granted credits by formal no support for further occupational information on the subject; the of credits; policymakers give some programs under the Ministry of Education; and career development, or training government offers limited services attention to the recognition of prior policymakers give sustained attention to programs for disadvantaged for further occupational and career learning and provide the public with the recognition of prior learning and populations. development through stand-alone some information on the subject; a provide the public with comprehensive local service centers that are not formal association of stakeholders information on the subject; a national integrated into a system; training provides dedicated attention to adult organization of stakeholders provides programs for disadvantaged learning issues; the government offers dedicated attention to adult learning issues; populations receive ad-hoc support. limited services for further the government offers a comprehensive occupational and career development, menu of services for further occupational which are available through an and career development, including online integrated network of centers; resources, which are available through an training programs for disadvantaged integrated network of centers; training populations receive systematic support programs for disadvantaged populations and are reviewed for impact on an ad- receive systematic support with multi-year hoc basis. budgets and are routinely reviewed for impact and adjusted accordingly.    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   40  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014        Functional Dimension 3: Service Delivery Policy Level of Development Goal  Latent Emerging Established Advanced G7: Enabling Diversity and Excellence in Training There is no diversity of training There is some diversity in training There is diversity in training There is broad diversity in training provision as the system is largely provision; non-state providers operate provision; non-state training provision; non-state training comprised of public providers with with limited government incentives providers, some registered and providers, most registered and limited or no autonomy; training and governance over registration, licensed, operate within a range of licensed, operate with provision is not informed by formal licensing and quality assurance; government incentives, systematic comprehensive government assessment, stakeholder input or public training is provided by quality assurance measures and incentives, systematic quality performance targets. institutions with some autonomy and routine reviews of government assurance measures and routine informed by some assessment of policies toward non-state training review and adjustment of Provision implementation constraints, providers; public providers, mostly government policies toward non-state stakeholder input and basic targets. governed by management boards, training providers; public providers, have some autonomy; training mostly governed by management provision is informed by formal boards, have significant autonomy; analysis of implementation decisions about training provision are constraints, stakeholder input and time-bound and informed by formal basic targets; lagging providers assessment of implementation receive support and exemplary constraints; stakeholder input and use institutions are rewarded. of a variety of measures to incentivize performance include support, rewards and performance- based funding.        SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   41  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 3: Service Delivery Policy Level of Development Goal  Latent Emerging Established Advanced G8: Fostering Relevance in Public There are few or no attempts to Relevance of public training is Relevance of public training is Relevance of public training is foster relevance in public training enhanced through informal links enhanced through formal links enhanced through formal links programs through encouraging links between some training institutions, between some training institutions, between most training institutions, Training Programs between training institutions, industry industry and research institutions, industry and research institutions, industry and research institutions, and research institutions or through including input into the design of leading to collaboration in several leading to significant collaboration in setting standards for the recruitment curricula and facility standards; heads areas including but not limited to the a wide range of areas; heads and and training of heads and instructors and instructors are recruited on the design of curricula and facility instructors are recruited on the basis in training institutions. basis of minimum academic standards; heads and instructors are of minimum academic and standards and have limited recruited on the basis of minimum professional standards and have opportunities for professional academic and professional regular access to diverse development. standards and have regular access opportunities for professional to opportunities for professional development, including industry development. attachments for instructors.        SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   42  ARMENIA ǀ WORKFORCE DEVELOPMENT            SABER COUNTRY REPORT |2014    Functional Dimension 3: Service Delivery Policy Level of Development Goal  Latent Emerging Established Advanced G9: Enhancing Evidence-based Accountability There are no specific data collection Training providers collect and report Training providers collect and report Training providers collect and report and reporting requirements, but administrative data and there are administrative and other data (e.g., administrative and other data (e.g., training providers maintain their own significant gaps in reporting by non- job placement statistics, earnings of job placement statistics, earnings of databases; the government does not state providers; some public graduates) and there are some gaps in graduates) and there are few gaps in conduct or sponsor skills-related providers issue annual reports and the reporting by non-state providers; reporting by non-state providers; surveys or impact evaluations and government occasionally sponsors or most public providers issue internal most public providers issue publicly rarely uses data to monitor and conducts skills-related surveys; the annual reports and the government available annual reports and the for Results improve system performance. government does not consolidate routinely sponsors skills-related government routinely sponsors or data in a system-wide database and surveys; the government consolidates conducts skills-related surveys and uses mostly administrative data to data in a system-wide database and impact evaluations; the government monitor and improve system uses administrative data and consolidates data in a system-wide, performance; the government information from surveys to monitor up to date database and uses publishes information on graduate and improve system performance; the administrative data, information labor market outcomes for some government publishes information on from surveys and impact training programs. graduate labor market outcomes for evaluations to monitor and improve numerous training programs. system performance; the government publishes information on graduate labor market outcomes for most training programs online.    SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   43  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 4: References and Additional Sources  References AM Partners Consulting Company. 2008. Skills and Knowledge Needs Assessment for Pharmaceutical Industry. Copublished  by USAID CAPS Project and AM Partners Consulting Company.   Arias, Omar and Sánchez‐Páramo. 2014. Back to Work. Washington, DC: The World Bank.  Armenia, Ministry of Economy. 2011. “Republic of Armenia, Export‐Led Industrial Policy Framework.” Yerevan.    Armenia, Ministry of Education and Science. 2008. The Development and State of the Art of Adult Learning and Education‐ ‐‐National Report of the Republic of Armenia. Hamburg, Germany: UNESCO UIL.    Armenia, Ministry of Education and Science, National Centre for VET Development. 2008. “Concept on Social Partnership  in Preliminary (Craftsmanship) and Middle Vocational Education in Armenia.” Yerevan: European Training Foundation  and Global Developments Fund.   Armenia,  Ministry  of  Finance.  Undated.  “Medium  Term  Public  Expenditure  Framework  of  the  Republic  of  Armenia  for  2012‐2014.”  www.mfe.am/index.php?fl=344&lang=3   Armenia,  National  Statistical  Service.  2010.  “Labor  Market  in  the  Republic  of  Armenia,  2012.”  Available  at  www.armstat.am  Armenia, Office of the Prime Minister. 2009. “The Concept of Lifelong Learning in the Republic of Armenia.” 2009. Extract  From the Minutes of the RA Government Meeting, October 15, 2009 (No. 43). Yerevan.   “Armenia:  Quality  Assurance  (QA)  and  National  Qualifications  Framework  (NQF).”  2010.  PowerPoint  presentation  from  the  Tbilisi  Regional  Seminar  on  Quality  Management  in  the  Context  of  National  Qualifications  Framework,  Tbilisi,  November 4‐5. http://slideplayer.us/slide/2473918/  Avagyan,  Aram.  2010.  “Development  and  Introduction  of  National  Qualification  Framework  in  Armenia.”  Presentation  sponsored by the Global Developments Fund AE & LLL Association, Armenia.  Corradini, Milena. 2010. “Torino Process, 2010: Armenia.”  European Training Foundation.   Dolgova‐Dreyer,  Katia.  2010.  Presentation  on  “Development  of  a  National  Qualification  Framework  in  Armenia:  Background and Cooperation with Council of Europe.”   Economy and Values (EV) Research Center and EV Consulting. 2010.  “National Competitiveness Report of Armenia 2010:  Higher education report.” Yerevan.   ______. 2012. “National Competitiveness Report of Armenia: Agenda for Upgrading Management Practices.” Yerevan.  European  Training  Foundation  (ETF)  and  GDF.  2010.  “Data  Base  of  the  Donors  and  Projects  in  the  Field  of  Vocational  Education and Training in Armenia.” Yerevan.   ______. 2010. “Support to Mobility Partnership” Project Implementation Plan (Work Programme). Turin.  ______. 2012. “Tracer Study of Recent Graduates From Vocational Education Institutions in Kotayk and Ararat Marzes of  Armenia.” Draft Report. Turin: European Training Foundation & Caucasus Research Resource Centers Armenia.  ______. 2013. “Torino Process 2012: Armenia.” Working paper. Turin.  Global Developments Fund (GDF).  Undated. “Draft Report on the Analysis of the Adequacy of Competences Provided by  VET System for Labour Market Requirements.” http://gdf.am/images/downloads/reportlm_eng.pdf  Hergnyan,  Manuk, Hovhannisyan, Sevak, Malumyan, Gohar, Atabekyan, Hovhannes, Arzumanyan, Ashot.  2010. National  Competitiveness  Report  of  Armenia  2010:  Higher  Education  Challenge  (in  English,  Armenian).  Yerevan,  Armenia:  Economy and Values Research Center.     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   44  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    National Center for Professional Education Quality Assurance, Foundation (ANQA). 2010. ANQA Strategic Plan 2010‐2015:  Transitional Period. Yerevan, Armenia:     http://www.anqa.am/en/Portals/0/ANQA%20Strategic%20Plan%202010‐2015_eng.pdf  Prokopenko, Joseph. 2008. “The Role of Republican Union of Employers of Armenia in Promoting Youth Employment and  Strengthening Professional Education Institutions.” Geneva: ILO, ACT/EMP.   Sargsyan, Arevik, Aram Manukyan, and Milena Corradini. 2009. “Educational Policies for Economic Competitiveness: The  Case Study of Lori and Tavush Marzes.” Yerevan: European Training Foundation and Global Developments Fund.     Tan,  Jee‐Peng,  Kiong  Hock  Lee,  Alexandria  Valerio,  and  Robert  McGough.  2013.  “What  Matters  for  Workforce  Development: A Framework and Tool for Analysis.” SABER Working Paper Series, No. 6.  Washington, DC: The World  Bank.  http://wbgfiles.worldbank.org/documents/hdn/ed/saber/supporting_doc/Background/WFD/Framework_SABER‐ WfD.pdf.    USAID Armenia. 2008. Armenian Engineering Workforce Survey. Yerevan.  USAID Armenia, RA Ministry of Economy, and Enterprise Incubator Foundation.  2009. Armenian Information Technology  Sector: Software and Services, 2009 Industry Report. Yerevan.   USAID CAPS Project. 2007. Tourism Skills and Knowledge Needs Assessment. Yerevan.  Valerio, Alexandria, Katia Herrera‐Sosa, Sebastian Monroy‐Taborda and Dandan Chen. Armenia Skills toward Employment  and Productivity (STEP) Survey Findings (Urban areas). Washington, DC: The World Bank.             SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   45  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    List of Informants The analysis is based on the legal framework documents and sector‐studies and analysis conducted in recent years.  During the study, 25 stakeholders were interviewed. These included experts, representatives, and decision‐makers from  the Ministry of Education, Ministry of Labor and Social Issues, Ministry of Economy, educational institutions, public  organizations, NGOs and civil society.      Name Institution Position Astghik Mirzakhanyan  Gov. of Armenia Head of Social Affairs Department Karine Harutyunyan  Ministry of Education and Science Deputy Minister Head of Development Programs  Robert Stepanyan Ministry of Education and Science and Monitoring Department Robert Abrahamyan Ministry of Education and Science Head of VET Department Chief of Vocational Education and Zara Grigoryan  Ministry of Education and Science Training Policy  and Strategy Division  Tatevik  Gasparyan The National Center of VET Development Director  Economic Development Policy Anetta Babayan   Ministry of Economy Department Head of Labor and Employment  Tadevos Avetisyan  Ministry of Labor and Social Issues Department  Haykuhi Gevorgyan  Youth Professional Orientation Center (YPOC) Director UNDP Armenia Vocational Education and  Karine Simonyan  Coordinator  Training (VET) System Project Head of Education and Training  Vahagn Hovhannisyan  Chamber of Commerce and Industry of RA Department Bagrat Yengibaryan  Enterprise Incubator Foundation Director  Aram Avagyan Global Developments Fund Director  Paruyr  Santrosyan  Yerevan Regional State College #1 Director  Hrach Grigoryan Yerevan Regional State College #2 Director  International Accounting Training Center Hasmik Sahakyan,  Executive Director Educational Fund  Deputy Team Leader, Workforce  Tigran Tananyan USAID Armenia EDMC Project Development Component Head of Branch Office/National  Lusine Kharatyan  Adult Education Development Cooperation Coordinator  Melik Gasparyan  AVAG Solutions Ltd Deputy CEO  Sevak Hovhannisyan EV Consulting   Lusine Kalantaryan National Statistical Service (NSS) Head of Labour Statistics Division Head of Social Sphere and Nature   Nelly Baghdasaryan  National Statistical Service (NSS) Protection Division Artak Simonyan State Employment Services Agency Deputy head     SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   46  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 5: SABER‐WfD Scores        Policy Goal  Policy Action     Topic  G1_T1  2.0  G1  2.0  Provide sustained advocacy for WfD at the top leadership level  2.0  G1_T2  2.0  Establish clarity on the demand for skills and areas of critical  G2_T1  2.0  Dimension 1  2.0  constraint  G2_T2  2.0  G2  1.8  G2_T3  1.0  1.7  Engage employers in setting WfD priorities and in enhancing skills‐ 1.7  G2_T4  2.0  upgrading for workers  G2_T5  2.0  G3_T1  2.0  Formalize key WfD roles for coordinated action on strategic  G3  1.3  1.3  G3_T2  1.0  priorities  G3_T3  1.0  G4_T1  info  Provide stable funding for effective programs in initial, continuing  G4_T2  2.0  1.7  and targeted vocational education and training  G4_T3  2.0  G4_T4  1.0  G4  1.4  G4_T5_IVET  1.0  Monitor and enhance equity in funding for training  1.0  G4_T5_CVET  1.0  G4_T5_ALMP  1.0  Facilitate sustained partnerships between training institutions and  2.0  G4_T6  2.0  employers  Broaden the scope of competency standards as a basis for  G5_T1  1.0  Dimension 2  1.0  developing qualifications frameworks  G5_T2  1.0  G5_T3  2.0  1.7  Establish protocols for assuring the credibility of skills testing and  2.7  G5_T4  3.0  certification   G5  2.1  G5_T5  3.0  G5_T6  info  Develop and enforce accreditation standards for maintaining the  G5_T7  2.0  2.3  quality of training provision  G5_T8  3.0  G5_T9  2.0  Promote educational progression and permeability through  G6_T1  2.0  1.5  multiple pathways, including for TVET students  G6_T2  1.0  G6_T3  1.0  G6  1.7  Strengthen the system for skills certification and recognition  1.5  G6_T4  2.0  Enhance support for skills acquisition by workers, job‐seekers and  G6_T5  3.0  2.0  the disadvantaged  G6_T6  1.0  G7_T1  3.0  G7_T2  2.0  Encourage and regulate non‐state provision of training  2.3  G7_T3  3.0  G7  2.3  G7_T4  1.0  G7_T5  2.5  Combine incentives and autonomy in the management of public  2.3  G7_T6  2.5  Dimension 3  training institutions  G7_T7  2.0  G8_T1  3.0  1.9  Integrate industry and expert input into the design and delivery of  G8_T2  1.5  1.6  public training programs  G8_T3  1.0  G8  1.8  G8_T4  1.0  Recruit and support administrators and instructors for enhancing  G8_T5  2.0  2.0  the market‐relevance of public training programs  G8_T6  2.0  Expand the availability and use of policy‐relevant data for focusing  G9_T1  2.0  G9  1.7  providers' attention on training outcomes, efficiency and  1.7  G9_T2  1.5  innovation  G9_T3  1.5         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   47  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 6: Validation Workshop Report  Congress Hotel, Yerevan, February 28, 2013   Number  of  Participants:  27  (including  Caucasus  Research  Resource  Centers  staff  and  guest  presenter  M.  Mulatu,  World  Bank)   Divided into two groups, the participants’ discussions on the results from the SABER‐Workforce Development (WfD) data  collection instrument resulted in the following:    Participants  didn’t  agree  with  about  45  percent  of  scores  given  to  different  topics,  arguing  that  scores  should’ve been lower.   In  the  group  where  non‐government  representatives  dominated,  the  share  of  scores  to  be  lowered  was  higher.   There  were  some  areas  where  the  scores  given  to  the  topics  were  found  to  be  too  low,  such  as  the  coordination of strategic policy towards WfD, the actions to assure the quality of education provided by non‐ state institutions, and use of administrative data. Here, the participants said the scores could be a bit higher.  The key message from the discussions was this: Although strategic documents and laws are in place and the direction of  WfD is identified, what is written is not always—and in most cases is not—translating into adequate action.     The participants made the following comments and suggestions:  Comments:    The  strategic  directions  of  WfD  are  formally  identified,  but  actions  to  support  the  implementation  are  not  sufficient and the score “3” is high for this topic.   The leaders of WfD are formally identified, but none of them is really active enough to make a difference.   Although  the  economic  perspectives  are  well  identified,  the  skills  implication  is  not  assessed  at  all:  the  government thinks that business does not share information openly, which makes it difficult to do an impact  assessment.  The  NGO  and  international  organizations  representatives  said  the  mechanisms  for  policy  implementation, monitoring, and impact assessment are weak or even nonexistent.   Although the economic development priorities are identified, the skills needed are not well.   The  role  of  government  versus  private  sector  is  identified  somewhat,  but  it  has  a  more  formal  nature  and  works only at the higher national level.   The  employers’  representatives  said  employers  shouldn’t  be  engaged  in  identifying  facility  standards  for  training institutions.   Although the state educational institutions, according to the current regulations, have autonomy, in practice  its realization is not sufficient.   Employers  and  their  associations’  participation  and  cooperation  are  almost  nonexistent  at  the  tertiary  level.  Although it is institutionalized, the cooperation between employers and educational/training institutions and  coordination is weak and in most cases based on personal relationships. One of the comments that was made  by both working groups is that the first dimension should clearly separate the issue of strategy setting, which  is generally reflected in documents and agenda, from the issue of decision making, which is likely to be quite  different.   At present, incentives for employers do not encourage them to help increase employee motivation.  Suggestions and priorities:    The policy implementation and impact assessment mechanisms’ development and realization is a priority.   Reviewing  the  developed  standards  of  occupations  in  accordance  with  the  economic  priorities  is  a  priority,  along  with  provision  of  incentives  for  employers  to  update  skills.  The  development  of  other  mechanisms  of  standards’  assessment  is  a  priority,  too.  Check  whether  the  existing/developed  standards  correspond  to  the  priority directions of the economy.      SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   48  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014     The  role  of  social  partnership  should  be  increased,  as  well  as  the  participation  and  role  of  employers  in  governing  the  educational  institutions  should  be  strengthened.   One  of  the  priorities  and  recommendations  to be addressed is to include suggestions on how to address the sub‐national coordination, which is noted as  an issue in the presentation.    Financial  resources  allocated  by  the  state  budget  are  scarce  and  disconnected  with  performance  of  training  institutions; therefore implementation of performance‐based financing is a priority, and the development and  implementation  of  a  monitoring  and  assessment  mechanism  to  support  the  performance‐based‐financing  is  critical.    Real  autonomy  for  educational  institutions  is  important;  therefore  the  improvement  of  mechanisms  to  translate the law into action in this regard is a priority.   Creating incentives for the real engagement of employers especially at the sub‐national level is an issue to be  addressed.   To summarize the findings from the workshop, we could state:  The key message is that although the strategies of economic  development are there and priorities have been identified,  the  assessment  of  skills  needed  for  the  economy  in  general  and  in  priority  sectors  in  particular  is  not  sufficient,  if  not  nonexistent.  The coordination between stakeholders and government agencies requires further improvement and strengthening.    The main issue is the discrepancy between the declared intentions for WfD and the decision making and actual action. As  the latter is the weakest link in the Armenian reality, the scores should be lower.  There is disagreement with many of the scores, with the group suggesting downgrading in almost all cases (with a couple  of exceptions), but this is improved a bit by a discussion of the rubrics by thematic area.  There appears to be general agreement that the weight given to theoretical and documented intentions is greater than  what is rated with regard to actual practice.  Education standards evaluation is being done only at the end of cycles of training for VET, while the best option would be  to do evaluations mid‐term (so that corrective action can be taken before they graduate).          SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   49  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014    Annex 7: Authorship and Acknowledgements  This report is the product of collaboration between Susanna Karapetyan and Heghine Manasyan of the CRRC‐Armenia  Center and staff at the World Bank, comprising Meskerem Mulatu, Dandan Chen as well as Jee‐Peng Tan, Ryan Flynn and  Sankalpa Dashrath, leader and members, respectively, of the SABER‐WfD team based in the Education Global Practice.  Susanna Karapetyan and Heghine Manasyan collected the data using the SABER‐WfD data collection instrument,  prepared initial drafts of the report, and finalized the report; the World Bank team scored the data, designed the  template for the report, and made substantive contributions to the final write up. Thanks and appreciations also go to  Andrew Loizeaux for editing the initial report, Anna Olifir and Xiaoyan Liang of the World Bank for their useful  comments, as well as to those colleagues from CRRC‐Armenia and different local and international organizations and  institutions in Armenia, who assisted in the project.     The research team acknowledges the support of all who have contributed to the report and its findings, including  informants, survey respondents, participants at various consultation workshops, as well as other members of the SABER‐ WfD team at the World Bank: Rita Costa, Viviana Gomez, Rijak Grover, Kiong Hock Lee, Joy Yoo‐Jeung Nam, Brent  Parton, and Alexandria Valerio. The research team gratefully acknowledges the generous financial support of the  Government of the United Kingdom through its Department of International Development’s Partnership for Education  Development with the World Bank, which makes it possible for the SABER‐WfD team to provide technical support to the  principal investigators in the form of standardized tools for and guidance on data collection, analysis, and reporting. The  team also acknowledges the contribution by the World Bank and the Government of Armenia in supporting the country‐ specific aspects of this research.         SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   50  ARMENIA ǀ WORKFORCE DEVELOPMENT      SABER COUNTRY REPORT |2014      www.worldbank.org/education/saber The Systems Approach for Better Education Results (SABER) initiative  produces  comparative  data  and  knowledge  on  education  policies  and  institutions,  with  the  aim  of  helping  countries  systematically  strengthen  their  education  systems.    SABER  evaluates  the  quality  of  education policies against evidence‐based global standards, using new  diagnostic  tools  and  detailed  policy  data.  The  SABER  country  reports  give  all  parties  with  a  stake  in  educational  results—from  administrators,  teachers,  and  parents  to  policymakers  and  business  people—an  accessible,  objective  snapshot  showing  how  well  the  policies  of  their  country's  education  system  are  oriented  toward  ensuring that all children and youth learn.        This  report  focuses  specifically  on  policies  in  the  area  of  Workforce  Development.  This work is a product of the staff of The World Bank with external contributions.  The findings, interpretations, and conclusions  expressed  in  this  work  do  not  necessarily  reflect  the  views  of  The  World  Bank,  its  Board  of  Executive  Directors,  or  the  governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The boundaries,  colors,  denominations,  and  other  information  shown  on  any  map  in  this  work  do  not  imply  any  judgment  on  the  part  of  The  World Bank concerning the legal status of any territory or the endorsement or acceptance of such boundaries.      SYSTEMS APPROACH FOR BETTER EDUCATION RESULTS   51