Infrastructure, Learning Complements, and Student Learning: Working Together for a Brighter Future Akiko Sawamoto and Jeffery H. Marshall November 23, 2020           This  report  is  a  product  of  the  staff  of  the  World  Bank,  supported  by  funding  from  the  Australian  Government.  The  findings,  interpretations,  and  conclusions  expressed  in  this  report  do  not  necessarily  reflect  the  views  of  the  Executive  Directors  of  the  World  Bank  or  the  governments  they  represent,  or  the  Australian Government. The World Bank does not guarantee the accuracy of the data included in this work.  The boundaries, colors, denominations, and other information shown on any map in this work do not imply  any  judgment  on  the  part  of  the  World  Bank  concerning  the  legal  status  of  any  territory  or  the  endorsement or acceptance of such boundaries.    © 2020 The World Bank   1818 H Street NW, Washington DC 20433   Telephone: 202‐473‐1000  www.worldbank.org    The  material  in  this  publication  is  copyrighted.  Copying  and/or  transmitting  portions  or  all  of  this  work  without permission maybe a violation of applicable law. The World Bank encourages dissemination of its  work and will normally grant permission to reproduce portions of this work promptly.     For  permission  to  photocopy  or  reprint  any  part  of  this  work,  please  send  a  request  with  complete  information  to  the  Copyright  Clearance  Center,  Inc.,  222  Rosewood  Drive,  Danvers,  MA  01923,  USA,  telephone 978‐750‐8400, fax 978‐750‐4470, http://www.copyright.com/.    All  queries  on  rights  and  licenses,  including  subsidiary  rights,  should  be  addressed  to  World  Bank  Publications,  The World Bank  Group, 1818 H Street NW, Washington, DC 20433, USA; fax: 202‐5222625;  e‐mail: pubrights@worldbank.org.                            1      Table of Contents  Abstract ......................................................................................................................................................... 4  ....................................................................................................................................... 5  Acknowledgements  Abbreviations and Acronyms ........................................................................................................................  6  1.  Introduction .......................................................................................................................................... 7  2.  Methodology ........................................................................................................................................ 9  2.1  Quantitative Component ............................................................................................................  10  2.1.1  Data ..................................................................................................................................... 10  2.1.2  Methods ..............................................................................................................................  10  2.2  Qualitative Component ...............................................................................................................  12  2.2.1  Data: Approach and sample selection ................................................................................  12  2.2.2  Methods ..............................................................................................................................  12  3.  Quantitative Results and Discussion ...................................................................................................  14  3.1  Infrastructure in the Madrasah Sector .......................................................................................  14  3.1.1  .........................................................................................  14  Summary of basic infrastructure  3.1.2  .......................................................................  16  Comparisons of infrastructure across strata  3.1.3  ................................................................................  20  Multivariate analysis of infrastructure  3.2  Infrastructure and Student Achievement ...................................................................................  23  3.2.1  SDI sample ...........................................................................................................................  23  3.2.2  EMIS data ............................................................................................................................  27  3.3  Summary and Discussion of Quantitative Results ......................................................................  32  4.  Qualitative Findings and Discussion ...................................................................................................  34  4.1  Commonly Identified Initiatives and Good Practices across the Sample Schools ...................... 34  4.1.1  Teacher professional development responsive to teacher and student needs ................. 34  4.1.2  Literacy initiatives at the school level .................................................................................  35  4.1.3  Customized teaching and learning ......................................................................................  37  4.2  Remaining Challenges Identified in the Sample Schools ............................................................ 39  4.2.1  Disconnect between pedagogical and infrastructural quality assurance mechanisms ...... 39  4.2.2  Underutilization of libraries as resources for student learning .......................................... 40  4.2.3  Limited conduciveness of learning spaces and assets to science education ...................... 45  4.3  Adoption of EdTech by the Sample Schools ...............................................................................  46  4.3.1  Growing integration of EdTech into classrooms ................................................................. 47  4.3.2  ..........................................................................  50  Remaining gaps and challenges in EdTech  2      4.4  Implications of the COVID‐19 Crisis for Distance Learning ......................................................... 53  4.4.1  Bottlenecks faced by the sample schools ...........................................................................  53  4.4.2  Key takeaways .....................................................................................................................  54  4.5  Summary and Discussion of Qualitative Findings .......................................................................  55  5.  Conclusion and Recommendations ....................................................................................................  58  References .................................................................................................................................................. 62  Appendix A: Literature Review on How School Infrastructure Impacts Learning ...................................... 65  Appendix B: List of Schools Interviewed .....................................................................................................  68  Appendix C: Quantitative Data Appendix ...................................................................................................  69  Appendix D: Analyses of School Size Effects ...............................................................................................  77    3      Abstract     The purpose of this  mixed  methods study was twofold: (i)  to examine how school infrastructure and   learning   complements   could   be   better  utilized   to   promote   student   learning  in   Indonesian   schools;   and  (ii)   to  help  the  relevant  ministries  make  more  informed  decisions  about  investment  in  school  infrastructure  and  learning  complements.  Three  analyses  were  conducted  in  the  quantitative  component: descriptive and comparative analyses of madrasah infrastructure, and a multivariate analysis  of  madrasah  infrastructure  and  student  achievement.  The  qualitative  component  employed  the   intentional   sampling  and  positive‐ deviance   approach   consisting   of   semi‐structured  phone  interviews  with  principals,   teachers,  librarians,   and  parents  from  20  madrasah   and   non‐madrasah   schools  (11  high‐performing  secondary  schools  with  science   laboratories   and  nine  primary  schools   with  libraries  of  which  eight  were  supported  by  the  Innovation  for  Indonesia’s  School  Children  Program, which  aims  to  improve students’ literacy  and  numeracy skills).  The results of the descriptive  and comparative analyses indicated that the madrasah sector as a whole is not adequately equipped with  basic  physical  and  learning  resource  infrastructure  and  that  private  madrasahs  have  significantly  lower  levels  of  infrastructure  than  their  public  counterparts.  However,  the  multivariate  analysis  results  did  not  conclusively  show  that  infrastructure  directly  contributes  to  student  learning  outcomes.  The  qualitative  analysis  found  some  promising  learning  practices  related  to  teachers’  professional  development,  literacy  initiatives, and customized teaching and learning. Nevertheless, challenges remain for many schools in the  disconnect  between  pedagogical  and  infrastructural  quality  assurance  mechanisms,  the  failure  to  fully  exploit libraries as resources for student learning, and learning spaces and assets that are not sufficiently  conducive  to  science  education.  Based   on  the  study  results   and  findings,   this  report   offers  four  key   steps to address the main challenges  related to school infrastructure and learning  complements: (i)  prioritize  resource  allocation  to  basic   physical  and  digital  infrastructure   for  the   most  underserved   groups  of   students;  (ii)   leverage  educators   to  maximize  their  potential  as  catalysts  in  facilitating   improved teaching  and learning  processes  through an  innovative and  effective utilization of learning   spaces   and   complements;   (iii)   streamline   and  strengthen  quality   assurance   mechanisms   to  document,  monitor,  and  assess  the  quality,  condition,   and  use  of  infrastructure  and  related  assets,   and   to   improve  the   links   between  school   infrastructure   management  and   learning   quality   management;  and   (iv)   increase  the  overall  resilience   of  the  education   system   to   future  crises  by   strengthening  its  capacity  to   coordinate,   monitor,  and   manage  the   continued   delivery  of  equitable   education  services  through distance   and hybrid learning.          4      Acknowledgements     This   Infrastructure,  Learning  Complements,   and   Student   Learning:  Working   Together  for  a  Brighter   Future  study   was  prepared  by   Akiko  Sawamoto   and  Jeffery  H.   Marshall.  We  are  highly   indebted   to   Noah  Bunce  Yarrow  and  Toby  Linden   for  their  guidance,  advice,  and  insights,   and  to   Satu  Kristiina   Kahkonen  for  her  overall  guidance.  Alexander  Michael  Tjahjadi  provided  excellent   logistical  and   research  assistance   by  facilitating  a  scoping  mission,   conducting   interviews,  producing  interview   summaries,  and  offering  data   support  for   the   quantitative   analysis.  We   are  also   very   grateful   to   Noviandri  Nurlaili  Khairina   for  her   contribution   to   the   literature  review   and   additional   input,   Dedy  Junaedi  for   his   assistance  with   phone  interviews,  Eddy   Quach  Trang   for  his   extensive  support   and  input  at  various   stages  of  the  study,  Rythia  Afkar  for  her  feedback  and  suggestions   for  the  study   design,   and   Ratna   Kesuma  for   her   helpful   input.  Deepali Gupta, Sylvia   Njotomihardjo,  and  Ruwiyati   Purwana provided first‐rate coordination and administrative support. The  report has  also  benefited   from valuable insights  and comments  offered by  peer reviewers: Tigran  Shmis, James Gresham, and  Iwan Gunawan. We  also  thank  Peter   Milne for editing  the  report.   We  are  thankful  to   the  Ministry  of  National  Development   Planning  of  the  Republic  of  Indonesia,   Ministry  of  Religious   Affairs,  Ministry  of  Education  and   Culture,   and   Ministry  of  Finance   for  their  advice and support in  undertaking  this  work.   Finally,   we   want   to   acknowledge   and  express   our  gratitude  to   the  Department of Foreign Trade and  Affairs  of  the  Australian  Government  for  their  generous  funding,  useful  comments  on  an  earlier  draft  of  the  study,  and  assistance  in  administering  interviews  with  school  stakeholders  of  the  Innovation  for  Indonesia’s  School  Children  program,  which  is  operating  under  a  partnership  agreement  between  the  Governments of Australia and Indonesia.         5      Abbreviations and Acronyms    BAN‐SM  Badan Akreditasi Nasional Sekolah (National Accreditation Body of Schools and  Madrasahs)   Bappenas  Ministry of National Development Planning of the Republic of Indonesia   BOS  Bantuan Operasional Sekolah (School Operational Assistance)  Dapodik  Data Pokok Pendidikan  EMIS  Education Management Information System  GLOSI  Global Library of School Infrastructure  ICT  Information and Communications Technology  INOVASI  Inovasi untuk Anak Sekolah Indonesia (Innovation for Indonesia’s School  Children)  ISBN  International Standard Book Number   MoEC  Ministry of Education and Culture  MoRA  Ministry of Religious Affairs  MSS  Minimum Service Standards  NES  National Education Standards  OECD  Organisation for Economic Co‐operation and Development  OLS      Ordinary Least Squares   SDI      Service Delivery Indicator  SEAMEO    Southeast Asian Ministries of Education Organization   SES      Socioeconomic Status  Simsarpras    Sistem Informasi Manajemen Sarana dan Prasarana   TPD      Teacher Professional Development  UN       Ujian Nasional (National Exam)           6      1. Introduction     Growing  international  evidence  points  to  two  key  variables—school  infrastructure  and  teachers—that  affect the quality of education service delivery and student achievement. The remaining questions are as  follows: how can these variables work together to support student learning? What roles should teachers  play when utilizing infrastructure and learning complements1 in such a way as to maximize the quality of  learning?    More  recently,  the  educational  disruptions  generated  by  the  COVID‐19  pandemic  have  presented  an  opportunity to revisit how infrastructure resilience needs to be enhanced to prepare the education system  to  better  respond  to  future  shocks.2 As  schools  transitioned  into  remote  learning,  the  disruptive  event  prompted educators to reimagine their roles in optimizing the accessibility and effectiveness of education  delivery for students by using educational technology more extensively.      Since  the  approval  of  the  Realizing  Education’s  Promise:  Support  to  Indonesia’s  Ministry  of  Religious  Affairs  for  Improved  Quality  of  Education  Project  on  June  26,  2019,  the  World  Bank  has  supported  the  implementation of the scheme, which is the first World Bank‐financed project to be implemented by the  Ministry  of  Religious  Affairs  (MoRA).  The  project  aims  to  improve  the  management  of  primary  and  secondary education services under MoRA. Among its key priorities is addressing the issues of poor quality  assurance  mechanisms observed in  madrasahs and the low professional competency of MoRA  teachers.  More than half of MoRA schools do not meet the required minimum National Education Standards (NES),  which list facilities and infrastructure as one of the eight standards to which standards apply3 (World Bank  2019;  2020b),  while  very  limited  continuous  professional  development  opportunities  are  available  to  MoRA  teachers.  Given  that  MoRA  enrolls  economically  vulnerable  students  at  a  higher  rate  than  the  Ministry  of  Education  and  Culture  (MoEC),  the  shortfalls  of  accredited  madrasahs  and  teachers  with  full  professional competency have negative implications for student learning.        In  this  context,  the  Ministry  of  National  Development  Planning  of  the  Republic  of  Indonesia  (Bappenas)  has  requested  support  from  the  World  Bank  to  conduct  an  assessment  to  determine  how  the  infrastructure  of  madrasahs,  especially  their  libraries  and  science  laboratories,  might  affect  student  learning. In response to this request, the World Bank has proposed  to undertake a mixed methods study  in  cooperation  with  MoRA  that  aims  to  achieve  the  following:  (i)  to  examine  how  school  infrastructure  and  learning  complements  could  be  better  utilized  to  promote  student  learning  in  Indonesian  schools;  and (ii) to help  the relevant ministries (in particular MoRA and Bappenas) make more informed decisions  about investment in school infrastructure and learning complements to improve learning.     There is a growing body of evidence suggesting close links between the quality of: (i) school infrastructure  and facilities; and (ii) student outcomes. In The Impact of School Infrastructure on Learning: A Synthesis of  the Evidence, Barrett et al. (2019) illustrate how school infrastructure affects children’s learning outcomes.  1 In this report, we define learning complements as the non‐infrastructural educational resources and practices that support  student learning.   2 Given the growing importance of digital infrastructure and educational technology to learning amid the COVID‐19 crisis, the  definition of infrastructure in this report encompasses both digital and physical infrastructure. In particular, the qualitative  component of the study includes an analysis of how EdTech has been adopted by the sampled schools and highlights their  experiences and challenges with the use of EdTech and the implementation of distance learning during the pandemic.  3 The NES consists of eight standards: (i) graduate competence, (ii) education content, (iii) learning process, (iv) education  assessment, (v) teachers and education personnel, (vi) facilities and infrastructure, (vii) management, and (viii) education  funding.   7      Based  on  its  review  and  synthesis  of  existing  research,  the  study  identified  the  key  conditions  that  can  positively contribute to students’ academic performance: ensuring access to safe and healthy schools, as  well as facilitating optimal learning spaces that have certain physical characteristics. Similarly, through its  Learning  Environments  Evaluation  Programme,  the  Organisation  for  Economic  Co‐operation  and  Development  (OECD)  has  taken  the  initiative  to  accumulate  evidence  on  how  physical  environments  impact  learning.  The  OECD  has  also  taken  the  lead  in  creating  best  practice  guidelines  to  assist  OECD  countries in developing physical learning environments that meet the learning needs of the 21st century  and  guide  investment  decisions.  Nevertheless,  more  evidence‐based  research  is  needed  to  provide  insights into the impact of school infrastructure and facilities on learning in different climatic and cultural  settings,  especially  in  non‐OECD  countries.  Moreover,  there  is  a  need  for  further  investigation  into  how  specific  types  of  investments  in  educational  facilities  and  spaces  could  translate  into  improved  learning  outcomes.     This  study  has  been  informed  by  the  findings  of  An  Independent  Verification  of  Education  Sector  Data  in  Indonesia  (hereinafter  referred  to  as  “the  data  verification  study”)  (World  Bank,  forthcoming),  a  forthcoming  World  Bank  study  on  the  reliability  of  data  on  the  infrastructure  of  Indonesian  schools  recorded  in  two  major  education  data  systems  in  Indonesia:  Data  Pokok  Pendidikan  (Dapodik)  and  the  Education  Management  Information  System  (EMIS).  While  Dapodik  is  managed  by  MoEC,  EMIS  is  under  the  management  of  MoRA,  which  oversees  madrasahs.  The  study  compares  the  results  of  field  surveys  conducted via direct observation in 191 schools and madrasahs in six provinces, as well as the information  recorded in the Dapodik and the EMIS via self‐reporting. It reveals that there is a weak quality‐assurance  mechanism  for  monitoring  madrasah  infrastructure,  which  essentially  lacks  direct  verification  and  validation processes in practice, causing significant discrepancies between the self‐reported information  and  the  actual  conditions  of  school  infrastructure.4 For  example,  among  the  72  sampled  madrasahs,  39  madrasahs (54 percent) had a mismatch in the number of “mildly damaged” classrooms between the self‐ reported  data  recorded  in  the  EMIS  and  the  results  of  the  field  surveys  conducted  through  direct  observations.  Of  the  39  madrasahs,  six  were  found  to  have  over‐reported  the  number  of  “mildly  damaged”  classrooms  and  36  were  found  to  have  under‐reported.  The  average  gap  between  the  EMIS  data and the field survey results was 3.5 classrooms per madrasah for the six over‐reporting madrasahs,  and  it  was  3.6  classrooms  for  the  33  under‐reporting  ones.  Overall,  the  observed  discrepancy  rate  of  “mildly  damaged”  classrooms  among  the  sampled  madrasahs  was  1.9  classrooms  per  madrasah.  The  comparison  of  the  Dapodik  data  and  field  survey  results  also  presented  a  similar  data  mismatch;  the  average  gap  was  lower  in  primary  and  junior  secondary  schools  (0.4  classrooms  per  school),  compared  with that in senior secondary schools (about three classrooms per school).     Furthermore,  the  World  Bank  study  also  points  to  the  limitations  of  the  EMIS,  which  covers  basic  information  on  madrasah  infrastructure  (e.g.,  the  number  and  condition  of  classrooms,  libraries,  and  laboratories)  but  provides  little  information  on  the  condition/quality  of  assets  attached  to  the  infrastructure  (e.g.,  the  quality  and  relevance  of  books,  availability  of  competent  librarians/laboratory  technicians/laboratory  teachers,  adequacy  of  laboratory  instruments  and  supplies)  or  any  associated  practices  in  place  to  complement  student  learning  (e.g.,  training  opportunities  for  teachers/librarians/laboratory  technicians  to  improve  their  skills  in  the  effective  use  of  educational  materials/equipment).     4 According to the World Bank study (forthcoming), the propensity for madrasahs to under‐report their school conditions in  EMIS was mainly because the EMIS is used for accreditation purposes. However, in Sistem Informasi Manajemen Sarana dan  Prasarana (Simsarpras), madrasahs tend to over‐report the number and level of damaged facilities because it is used as the  basis for infrastructure grant allocations.  8      To  address  the  Government’s  interest  in  understanding  the  role  of  learning  spaces,  particularly  libraries  and  science  laboratories  in  improving  student  performance,  this  study  delineates  an  overall  picture  of  madrasah  infrastructure  and  linkages  between  infrastructure  and  student  achievement,  as  well  as  highlights  innovative  practices  and  challenges  faced  by  the  sampled  schools  as  they  pursued  improved  student learning.     2. Methodology    To  analyze  the  relationships  between  school  infrastructure,  learning  complements,  and  student  achievement,  the  study  employs  a  mixed  methods  approach.  The  mixed  methods  approach  was  chosen  for this study based on the assumption that it would allow for a more holistic understanding and nuanced  picture  of  what  aspects  (or  variables)  of  school  infrastructure  and  learning  complements  contribute  to/affect  student  learning  outcomes,  and  how  the  complementarity  of  the  variables  facilitates  better  student  learning.  The  following  overarching,  as  well  as  quantitative  and  qualitative  research,  questions  were formulated as guides for developing the data collection and analysis instruments.      Overarching Research Question:    How  could  school  infrastructure,  in  particular  libraries  and  science  laboratories,  and  learning  complements be better utilized to improve student learning in the context of Indonesian schools?   Quantitative Research Questions:    What does  the average  madrasah look like in terms of infrastructure, and  how  many madrasahs  appear to have deficient levels of infrastructure?   What are the key variables that predict school infrastructure levels?   How is infrastructure related to student achievement levels?  Qualitative Research Questions:    What  are  the  key  elements  that  characterize  good  practices  in  the  use  of  infrastructure  and  learning complements?     How can schools transform the use of their infrastructure and learning complements in a way that  leads to improved student learning?    To address these questions, the quantitative analysis focuses on two sources of information, namely the  2019 Service Delivery Indicator (SDI)5 survey results and the 2018 EMIS data merged with National Exam  (Ujian  Nasional  or  UN)  scores,  while  the  qualitative  analysis  draws  on  data  collected  through  semi‐ structured  phone  interviews  with  a  total  of  79  participants,  including  76  school  stakeholders  (school  principals, teachers, librarians, and parents) and three practitioners (one MoRA official and two regional  coordinators  of  the  Innovation  for  Indonesia’s  School  Children  (Inovasi  untuk  Anak  Sekolah  Indonesia,  INOVASI) program).6     The  parallel  (not  sequential)  conduction  of  the  quantitative  and  qualitative  data  analyses  presented  a  challenge  to  the  utilization  of  the  quantitative  analysis  results  in  such  a  way  that  guides  the  qualitative  5 The SDI is a sample‐based nationally representative survey conducted under a World Bank initiative in different countries to  provide data that focus mainly on the performance and quality of service delivery and learning environments in schools.   6 The INOVASI program has been operating under a partnership agreement between the Governments of Australia and  Indonesia to improve primary education learning outcomes, particularly in the areas of literacy and numeracy.   9      data  collection.  Nonetheless,  as  highlighted  in  the  qualitative  analysis  section,  some  areas  identified  as  critical  in  the  preliminary  results  of  the  quantitative  analysis  (e.g.,  the  implications  of  the  association  between  the  frequency  of  quality  assurance  visits  and  higher  levels  of  infrastructure,  and  the  linkage  between  the  number  of  computers  for  teachers  use  and  student  performance)  were  followed  up  in  the  qualitative analysis to understand more fully how these variables might be linked to student achievement  levels.          2.1 Quantitative Component It is generally established in the literature that school infrastructure is positively correlated with student  achievement (see Appendix A). However, by focusing on the infrastructure indicators in the SDI and EMIS  datasets,  it  is  possible  to  provide  an  updated  summary  of  both  the  availability  of  infrastructure  and  its  relationship to student achievement levels in the madrasah sector.    2.1.1 Data Two sources of information were employed for the quantitative data analysis. The SDI data were collected  in  a  sample  of  350  primary  schools  from  February  to  March  2019.  The  sample  includes  253  madrasahs  that  were  randomly  chosen  from  across  the  country,  although  the  sample  is  not  large  enough  to  make  comparisons across provinces. The two main advantages with the SDI data are the range of variables that  are  available  from  students,  teachers,  school  directors,  parents  and  classrooms,  and  the  careful  measurement  by  trained  enumerators  who  visited  the  schools  to  conduct  interviews,  as  well  as  observe  classrooms  and  school  grounds.  Measures  of  student  achievement  are  available,  as  well  as  multiple  indicators related to infrastructure and school resources.    The EMIS data are administrative data collected by MoRA that cover all Islamic madrasahs in the country.  For this study the 2018 EMIS data are used. The advantage with the EMIS is the geographic coverage: over  50,000  madrasahs  from  primary,  junior  secondary  and  senior  secondary  levels  are  included.  However,  there are two main limitations with the EMIS.  First, the number of variables available is not as extensive  as in the SDI survey, although for infrastructure there are multiple variables related to physical conditions  and resources, including laboratories. Second, the self‐reported nature of the EMIS raises some concerns  about data validity, and the data verification study (World Bank, forthcoming) found that school‐reported  infrastructure  conditions  were  often  not  accurate.  For  this  reason,  the  infrastructure  measures  used  in  this  study  focus  on  the  presence  of  infrastructure  components  such  as  laboratories,  and  not  on  the  number or condition of these elements.     The  EMIS  data  are  merged  with  UN  test  score  results  to  expand  the  reach  of  the  analysis.  The  UN  test  scores are available as school averages by subject (and overall average) for all junior and senior secondary  schools. Also, the UN Integrity Index is available for 2018 and is used to adjust school average test scores  based on how reliable the data are by school. Higher scores on the integrity index suggest lower levels of  copying/cheating on the tests, while lower scores indicate higher levels of copying/cheating. The adjusted  UN school averages are obtained by taking the raw score and multiplying it by the Integrity Index/100.       2.1.2 Methods The  data  analysis  involves  three  sets  of  activities.  First,  basic  statistics  (means,  t‐tests,  scatterplots,  etc.)  are used throughout the study to describe infrastructure conditions in Indonesian madrasahs, and make  comparisons across categories, such as private and public. Second, factor analysis is used to create a single  measure  of  infrastructure  in  the  SDI  and  EMIS  data  files.  Factor  analysis  is  a  data  reduction  tool  that  facilitates  comparisons  of  infrastructure  levels  across  schools  (and  districts,  provinces),  especially  when  10      there  are  many  individual  infrastructure  indicators  available.  Since  most  of  the  infrastructure  measures  are based on a 0‐1 dichotomy (No‐Yes have this feature), a polychoric factor specification is incorporated.  Third,  multivariate  analysis  is  used  to  analyze  the  covariates  of  the  infrastructure  factor  and  student/school  test  scores.  For  the  school‐level  infrastructure  dependent  variable,  the  purpose  of  the  multivariate work is to identify school and other factors that are associated with higher or lower levels of  infrastructure.  The  main  predictors  include  public‐private,  size  of  school,  location  (urban‐rural),  school  socioeconomic status (SES) (in the SDI survey), accreditation (in the EMIS), and other variables.     The multivariate analysis of test scores is incorporated to estimate the effect of infrastructure on student  achievement. This is done using different specifications and test subjects. The main findings are based on  a  stepwise  regression  approach  that  begins  with  the  infrastructure  factor  included  in  the  model  as  a  predictor of student test scores, together with some basic controls. And then blocks of variables are added  to the model to assess the stability of the infrastructure impact, and in the complete (or full) model obtain  an estimate of the marginal (or direct) effect of infrastructure on student achievement.     The multivariate work incorporates sampling weights and standard errors that are corrected for clustering  by  the  school  or  district  level.  Most  of  the  reported  results  are  based  on  Ordinary  Least  Squares  (OLS)  linear  regression,  although  additional  estimations  based  on  a  mixed  model  (HLM)  random  effect  specification are also presented.       Finally, it is important to clearly state that the regression work in this study is not causal, and the significant  predictors of school infrastructure levels and test scores are “statistical associations” only. Cross‐sectional  data (i.e., data measured in one point in time) have serious limitations for estimating causal effects, and  this  issue  is  compounded  by  the  non‐random  assignment  of  elements,  such  as  infrastructure.  In  fact,  because infrastructure is likely to be correlated with school management quality and community/parent  engagement  in  the  school,  it  is  an  especially  difficult  factor  to  isolate  in  terms  of  how  it  directly  impacts  student  achievement  levels. 7  For  this  reason,  the  results  from  the  multivariate  work  are  intended  to  provide  very  general  guidance  and  background,  but  should  be  added  to  with  additional  sources  of  information for a more complete picture.    Based on data availability (see above), the research questions are grouped into three lines of inquiry. First,  what does the average madrasah look like in terms of infrastructure, and how many madrasahs appear to  have deficient levels of infrastructure? This question can only be addressed at the primary level using SDI  data,  but  in  the  EMIS  all  madrasahs  from  all  three  schooling  levels  are  available.  It  is  important  to  note  that  this  study  does  not  include  a  definition  of  sufficient  infrastructure,  so  it  does  not  provide  precise  estimates  of  the  percentage  of  madrasahs  that  have  insufficient  infrastructure.  Nevertheless,  by  presenting  detailed  summaries  of  individual  infrastructure  components,  it  is  possible  to  draw  some  conclusions about the overall adequacy of infrastructure in the sector.      7 This problem is often referred to as Omitted Variable Bias (or “spurious” correlation). The intuition behind it is fairly  straightforward:  an observed relationship between two variables in a statistical model, even when controlling for many other  factors, may not reflect a direct relationship between those two variables, but may instead be a result of a third factor that is  correlated with both of the variables in the analysis but is itself not included in the analysis. For example, schools with high  levels of infrastructure—especially in poorer areas—may have very effective school leadership which has worked hard to  guarantee good working conditions.  But this effective management may also be impacting teacher management and  effectiveness in the classroom, as well as many other things that are associated with student achievement.  So if the school has  high test scores the statistical analysis will likely attribute at least part (or a lot) of that to the high levels of infrastructure, when  in reality other management factors that are not so easy to measure—and are generally not included in multivariate  modeling—are likely to explain why the school’s students are performing at a high level.  11      Second, what are the key variables that predict school infrastructure levels? As referenced in the methods  section above, the  SDI and  EMIS data include a range of variables that are  plausible predictors of school  infrastructure  levels.  This  line  of  inquiry  is  fundamentally  interested  in  inequality,  and  the  reasons  why  some  madrasahs  have  much  higher  levels  of  infrastructure  than  others.  This  can  be  linked  with  a  larger  research  literature  on  infrastructure  (Appendix  A),  as  well  as  policy  and  programming  discussions  in  Indonesia.    Finally,  how  is  infrastructure  related  to  student  achievement  levels?  Infrastructure  is  not  important  by  itself:    it  presumably  provides  students  and  teachers  with  resources  that  improve  the  teaching  and  learning  environment,  and  ultimately  leads  to  students  acquiring  more  knowledge.  This  is  not  an  easy  results  chain  to  fill  in,  and  for  some  infrastructure  components  it  may  be  especially  hard  to  establish  a  linkage  with  outcomes  such  as  learning.  Nevertheless,  a  critical  element  in  the  larger  study  of  infrastructure  in  Indonesia  is  the  linkage  with  student  achievement.  This  refers  to  both  the  overall  infrastructure  level  in  the  school,  as  well  as  how  individual  components  of  infrastructure  (especially  libraries and laboratories) are associated with student achievement levels.        2.2 Qualitative Component 2.2.1 Data: Approach and sample selection The  qualitative  analysis  sought  to  identify  good  practices  and  persistent  challenges  in  the  use  of  infrastructure and learning complements across the sampled schools (including digital infrastructure and  technology  for  education  [EdTech]).  The  intentional  sampling  method  and  positive‐deviance  approach  were  employed  for  the  qualitative  analysis.  The  positive‐deviance  approach  aims  to  uncover  successful  practices adopted by “positive deviants” through close observations of their activities and behavior and/or  through  interviews  (LeMahieu  et  al.  2017;  McKay  2017).  As  a  result,  it  is  possible  to  disseminate  the  identified practices to help others make a difference. Hence, the sample was intentionally selected from  among  schools  implementing  various  school‐wide  initiatives  to  promote  student  learning.  Using  this  approach,  two  groups  of  schools  were  selected:  (i)  11  high‐performing  secondary  schools  (based  on  UN  results) with science laboratories whose conditions are recorded in the EMIS and Dapodik as either “mildly  damaged” or “in good condition” and where various school‐led initiatives were being adopted to produce  strong  academic  results;  and  (ii)  nine  primary  schools,  of  which  eight  were  supported  by  the  INOVASI  program,  where  targeted  learning  initiatives  were  being  implemented  to  improve  the  literacy  and  numeracy skills of primary children in underserved communities. The sample was composed of a total of  20  schools8 in  six  provinces  (Bali,  Banten,  East  Java,  East  Nusa  Tenggara,  Jakarta,  and  North  Kalimantan)  across  different  regions.  Each  province’s  sample  included  a  mix  of  variants:  educational  level  (primary,  junior secondary, and senior secondary), location (rural and urban), and operation (10 schools operating  under MoRA and 10 under MoEC).    2.2.2 Methods For the qualitative analysis, semi‐structured interviews (30 to 40 minutes in length) were conducted9 over  the  phone  with  a  total  of  76  participants,  including  school  principals,  teachers,  librarians,  and  parents  8 A complete list of schools interviewed is included in Appendix B.   9 The initial design of the study involved conducting field visits using a combined set of instruments: (i) semi‐structured  interviews with principals and teachers; (ii) focus group discussions with parents and community leaders; and (iii) field  observations to systematically document the current state of learning spaces and complements of the sampled schools.  However, due to the onset of the COVID‐19 emergency and subsequent school closures and travel restrictions, the plan was  altered to conduct one‐on‐one phone interviews. Classroom, library, and science laboratory (where available) photos were also  collected from each school. The shift in interview format resulted in a drastic reduction in the number of questions asked and  their reorganization around the listed topics.  12      (Table 1). Although the school selection was made based on two key infrastructure components (science  laboratories  for  secondary  schools  and  libraries  for  primary  schools),  two  subject  teachers  (Bahasa  Indonesia  and  science/biology),  instead  of  only  science/biology  teachers,  were  interviewed  for  the  secondary  schools.  Given  that  the  selected  secondary  schools  are  among  the  top  performing  schools  in  the country in both literacy and science subjects, the interviews with both subject teachers were intended  to  shed  light  on  how  these  schools  are  using  learning  spaces  and  complements  to  improve  student  learning.     Table 1. Interview participants  Primary Level  School principal   9  Teacher   10  Librarian10  7  Parent  8  Secondary Level  School principal   10  Bahasa Indonesia teacher  11  Science/Biology teacher  11  Parent  10  Total   76    During the phone interviews, the following information was gathered:      Basic information about the condition of classrooms and technology used at the school;   The condition and quality of the library and science laboratories (including assets attached to the  learning spaces, such as books, textbooks, lab equipment, librarians, and laboratory technicians);    How  the  school  is  making  use  of  libraries,  science  laboratories,  and  learning  complements11 to  improve student learning;   Pathways and challenges faced by the school in pursuit of improved learning outcomes;   Quality assurance visits and their implications for student learning;   Community engagement in the planning and implementation of school budgets and activities, and  the mobilization of community resources to help students learn;   Sources of school funding and their uses to improve infrastructure and student learning; and   The  impact  of  the  COVID‐19  pandemic  on  school  learning,  including  the  school’s  COVID‐19  response  and  ongoing  efforts  to  facilitate  remote  learning  and  support  parents  to  ensure  students’ continued engagement in learning.   In addition, phone interviews were conducted with MoRA as the focal point and two regional coordinators  from the INOVASI program. In these interviews, MoRA was asked to provide information about “e‐learning  Madrasah,” a new online platform introduced to madrasah schools by MoRA during the pandemic, while  10 Of the seven librarians, six were from primary schools and one from a senior secondary school (MAN 9 Jakarta); MAN 9  Jakarta requested that the librarian have a phone interview in place of a parent because no parent was available on the  proposed interview date.   11 In addition to the use of learning materials and equipment, including those attached to libraries/science laboratories, the  interview participants were asked to share any innovative teaching/learning practices and school‐wide initiatives undertaken by  the school to support student learning. They were also questioned about training and support they receive on the use of  learning spaces/complements, as well as to enhance their professional competency and skills.  13      the INOVASI coordinators were requested to offer insights on how capacity building and teacher training  programs  supported  by  INOVASI  are  designed  to  meet  different  learning  needs  in  the  targeted  regions.  The  coordinators  were  also  asked  to  share  their  observations  of  the  challenges  faced  by  INOVASI‐ supported primary schools as they strive to improve their student learning outcomes.     3. Quantitative Results and Discussion  3.1 Infrastructure in the Madrasah Sector 3.1.1 Summary of basic infrastructure Tables 2 and 3 begin with a summary of the infrastructure measures in the SDI survey and the EMIS, and  comparisons  of  availability  across  private  and  public  madrasahs.  As  described  above,  the  SDI  sample  is  focused on the madrasah sector.  A small number of non‐madrasah religious schools were also included,  but their results are not presented here due to the very small sample size. The MoEC school results in the  SDI  survey  are  provided  simply  as  a  reference  point,  but  this  sample  is  also  small  (relative  to  the  population)  and  these  schools  were  not  randomly  chosen. 12  The  EMIS  data  cover  the  entire  national  population of madrasahs, and the numbers are therefore very large (bottom row of Table 3).     Infrastructure is defined quite broadly in this summary, and includes infrastructure components of schools  (toilets,  permanent  buildings,  etc.),  classroom  conditions  (electricity,  lighting,  Information  and  Communications  Technology  [ICT],  etc.)  and  hygiene,  school  resources  (namely  computers  and  technology) and classroom learning infrastructure (textbooks, guidebooks, etc.). These are essentially all  of the infrastructure‐related variables in SDI and EMIS.      The indicators in both tables are presented as percentages (0 to 100 percent): for example, 89.4 percent  of public madrasah schools in the SDI sample have separate toilets for staff members (Table 2).  Asterisks  (*) and grey shading are used to flag variables that are significantly different between public and private  madrasah categories (at p<0.05 level).      Table 2. Summary of infrastructure indicators by school type, 2019 SDI    MoRA madrasahs:  MoEC  Indicator  All  Public  Private            Infrastructure components:            Toilets for staff  77.2    89.4    76.3    92.3    Toilets for students  80.4    86.2    80.0     85.7    Hand‐washing facilities  49.7    64.3    48.6    56.0    Permanent rooms (%)  86.1    92.2    85.7    95.2            Classroom conditions:            Has functioning electricity  62.8      91.4*    60.8    84.8    Sufficient light (from front)  93.8    98.4    93.4    96.2  12 A convenience sampling was employed for the selection of MoEC schools (i.e., the selection was made based on their  proximity to madrasah schools). There may also be some limits to the generalizability of the madrasah sub‐sample results  (public and private), especially since there are only 54 public madrassahs.  These limitations of the SDI sampling frame argue for  caution when making comparisons across schools types.  However, the majority of the analysis in this document is based on the  entire SDI sample of madrasahs, and not divided into sub‐sectors.   14        MoRA madrasahs:  MoEC  Indicator  All  Public  Private              Sufficient light (from back)  89.3    97.5    88.7    91.9    Has corner library  49.3    58.4    48.7    69.6    Teacher used ICT  2.1      9.9*    1.6    6.0            Classroom hygiene:            Extremely clean   14.4  18.2  14.1  22.3    Reasonably clean  73.8  79.0  73.4  71.2    Not very clean  11.8    2.8  12.5    6.5            School resources:            Special services (disabilities)  4.8    2.2     5.0    3.3    Computer  93.2  100.0    92.8    98.9    Internet connection  46.9    78.2*    44.7    50.0    Computers (students)  18.6  20.9    18.4    16.3    Computers (teachers)  70.9  76.7    70.5    78.3    Bottled water  57.8  52.5    58.2    70.7            Infrastructure for learning:             Students with exercise book (%)   80.9  78.6    81.1    89.9     Students with textbook (%)  47.3  57.2    46.6    72.6     Textbook by observed subject:                Mathematics   44.5  49.7    44.2    58.2        Bahasa Indonesia  32.9  35.8    32.3    76.9        Arabic  46.8  72.0    45.2    ‐‐‐‐        Thematic13  57.0  73.1    56.0    78.1        Other  36.2  35.5    36.2    62.1            Sample size  253  53  200  92            Data source: SDI (2019).   Notes: All figures refer to percentages (0 to 100 percent) based on weighted data.  Classroom hygiene variable is a scale and  the numbers refer to frequencies (sum to 100 percent).  Textbook by observed subject refers to the percentage of students  who had the textbook, and are specific to the class subject that was being taught during the observed class time (i.e. math  textbook observed during math class); this indicator is not available for every subject in all schools.  *Public madrasah average is significantly different from private madrasah average (p<=0.05)    Two results stand out in Tables 2 and 3. First, the madrasah sector as a whole is not adequately equipped  with  basic  physical  and  learning  resource  infrastructure,  and  less  so  than  MoEC  schools.  According  to  SDI  data—which  are  collected  generally  through  observation  and  are  not  based  on  a  school  principal’s  response—a  significant  percentage  of  madrasah  primary  schools  do  not  have  toilets,  hand‐washing  facilities, functioning electricity in classrooms, libraries, internet connection and even bottled water (Table  2).  Also,  based  on  observations  of  actual  classes  there  is  a  large  number  of  students  who  do  not  have  textbooks.       13 Thematic learning has been implemented since the country’s adoption of a new curriculum in 2013, Kurikulum 2013 (K‐13).       15      Table 3. Summary of infrastructure indicators by school type, 2018 EMIS    Primary (MI):  Junior Secondary  Senior Secondary  Indicator  (MTs):  (MA):  Public  Private  Public  Private  Public  Private                Infrastructure components:                Electricity  95.7  92.8*  97.7  93.0*  97.5  93.0*                School resources:                Library  74.5  57.2*  90.1  76.7*  95.3  76.6*    Internet connection  95.7  91.9*  97.7  92.5*  97.5  92.6*                  Laboratories:                 Computer lab  18.7  17.7  66.6  49.5*  87.6  62.9*    Physics lab  ‐‐‐‐  ‐‐‐‐  35.0  18.3*  63.8  25.2*    Chemistry lab  ‐‐‐‐  ‐‐‐‐  7.4  9.7  59.1  23.4*    Biology lab  ‐‐‐‐  ‐‐‐‐  43.0  20.3*  71.7  28.9*    Language lab  3.3  2.1  38.5  16.7*  66.2  26.7*                Population size     1,686  23,143  1,437  15,812  765  7,326                Data source: EMIS (2018).   Notes: All figures refer to percentages (0‐100) based on weighted data.  *Public madrasah average is significantly different from private madrasah average (p<=0.05)    The EMIS data are generally consistent with the SDI data, but are much less detailed (Table 3). The results  confirm  that  a  significant  percentage  of  primary  level  madrasahs  do  not  have  libraries.  The  junior  secondary  and  senior  secondary  madrasahs  are  generally  better  equipped  than  the  primary  madrasahs,  but a large proportion do not have the full complement of laboratories.14      The second result that stands out in Tables 2 and 3 is that private madrasahs have fewer infrastructure‐ related  resources  than  public  madrasahs.  In  the  SDI  data,  only  three  of  the  indicators  are  significantly  different between public and private madrasahs (electricity, ICT, and internet connection). But the overall  pattern  is  clear,  as  the  public  madrasah  averages  are  higher  in  almost  every  indicator.  In  the  EMIS  data  (Table  3)  the  pattern  is  very  clear  across  all  three  schooling  levels:  on  almost  every  indicator  public  madrasahs  report  significantly  higher  levels  of  infrastructure  compared  with  private  ones.  Given  that  92  percent  of  all  madrasahs  are  private  (World  Bank  2019), 15  the  disparity  between  public  and  private  madrasahs has significant adverse implications for a large number of madrasah students.     3.1.2 Comparisons of infrastructure across strata This section continues the summary of madrasah infrastructure with additional comparisons across some  key  school  categories  (or  “strata”).  The  comparisons  are  based  on  a  simple  index  (average)  of  infrastructure  using  the  same  indicators  in  Tables  2  and  3.  For  example,  a  school  with  an  infrastructure  14 The summaries in Table 3 are based on a dichotomous (No‐Yes) measure for laboratories. The EMIS data also include  measures of the number of laboratories, and the physical condition of each lab. However, based on the data verification study  (World Bank, forthcoming), it appears that the basic measure of availability is more accurate than the information related to  condition.   15 In the 2019/2020 academic year, of the 52,576 madrasahs, 4,010 (8 percent) were public and 48,566 (92 percent) were  private.   16      index  of  90  in  the  SDI  dataset  has  90  percent  of  the  infrastructure  elements  listed  in  Table  2.  The  basic  index  is  sufficient  for  the  comparisons  in  this  section;  in  the  statistical  analysis  sections  below  an  infrastructure factor is incorporated based on a more rigorous procedure.16  However, comparisons across  the SDI and EMIS datasets are not possible because the available infrastructure measures are not identical  (Tables 2 and 3), and the indices are made up of different sets of variables.    The  results  in  Figure  1  begin  with  infrastructure  in  madrasahs  at  the  primary  level.  As  expected,  public  madrasahs have significantly higher overall infrastructure indices than their private counterparts in both  SDI  and  EMIS  databases.  Urban  school  infrastructure  is  more  complete  than  in  rural  schools.  Larger  schools  have  much  higher  levels  of  infrastructure  than  smaller  schools.  And  schools  from  higher  SES  quintiles (based on parent‐reported home resources) have higher levels of infrastructure (SDI data only).     The  infrastructure  gaps  in  Figure  1  are  quite  large:  public  madrasahs  have  a  roughly  0.70  standard  deviation  advantage  over  private  madrasahs.  The  gap  between  quintile  1  (lowest  SES)  and  quintile  5  (highest SES) schools is 1.3 standard deviations. But the largest difference is based on school size:  small  madrasahs  (5  to  85  students)  in  the  SDI  sample  have  an  infrastructure  index  that  is  almost  2  full  standard deviations below madrasahs with 501 or more students.        Figure 1. Comparisons of primary madrasah infrastructure index by school type, location, school size,  and SES quintile, 2019 SDI and 2018 EMIS  80 Infrastructure Index (0‐100%) 70 60 50 40 30 20 Private 5‐85 86‐150 151‐250 251‐500 Q1 Q2 Q3 Q4 Q5 501+ Public Rural Urban School Location School Size SES Quintile Type SDI EMIS   Data source: SDI (2019).       16 Factor analysis is a more rigorous method for creating summary measures based on multiple input variables. This approach is  based on correlation instead of a simple average. Factor analysis assesses the degree to which each of the individual measures  is correlated with an overall factor (or dimension), and then assigns larger or smaller values (called “loadings”) to individual  variables. This approach makes it possible to examine the loadings and decide which variables belong in the factor, and which  variables can be removed. The overall goal of factor analysis is efficient data reduction, where a large amount of information is  condensed down to a single measure. Appendix Tables C1 and A2 present the factor analysis results using SDI (C1) and EMIS  (A2) data. The results show how the various infrastructure variables from Section 3.1.1 are correlated with the overall  infrastructure factor. The preferred factor measures are based on a polychoric factor model (estimation 3 in Appendix Tables C1  and A2) that is appropriate when data are dichotomous (such as Yes‐No for do you have internet?).    17      Figure 2. Comparisons of junior and senior secondary school madrasah infrastructure index by school  type, location, and size, 2018 EMIS    Data source: EMIS (2018).     Figure  2  focuses  on  junior  and  senior  secondary  madrasahs  based  on  the  2018  EMIS  data.  The  numbers  confirm  that  senior  secondary  madrasahs  have  better  infrastructure  than  junior  secondary  level  madrasahs  (Table  3).  But  the  main  result  in  Figure  2  is  that  the  gaps  between  different  categories  are  much  larger  at  the  senior  secondary  level.  Combining  the  results  from  Figures  1  and  2,  infrastructure  gaps  in  the  madrasah  sector  related  to  school  type  and  school  size  are  increasing  with  each  level  of  schooling.      Figure  3  continues  the  EMIS  data  comparisons  with  school  accreditation  and  organization.  First,  school  accreditation is strongly associated with the infrastructure index in the EMIS. Schools in the “A” category  have  much  higher  levels  of  infrastructure  than  “Not  accredited”  schools  and,  once  again,  the  gaps  are  increasing with each school level. The “Not accredited” schools make up less than 10 percent of the total  population. But since accreditation processes in Indonesia take into account infrastructure as one of the  areas  of  review,  this  association  is  not  surprising.  In  terms  of  organization  (right  side  of  Figure  3),  the  Nahdlatul  Ulama‐organized  madrasahs 17  have  better  infrastructure  levels  in  senior  secondary  schools,  compared  with  madrasahs  that  are  affiliated  with  Muhammadiyah  and  other  organizations,  as  well  as  with those that are not affiliated with any organizations. However, these differences are not very large.                 17 There are madrasahs affiliated with different Islamic organizations, among which Nahdlatul Ulama is the largest organization  and Muhammadiyah is the second largest in Indonesia.    18      Figure 3. Comparisons of primary, junior secondary, and senior secondary school madrasah  infrastructure index by school accreditation and organization, 2018 EMIS    Data source: SDI (2019).     Provincial differences are presented in Figure 4 based on EMIS (SDI samples by province are too small to  confidently  make  comparisons).  Standing  out  in  Figure  4  is  the  very  large  gap  between  high‐  and  low‐ infrastructure provinces. For example, at the senior secondary level, Yogyakarta and Jakarta have senior  secondary  madrasah  infrastructure  averages  over  80  percent  (left  side  of  Figure  4),  while  at  the  other  extreme a handful of provinces have averages of 40 to 50 percent. These are again very large gaps that  equal roughly 1.5 standard deviations.     Figure 4 also summarizes primary level madrasah averages by provinces. Overall, the gaps between high  and low are not as pronounced as at the senior secondary level, which is consistent with earlier results in  Figures  1  to  3.  The  provinces  with  the  highest  infrastructure  averages  (around  60  percent)  have  an  advantage of roughly 1.0 standard deviation over the provinces with the lowest averages.   19      Figure 4. Comparisons of primary and senior secondary school madrasah infrastructure index by  province,   2018 EMIS      The  relationship  between  senior  secondary  and  primary  infrastructure  averages  is  not  clear  from  Figure  4,  since  the  provinces  are  ranked  from  highest  to  lowest  based  on  the  senior  secondary  infrastructure  average only. However, based on a simple scatterplot (Appendix Figure C1 in Appendix C) there is a very  close relationship between province infrastructure averages in primary and senior secondary school. The  correlation  is  roughly  0.80,  which  simply  confirms  that  district  averages  for  infrastructure  at  the  senior  secondary level are a strong predictor of infrastructure in the primary level.     3.1.3 Multivariate analysis of infrastructure The  different  comparisons  in  Sections  3.1.1  and  3.1.2  provide  an  initial  overview  of  the  factors  that  are  associated with high and low levels of infrastructure in the madrasah sector in Indonesia. The results are  generally not surprising, and show that urban location, size, and SES of the families are each significantly  associated with this school quality input.     The  analysis  in  this  section  takes  the  comparisons  in  earlier  sections  a  step  further,  and  brings  in  multivariate analysis to consider multiple influences on infrastructure in a single statistical model. The SDI  data  only  include  260  primary  level  madrasahs,  but  with  very  detailed  information  collected  by  enumerators on schools, teachers, students and families. By contrast, the EMIS data are population‐based  and  include  more  than  50,000  madrasahs  from  all  three  schooling  levels.  However,  there  are  relatively  few  variables  available  in  the  EMIS  for  the  analysis  (see  comparison  of  Table  2  with  Table  3),  and  the  information  is  self‐reported  by  schools.  One  way  to  augment  the  EMIS  data  is  to  bring  in  district‐level  indicators  from  household  survey  data  (Susenas  2018)  on  poverty  and  enrolment  ratios,  and  additional  administrative data on education spending and overall population.    As  discussed  in  Section  2.1.2,  the  results  from  the  statistical  analysis  are  not  definitive  in  terms  of  why  some  schools  have  better  infrastructure  than  others.  Table  4  summarizes  the  results  from  multivariate  20      analysis  of  the  covariates  (or  predictors)  of  the  school  infrastructure  factor  created  for  primary  level  schooling in the SDI data (see footnote 3 and Appendix Table C1); the EMIS data results are presented in  Appendix  Table  C3.  In  each  table  there  are  multiple  estimations.  For  the  SDI  data  this  includes  different  combinations of variables within  the madrasah sector only (columns 1‐3), as well as one estimation  that  includes  the  MoEC  schools  together  with  madrasahs  (column  4).  For  the  EMIS  (Appendix  Table  C3)  the  same  model  is  estimated  separately  by  schooling  level  (columns  1‐3),  and  then  with  all  three  levels  combined (column 4).     Table 4. Covariates of school infrastructure factor, 2019 SDI    Madrasah only:  All school  Indicator  types:  (1)  (2)  (3)  (4)            Urban location  0.05  0.05  0.03  0.06  (0.37)  (0.39)  (0.26)  (0.51)  School type (reference=madrasah private):          madrasah public  0.16  0.33*     0.41**    0.36*  (1.16)  (2.30)  (2.70)  (2.47)    MoEC  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐      0.25**  (3.40)  School age    0.009+    0.009*      0.010**  0.009*  (1.83)  (2.26)  (2.86)  (2.30)  Number of school committee  0.06  ‐0.02  ‐0.03  ‐0.01  meetings  (1.02)  (‐0.34)  (‐0.54)  (‐0.20)  Frequency of quality assurance  0.20+  0.12*  0.14**  0.13*  visits  (1.84)  (2.15)  (2.67)  (2.11)  Double shift school  ‐0.003  0.53*  0.52*  0.55*  (‐0.02)  (2.03)  (2.23)  (2.07)  School has special needs  0.34  0.27  0.26  0.26  students  (1.20)  (1.39)  (1.31)  (1.37)  School size (reference=151‐250 students):          5‐85 students     ‐0.87**     ‐0.72**     ‐0.71**     ‐0.74**  (‐3.45)  (‐4.40)  (‐4.25)  (‐4.40)    86‐150 students   ‐0.26*   ‐0.26*   ‐0.27*   ‐0.26*  (‐2.03)  (‐2.21)  (‐2.27)  (‐2.24)    250‐500 students  0.06  0.09  0.09  0.08  (0.38)  (0.56)  (0.55)  (0.51)    501+ students    0.33+  0.18  0.11  0.18  (1.83)  (0.87)  (0.54)  (0.81)  School SES quintile (reference=Q1)           Quintile 2  0.30  0.16  0.16  0.23  (1.43)  (0.87)  (0.86)  (1.18)     Quintile 3  0.39    0.40*    0.40*    0.46*  (1.36)  (1.99)  (2.00)  (2.15)     Quintile 4     0.74**    0.55*    0.55*      0.65**  (3.16)  (2.44)  (2.42)  (2.68)     Quintile 5 (highest)    0.84*    0.64*    0.49+    0.70*  (2.49)  (2.41)  (1.94)  (2.53)  Average parental education  0.05  0.02  0.01  0.01  21        Madrasah only:  All school  Indicator  types:  (1)  (2)  (3)  (4)  (0.57)  (0.16)  (0.14)  (0.10)  Average tuition/fees spending  ‐‐‐‐  ‐‐‐‐     0.79**  ‐‐‐‐  (3.54)            Province controls?  No  Yes  Yes  Yes  Sample size  240  240  240  335  Explained variance (R2)  0.39  0.59  0.60  0.60            Data source: SDI (2019).   Notes: Dependent variable is infrastructure factor with mean=0 (standard deviation=1). T‐statistics (parentheses) based on  standard errors corrected for clustering at region level. All results are based on weighted data.    As expected, public madrasahs have better infrastructure than private madrasahs, even when controlling  for  other  influences.   In  the  SDI  sample  the  effect  size  is  about  0.30  to  0.40  of  a  standard  deviation,  but  only when the province controls are included. In the EMIS data the effect size is smaller (about 0.20 of a  standard deviations) and significant in the senior secondary level only.        School  size  is  one  of  the  most  significant  predictors  of  infrastructure  in  both  tables.  In  the  SDI  sample,  the results suggest that bigger is not automatically better, but instead that schools that have at least 150  students  have  relatively  complete  endowments  of  infrastructure  (based  on  these  measures).  But  in  the  EMIS data the size effect is more linear, and shows infrastructure advantages that increase with each size  level. Additional analyses using different measures of school size were also conducted in order to test for  non‐linear  relationships  between  school  size  and  student  outcomes  (such  as  test  scores),  as  well  as  the  infrastructure  measures.  The  evidence  generally  suggests  that  the  positive  effect  of  school  size  on  test  scores  and  (especially)  infrastructure  is  linear,  although  the  largest  positive  "bump"  is  for  the  largest  schools.  There  is  no  evidence  that  specific  school‐size  categories  are  especially  conducive  to  student  learning.18     School  age  is  a  significant  (positive)  predictor  of  infrastructure  in  both  tables,  although  the  effect  size  is  not very large. This does suggest that more established madrasahs have more resources. The same is true  for  accreditation,  which  is  only  available  in  the  EMIS  data:  even  when  controlling  for  size  and  province,  the  accreditation  status  of  the  madrasah  is  a  very  strong  predictor  of  infrastructure.  The  EMIS  results  also show that madrasahs in districts with higher poverty rates have lower levels of infrastructure, and for  primary  and  junior  secondary  madrasahs  infrastructure  is  more  complete  in  districts  where  MoRA  enrolments make up a larger share of the overall total.      The  remaining  results  come  from  the  SDI  survey,  which  has  a  wider  range  of  variables  to  consider.  One  finding worth noting in Table 4 is that schools that report more frequent quality assurance visits19 do have  higher  levels  of  infrastructure,  even  when  controlling  for  factors  such  as  size.  A  1.0  standard  deviation  increase  in  (school‐reported)  frequency  of  quality  assurance  visits  is  associated  with  a  0.12  to  0.20  of  a  standard deviation higher level of infrastructure.     18 It should be noted that these findings are not based on causal analysis and, therefore, they are not experimental evidence. A  full description of the additional analyses is included in Appendix D.  19 In the SDI survey, principals were asked about how frequently quality assurance supervisors from the district education office  or MoRA office visited their schools during the previous academic year.     22      In  estimation  3  for  SDI  data,  the  parent  average  contribution  for  school  tuition  is  added  to  the  mode,  which  is  obtained  from  the  parental  interviews.  The  school  fees/tuition  variable  is  significant  and  the  effect  size  is  quite  large:  a  1.0  standard  deviation  increase  in  the  average  fee  is  associated  with  a  0.79  of  a  standard  deviation  increase  in  the  infrastructure  factor  dependent  variable.  This  variable  includes  the “tuition fee” (SPP), as well as the “school committee fee.” As expected, tuition fees are more likely in  private  schools,  and  the  spending  on  tuition  is  much  larger  than  on  school  committee  fees.  Sixty‐three  percent of public madrasahs had zero fees reported by parents, compared with just 39 percent of private  madrasahs.20     One interesting finding is that of all of the education spending variables reported by parents, the only one  that is significantly associated with infrastructure is the fee‐tuition measure. This is consistent with schools  using fees to improve infrastructure or parents being prepared to pay more for tuition in schools that have  good infrastructure.       Overall,  the  results  in  Table  4  and  Appendix  C3  largely  confirm  the  kinds  of  built‐in  advantages  that  large,  urban  and  higher  SES  schools  have  when  it  comes  to  infrastructure.  Additional  significant  predictors include public status, age and accreditation status, and these findings are also not particularly  new or novel. Nevertheless, the results do provide some potentially useful background about variation in  infrastructure, as well as flag individual topics that may be worth following up in the qualitative phase of  the study.    3.2 Infrastructure and Student Achievement The  results  to  this  point  have  focused  on  infrastructure  differences  across  various  types  of  communities  and  madrasah  characteristics.  In  this  section,  the  analysis  turns  to  the  critical  linkage  between  infrastructure  and  student  achievement.  From  a  research  standpoint  this  linkage  is  challenging,  for  two  reasons. First, as discussed in Section 1, the availability of infrastructure resources does not automatically  lead  to  more  learning.  An  important  intervening  variable  is  how  the  infrastructure  is  used,  but  these  qualitative processes are not measured in the SDI and EMIS databases. Second, school resources such as  infrastructure  can  be  correlated  with  many  things,  including  hard‐to‐measure  aspects  of  school  management  and  parental  engagement  in  the  school.  This  increases  the  likelihood  that  an  observable,  positive correlation between infrastructure and outcomes, such  as student tests scores, is not the result  of  a  direct  (or  causal)  relationship  (see  Section  2.1.2).  A  conservative  take  on  multivariate  results  is  therefore justified to avoid making unwarranted statements.      3.2.1 SDI sample The  SDI  sample  has  individual  level  data  on  student  achievement  and  a  detailed  set  of  independent  variables collected by enumerators, which include classroom observations and parental interviews. Figure  5 begins with a basic comparison of test scores and infrastructure, with student test averages by madrasah  school  infrastructure  quintiles.  The  relationship  appears  to  be  somewhat  modest,  at  least  based  on  the  slope of change across the five levels of infrastructure (ranked from lowest to highest). But the differences  are quite significant:  for example, students in high infrastructure madrasahs (quintile 5) score about 0.85  of  a  standard  deviation  higher  than  students  in  the  lowest  infrastructure  madrasahs  (quintile  1).  The  20 The reason for the zero fees reported by nearly 40 percent of the surveyed private madrasah parents can be explained by the  possibility that these private madrasahs are part of the Bantuan Operasional Sekolah (BOS or School Operational Fund)  program, which was launched in 2005. Through the program, grants are provided directly from the Government to each school  based on the number of the students. The Government prohibits schools receiving BOS grants from collecting fees from  parents/students.  23      differences in the other subjects are about 0.75 of a standard deviation in Bahasa Indonesia, and 0.55 in  Arabic.       Figure 5. Comparisons of Grade 4 student test scores by test subject and madrasah infrastructure  factor quintiles, 2019 SDI         Figure  6  confirms  the  positive  relationship  between  individual  student  test  scores  in  mathematics  and  madrasah  infrastructure.  The  scatterplot  shows  a  lot  of  students  with  high  scores  studying  in  low  infrastructure madrasah, and low scores in high infrastructure madrasahs. But the overall slope is positive  and significant, with a correlation of about 0.30 of a standard deviation.    Figure 6. Scatterplot of student math scores and madrasah infrastructure factor, 2019 SDI  1 Grade 4 student maths score (0-100%) .2 .4 0 .6 .8 -4 -2 0 2 Madrassah infrastructure factor   24        The  numbers  in  Figures  5  and  6  simply  confirm  what  is  well  known  in  the  education  sector,  or  at  a  minimum comes as no real surprise: students studying in schools with better infrastructure tend to score  higher  on  tests.  Establishing  a  bivariate  relationship  is  a  necessary  first  step,  but  the  challenge  now  is  to  try  to  sharpen  the  analysis  and  isolate  the  independent  (or  direct)  effect  of  infrastructure  on  student  achievement levels.      Table  5  presents  the  results  from  the  multivariate  analysis  of  individual  student  test  scores  in  the  SDI  sample  of  madrasahs.  To  economize  on  space  the  table  focuses  exclusively  on  the  school  infrastructure  factor  variable  that  was  created  from  the  factor  analysis  (Appendix  Table  C1).  A  stepwise  regression  approach  is  incorporated  to  assess  the  stability  of  the  relationship  between  infrastructure  and  student  test scores, by subject. The sample size is about 2,200 Grade 4 students in each estimation.     In the baseline estimation (number 1), the infrastructure factor is included together with a small number  of variables, such as student age and gender, madrasah location and type (public‐private). The coefficient  for infrastructure in the baseline model is 0.21 to 0.25 of a standard deviation, which is a medium‐sized  association between infrastructure and achievement levels.      Table 5. School infrastructure factor point estimates in stepwise OLS regressions by subject (madrasah  sector only), 2019 SDI    Subject:  Indicator  Bahasa  Math  Arabic  Indonesia          1. Baseline       0.25**      0.23**      0.21**  (4.87)  (6.36)  (4.65)  2. Add school size       0.23**      0.19**      0.19**  (4.02)  (5.49)  (4.30)  3. Add family background      0.19**      0.16**      0.15**  (3.36)  (4.53)  (3.49)  4. Add teacher‐classroom    0.11*      0.10**      0.11**  characteristics  (2.09)  (2.83)  (2.62)  5. Add regional controls (full    0.12*    0.08*    0.06+  model)  (2.15)  (2.21)  (1.64)          Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). All coefficients  refer to the madrasah infrastructure factor (Appendix Table C1), which is the only variable presented for each regression. Five  separate regressions are estimated for each outcome (by subject), beginning with a baseline model and adding blocks of  variables. T‐statistics (parentheses) based on standard errors corrected for clustering at school level. Results are based on  weighted data using linear regression (OLS).    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    The infrastructure effect slowly declines as more variables are added to the model, and in the full model  (estimation 5) the effect size is between 0.06 and 0.12 of a standard deviation. This is still a statistically  significant  covariate  of  achievement,  but  the  effect  size  is  much  smaller  once  other  variables  are  controlled for. Overall, the results are generally stable across the three subjects, and there is no evidence  that one test subject is especially associated with the infrastructure measures. The results in Table 5 are  also generally consistent with the results based on a mixed model (HLM), which is presented in Appendix  25      Table  C4,  as  well  as  the  results  based  on  the  national  SDI  sample  that  includes  MoEC  schools  together  with  madrasahs (Appendix  Table C5). Finally, the full set of results is presented in Appendix Table C4 for  Bahasa  Indonesia  test  scores.  These  results  correspond  to  column  1  in  Table  5  above.  This  makes  it  possible to see how the independent  effect of infrastructure  changes with each addition of  variables, as  well as the association between the other variables in the model and Grade 4 Bahasa Indonesia test scores  in the SDI madrasah sample.     The  results  in  Table  5  confirm  there  is  a  positive,  significant  association  between  infrastructure  and  student  achievement,  even  when  controlling  for  a  large  number  of  other  factors.  The  previously  mentioned caveat about treating this as a direct (or causal) relationship still stands. Furthermore, the use  of  the  infrastructure  factor  does  not  provide  much  specific  guidance  regarding  exactly  what  it  is  about  infrastructure that potentially leads to higher student achievement levels. This is the main limitation with  using a factor (or index): it is a composite of factors but from a policy standpoint it is useful to know which  factors matter the most.    Table  6  focuses  the  multivariate  analysis  on  the  infrastructure  components  individually.  This  is  done  by  adding each of the variables that were included in the infrastructure factor to the full model multivariate  estimation  that  was  described  in  Table  5  (i.e.,  model  5,  bottom  row  of  table).  Since  the  infrastructure  variables are correlated with each other (Appendix Table C1), this is done variable by variable. Each result  (or point estimate) in  Table 6 is based on a separate  model where the individual infrastructure indicator  is added to the full set of variables (students, teachers, schools, community, region controls, etc.).      Table 6. Effects of individual measures of madrasah infrastructure on student test scores by subject,  2019 SDI    By subject:  Indicator  Bahasa  Math  Arabic  Indonesia          Toilets for staff  ‐0.04  0.03      ‐0.21**  (‐0.43)  (0.24)  (‐2.74)  Toilets for students  ‐0.11  ‐0.01    ‐0.16*  (‐1.15)  (‐0.15)  (‐2.02)  Hand‐washing facilities      0.25**  ‐0.02  0.09  (4.25)  (‐0.22)  (1.42)  Permanent rooms (%)  ‐0.04  0.19  0.008  (‐0.28)  (1.52)  (0.07)  Has functioning electricity    0.19*  0.12      0.24**  (classroom)  (2.39)  (1.48)  (3.29)  Sufficient light (from back)  0.11  0.11  0.07  (0.71)  (1.04)  (0.63)  Has corner library  ‐0.04  0.05  0.08  (‐0.52)  (0.84)  (1.31)  ICT  0.23  0.48  ‐0.01  (1.13)  (1.28)  (‐0.08)  Hygiene 1 (very clean)  0.05  0.09  0.13  (0.56)  (1.23)  (1.56)  Has computer  0.11  0.04  ‐0.17  (0.67)  (0.30)  (‐1.61)  Internet connection  0.07  0.06  0.07  26        By subject:  Indicator  Bahasa  Math  Arabic  Indonesia  (1.07)  (0.92)  (0.99)  Computers (students)  ‐0.03  0.04      0.22**  (‐0.44)  (0.51)  (2.83)  Computers (teachers)    0.19*    0.15*  0.07  (2.44)  (2.25)  (0.96)  Bottled water    0.16*  0.02  ‐0.008  (2.08)  (0.28)  (‐0.13)  Exercise books (pct)  0.02  0.02  ‐0.11  (0.16)  (0.22)  (‐0.99)  Textbook (pct)  0.12  0.13  0.14  (1.33)  (1.36)  (1.47)          Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). Coefficients refer  to individual variables added to “full model” (Table 5). Each point estimate is taken from a different estimation. T‐statistics  (parentheses) based on standard errors corrected for clustering at school level. All results based on weighted data using linear  regression (OLS).  **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    The  results  in  Table  6  provide  limited  guidance  about  individual  infrastructure  components  that  are  associated  with  student  achievement  in  the  SDI  sample  of  primary  madrasahs.  Only  two  variables— classroom  has  functioning  electricity  and  teachers  have  computers—are  positively  associated  with  student  achievement  levels  in  at  least  two  of  the  three  subjects.  A  handful  of  other  variables  (hand‐ washing  facilities,  computers  for  students  and  bottled  water)  are  positive  and  significant  in  one  study  subject. And the indicators for staff and student toilet availability are actually negatively associated with  student  test  scores  on  the  Arabic  test,  which  is  a  reminder  of  the  challenges  of  establishing  direct  causation between infrastructure components and outcomes such as learning.    About  30  percent  of  the  madrasah  Grade  4  classrooms  that  were  observed  did  not  have  a  working  electricity connection, but this was much more likely in the private madrasahs (Table 2). The association  with  student  achievement  in  Table  6  is  somewhat  moderate  (0.12  to  0.24  of  a  standard  deviation).  A  similar  percentage  of  schools  did  not  have  computers  for  teachers  (Table  2),  again  with  relatively  high  availability in the public madrasahs.      3.2.2 EMIS data The advantage with the EMIS data is the population‐based coverage across all three schooling levels, and  test  scores  in  junior  and  senior  secondary  levels  to  complement  the  primary‐focused  analysis  in  the  SDI  sample. The weaknesses have already been discussed: the self‐reported nature of the data and the limited  number  of  variables.  The  latter  issue  can  be  addressed,  to  some  extent,  by  bringing  in  district‐level  data  on poverty, but compared with the SDI data, the EMIS data are limited in terms of independent variables.    Another issue is the measurement of student test scores. The UN test results are available for junior and  senior  secondary  madrasahs  across  a  range  of  subjects.  However,  there  is  also  an  “integrity  index”  included in the UN test summary that corrects the scores for issues related to validity (cheating). Figure 7  replicates  Figure  5  with  a  comparison  of  the  overall  UN  test  score  average  by  madrasah  infrastructure  quintiles  for  junior  and  senior  secondary  levels.  The  results  suggest  that  the  integrity  correction  is  important,  especially  at  the  junior  secondary  level.  For  example,  based  on  the  raw  UN  average  score  27      across the core subjects (Bahasa Indonesia, English and math), there is only a slight relationship between  test  scores  and  infrastructure  (blue  bars).  However,  when  using  the  adjusted  scores,  the  achievement  difference  between  low‐  and  high‐infrastructure  madrasahs  is  much  larger:  about  10  points,  or  1.0  standard deviation (orange bars).      Figure 7. UN test score overall average by madrasah infrastructure factor based on raw and adjusted  UN scores, 2018 EMIS      At  the  senior  secondary  level,  the  discrepancy  between  raw  and  adjusted  average  UN  scores  is  not  as  pronounced,  although  once  again  the  slope  of  change  by  infrastructure  level  is  steeper  when  using  the  integrity‐adjusted  average.  Figure  8  provides  a  more  visual  take  on  the  relationship  between  infrastructure and UN scores at the junior secondary level. The slopes of the two figures may not appear  much  different,  but  the  difference  is  actually  substantial:  the  correlation  based  on  raw  scores  is  about  0.10  of  a  standard  deviation,  whereas  with  the  adjusted  scores  (Figure  8b)  the  correlation  is  0.35  of  a  standard  deviation.  The  slope  of  in  Figure  8b  for  junior  secondary  madrasahs  is  nearly  identical  to  the  slope in Figure 6 for primary madrasahs in the SDI sample.                              28      Figure 8. UN test score overall junior secondary average by madrasah infrastructure factor based on  raw and adjusted UN scores, 2018 EMIS         (a) Raw scores                 (b) Integrity‐adjusted scores  100 Junior secondary adjusted average UN test scores 80 Junior secondary raw average UN test scores 80 40 60 60 20 40 0 20 -1 0 1 2 3 -1 0 1 2 3 Junior secondary madrassah infrastructure factor Junior secondary madrassah infrastructure factor   The  results  in  Figures  7  and  8  again  provide  a  starting  point  for  the  analysis  of  infrastructure  and  test  scores: there  is a  bivariate  relationship  between these two variables, although  it  does depend to a large  degree  on  which  UN  test  score  measure  is  incorporated.  Table  7  continues  the  analysis  with  the  results  from  multivariate  modeling  for  the  core  subjects  in  junior  and  senior  secondary  madrasahs  (Bahasa  Indonesia, English, math and IPA). The approach is nearly identical to the previous analysis of SDI data. A  series  of  regressions  are  implemented  that  include  the  madrasah  infrastructure  factor  together  with  blocks  of  independent  variables.  The  focus  is  on  the  bottom  row  of  Table  7  where  the  full  model  is  estimated  which  provides,  in  theory,  the  best  estimation  of  the  direct  effect  of  infrastructure  on  test  scores, while controlling for other influences.     The  results  in  Table  7  are  generally  consistent  with  the  primary  madrasah  analysis  based  on  the  SDI  sample.  The  infrastructure  association  with  test  scores  is  fairly  large  in  the  baseline  model  but,  after  adding  successive  blocks  of  variables,  the  effect  size  slowly  reduces.  For  example,  the  average  senior  secondary student’s Bahasa Indonesia score is 0.27 of a standard deviation higher when they are studying  in  a  madrasah  with  1.0  standard  deviation  higher  level  of  infrastructure.  But  after  controlling  for  other  variables, the infrastructure effect in Bahasa Indonesia is reduced in half to 0.13 of a standard deviation.      Once  again,  the  easiest  way  to  understand  the  stepwise  regression  results  is  to  look  at  a  more  detailed  summary.  This  is  provided  in  Appendix  Table  C7  with  a  detailed  summary  of  the  results  for  junior  secondary Bahasa Indonesia, which correspond to column 1 in Table 7. As discussed above in the results  for  the  SDI  survey  (Appendix  Table  C4),  the  purpose  of  presenting  the  detailed  estimation  results  is  to  show how  the madrasah infrastructure variable  changes with the addition of each  block of independent  variables.  It  also  provides  some  additional  content  on  the  school‐  and  district‐level  factors  that  significantly predict school average test scores in the MT sector.     In  general,  the  language  test  scores  (Bahasa  Indonesia,  English)  are  more  significantly  associated  with  infrastructure  than  the  science  outcomes,  and  the  infrastructure  effects  are  larger  in  senior  secondary  schools  than  in  junior  secondary  schools.  The  effect  sizes  are  somewhat  larger,  overall,  than  in  primary  madrasahs (Table 5) but the overall average of roughly 0.10 of a standard deviation is similar in magnitude.     29      Table 7. Madrasah infrastructure factor point estimates in stepwise OLS regressions by subject, 2018  EMIS    Bahas:  English:  Math:  IPA  Indicator  MTs  MA  MTs  MA  MTs  MA  MTs                  1. Baseline      0.20**     0.27**     0.23**     0.31**     0.17**     0.20**     0.20**  (10.33)  (12.77)  (11.71)  (11.34)  (8.48)  (6.66)  (10.37)  2. Add school size      0.14**     0.22**     0.19**     0.27**     0.14**     0.18**     0.17**  (7.72)  (7.92)  (10.27)  (9.42)  (7.36)  (6.24)  (9.13)  3. Add district controls     0.13**     0.21**     0.18**     0.25**     0.13**     0.17**     0.16**  (7.19)  (7.57)  (9.75)  (9.12)  (6.62)  (6.01)  (8.43)  4. Add school‐teacher     0.11**     0.18**     0.15**     0.20**     0.11**     0.14**     0.13**  controls  (6.75)  (5.89)  (8.61)  (7.21)  (5.67)  (5.21)  (7.05)  5. Add regional controls     0.07**     0.13**     0.12**     0.17**     0.08**     0.09**     0.09**  (full model)  (5.46)  (6.31)  (8.71)  (6.91)  (5.55)  (4.14)  (6.68)                  Data source: SDI (2019).   Notes:   Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). MT=junior  secondary madrasahs; MA=senior secondary madrasahs. All coefficients refer to the madrasah infrastructure factor (Appendix  Table C2), which is the only variable presented for each regression. Five separate regressions are estimated for each outcome  (by subject), beginning with a baseline model and adding blocks of variables. T‐statistics (parentheses) based on standard errors  corrected for clustering at school level. Results are based on weighted data.    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    Table  8  presents  the  regression  results  for  the  specialized  subjects  in  senior  secondary  madrasahs.  The  effect sizes in the bottom row (model 5) are of a similar magnitude to the results in Table 7 (and also Table  5 based on SDI data).     The  main  findings  in  Tables  7  and  8  were  tested  with  other  specifications.  Appendix  Tables  C8  and  C9  replicate  the  results  in  Tables  7  and  8  using  a  mixed  model  (HLM)  specification  with  a  random  effect  at  the  district  level.  The  results  show  generally  similar  results,  although  in  the  junior  secondary  madrasahs  the  point  estimates  for  infrastructure  are  somewhat  smaller.  Also,  in  separate  analysis  (not  presented)  the un‐adjusted UN test scores were incorporated as dependent variables instead of the integrity index‐ adjusted  UN  school  averages.  In  junior  secondary  madrasahs  the  infrastructure  factor  was  a  significant  predictor of test scores, but the effect sizes were roughly half of the magnitude in Table 7.     Table 8. Madrasah infrastructure factor point estimates in stepwise OLS regressions by senior  secondary school subject, 2018 EMIS    Senior secondary school specialized subjects:  Indicator  Chem.  Sociol.  Bio.  Geogr.  Econ.  Physics                1. Baseline      0.15**     0.21**     0.28**     0.23**     0.14**     0.18**  (4.74)  (7.71)  (9.38)  (7.63)  (5.17)  (5.80)  2. Add school size      0.13**     0.18**     0.21**     0.21**     0.14**     0.15**  (4.22)  (7.02)  (5.86)  (6.31)  (5.05)  (4.89)  3. Add district controls     0.12**     0.16**     0.20**     0.19**     0.12**     0.14**  (4.07)  (6.84)  (5.54)  (6.00)  (4.58)  (4.63)  4. Add school‐teacher     0.10**     0.13**     0.17**     0.16**     0.09**     0.12**  controls  (3.32)  (5.59)  (4.60)  (4.83)  (3.510  (3.89)  30        Senior secondary school specialized subjects:  Indicator  Chem.  Sociol.  Bio.  Geogr.  Econ.  Physics  5. Add regional controls (full     0.08**     0.09**     0.10**     0.11**    0.05*     0.09**  model)  (2.58)  (4.35)  (3.34)  (4.29)  (2.10)  (3.00)                Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). All coefficients  refer to the school infrastructure factor (Table 2), which is the only variable presented for each regression. Five separate  regressions are estimated for each outcome (by subject), beginning with a baseline model and adding blocks of variables. T‐ statistics (parentheses) based on standard errors corrected for clustering at school level.  Results are based on weighted data  using linear regression (OLS).  **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    Table  9  continues  with  a  summary  of  specific  infrastructure  component  impacts  on  school  average  test  scores  by  study  subject  (see  Table  6  for  SDI  data  counterpart).  Overall  the  results  do  not  provide  good  guidance  about  specific  infrastructure  components,  and  the  results  for  laboratories  are  somewhat  discouraging.  If  the  presence  of  infrastructure  is  indeed  consequential  for  improving  student  achievement,  then  we  should  expect  biology  test  scores,  all  other  things  being  equal,  to  be  higher  in  madrasahs  that  have  a  biology  laboratory.  The  same  is  true  with  language  laboratories  for  Bahasa  Indonesia  and  English,  physics  laboratories  for  physics  test  scores,  and  chemistry  laboratories  for  chemistry  scores.  In  simple  bivariate  comparisons  (not  presented)  this  is  the  case:  for  example,  senior  secondary  madrasahs  with  physics  laboratories  have  average  physics  scores  that  are  about  0.35  of  a  standard  deviation  higher  than  madrasahs  that  do  not  have  a  physics  lab.  But  the  multivariate  results  in  Table  9  do  not  confirm  a  laboratory  impact  on  specific  subjects.  In  fact,  in  some  cases  the  subject  test  result is actually not significantly related with  the  presence of a laboratory in that specific  study subject,  but  is  significantly  associated  with  laboratories  from  other  subjects.  For  example,  the  average  senior  secondary  biology  score  is  not  significantly  different  when  the  madrasah  reports  having  a  biology  laboratory, but the biology average is 0.31 of a standard deviation higher in madrasahs that report having  a language laboratory (versus those that do not have language laboratories).        The  school  library  results  are  somewhat  different  and  point  to  a  somewhat  more  convincing  linkage  between  infrastructure  and  student  achievement.  Schools  with  libraries  have  significantly  higher  scores  in Bahasa Indonesia, English and IPA (science) in junior secondary schools (MTs), but not in mathematics.  In  senior  secondary  schools,  the  madrasahs  with  libraries  have  significantly  higher  scores  in  Bahasa  Indonesia  and  English  and  biology,  but  not  in  physics,  chemistry  or  math.  These  results  are  hardly  conclusive,  but  they  do  point  to  a  plausible  mechanism  whereby  students  with  access  to  books  perform  better in language‐related achievement tests, including in the science activities (such as biology) that tend  to have more contextual content rather than formulas.      Table 9. Madrasah individual infrastructure component point estimates in full model by subject and  school level, 2018 EMIS      Presence of laboratory:  Test subjects:  Library  Computer  Language  Physics  Chemistry  Biology                  Junior Secondary Madrasahs (MTs):  Bahasa Indonesia    0.05*  0.10**  0.13**  0.08**  0.12**  0.08**  (2.25)  (4.53)  (4.42)  (3.20)  (2.97)  (3.25)  English     0.12**  0.19**  0.17**  0.17**  0.24**  0.13**  (5.22)  (6.68)  (4.90)  (5.60)  (4.91)  (4.25)  31          Presence of laboratory:  Test subjects:  Library  Computer  Language  Physics  Chemistry  Biology  Math  0.04  0.13**  0.12**  0.12**  0.18**  0.09**  (1.38)  (4.49)  (3.26)  (3.96)  (3.50)  (2.71)  IPA (Science     0.09**  0.16**  0.10**  0.13**  0.16**  0.10**  subject)  (3.59)  (5.58)  (2.82)  (4.60)  (3.41)  (3.52)                  Senior Secondary Madrasahs (MA):  Bahasa Indonesia     0.09**  0.11**  0.13**  0.16**  0.17**  0.12**  (3.76)  (4.51)  (3.99)  (4.93)  (5.55)  (3.69)  English     0.08**  0.17**  0.32**  0.25**  0.25**  0.19**  (2.85)  (5.52)  (8.57)  (4.93)  (4.92)  (3.87)  Math  0.04  0.07*  0.23**  0.12*  0.16**  0.08+  (1.52)  (2.16)  (5.67)  (2.51)  (3.42)  (1.73)  Physics  0.04  0.11+  0.20**  0.09+  0.16**  0.03  (0.49)  (1.80)  (3.47)  (1.87)  (3.17)  (0.49)  Biology     0.12**  0.14**  0.31**  0.11+  0.10+  0.07  (2.56)  (3.44)  (6.08)  (1.84)  (1.69)  (1.24)  Chemistry  0.07  0.17**  0.16**  0.09+  0.09  0.02  (0.76)  (2.92)  (2.62)  (1.65)  (1.62)  (0.32)                Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). All coefficients  refer to the madrasah infrastructure component point estimate in full model (see model 5 in Table 8). T‐statistics (parentheses)  based on standard errors corrected for clustering at school level. Results are based on weighted data using linear regression  (OLS).    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    Finally, the effect of individual laboratories on school average test scores was analyzed using fixed effects  modeling  that  exploits  variation  within  schools  to  provide  a  more  precise  measurement  of  how  laboratories impact test scores. For example, if a school that has a biology lab but does not have a physics  lab has relatively high scores in biology, and relatively low scores in physics, then this is consistent with a  positive  laboratory  impact.  The  intuition  is  the  same  as  in  Table  9,  just  with  a  more  rigorous  modeling  approach. These results (not presented) are consistent with those in Table 9, and do not show a significant  effect of laboratories on student achievement.      3.3 Summary and Discussion of Quantitative Results The  purpose  of  the  quantitative  component  of  this  study  is  to  analyze  existing  quantitative  data  on  infrastructure  in  the  madrasah  sector.  The  results  will  complement  a  qualitative  survey  and  review,  and  together form part of a mixed methods analysis that will in turn provide guidance to MoRA and the World  Bank for subsequent operations related to infrastructure.    The quantitative research approach includes three core activities. The first is to describe the current state  of  infrastructure  in  the  madrasah  sector  in  Indonesia,  with  a  focus  on  endowments  of  elements  such  as  libraries,  electricity  and  laboratories.  The  emphasis  on  the  presence  of  these  features,  rather  than  the  condition or the actual use, reflects limitations in the data that are available. For conditions a recent data  verification  study  suggested  some  validity  issues  with  EMIS  data  in  terms  of  physical  conditions  of  infrastructure, so a focus on whether or not these things are present is less problematic in terms of data  accuracy.  For  how  this  infrastructure  is  actually  used—which  is  a  critical  element  in  infrastructure—the  data simply are not available.  32      After the description of basic infrastructure features across all three schooling levels based on SDI sample  data  and  EMIS  population,  the  analysis  then  focused  on  comparisons  of  infrastructure  levels  across  different types of schools and communities. This included statistical analysis of factors that are associated  with  madrasah infrastructure endowments. Finally, the different infrastructure measures were analyzed  to assess their association with student test scores from the SDI test application (SDI sample), and the UN  test scores in the EMIS.     Overall, the results are mixed. The descriptive overview and comparisons across madrasah characteristics  provide  some  concrete  guidance  about  infrastructure  in  Indonesia.  The  main  findings  include  the  following:     A  sizeable  proportion  of  madrasahs  do  not  have  adequate  infrastructure,21 although  this  study  does not present a framework for determining what is adequate and what is not;   The preponderance of private madrasahs in this sector is problematic in the sense that they have  significantly  lower  levels  of  infrastructure  compared  with  public  madrasahs.  This  requires  attention,  given  that  private  madrasahs  make  up  the  majority  of  the  sample  and  tend  to  have  lower levels of infrastructure;     There is a very large amount of variation in school infrastructure endowments across MoRA. One  of  the  main  sources  of  variation  is  regional/provincial,  which  highlights  the  difficult  task  of  ensuring adequate infrastructure levels across all madrasahs in the country;   The  variation  (or  inequality)  in  madrasah  infrastructure  increases  by  school  level,  which  is  concerning  given  the  growing  importance  of  infrastructure—especially  laboratories—with  each  successive level of schooling;   Not surprisingly, one of the strongest predictors of infrastructure endowments is school size. This  is  consistent  with  an  economy‐of‐scale  argument,  where  larger  schools  are  more  likely  to  have  laboratories  and  other  elements,  whereas  the  cost  effectiveness  of  providing  these  features  in  smaller schools is lower;   Another strong predictor of infrastructure is madrasahs’ accreditation level. This is another non‐ surprising finding, but does suggest that existing accreditation schemes do have some relevance  for assessing infrastructure levels; and   There is some evidence that school tuition fees are associated with higher levels of infrastructure.  This  is  an  interesting  result  that  certainly  deserves  some  additional  research  follow‐up  to  assess  ways  in  which  local  financing  can  impact  infrastructure,  and  also  the  ways  in  which  parents  and  communities  view  these  features.  This  is  a  potentially  complicated  line  of  inquiry—with  many  questions related to equity—but given the predominance of private madrasahs in MoRA the issue  of fees is relevant.     The bottom line with the descriptive and comparative analysis of infrastructure in the madrasah sector is  that  there  is  significant  room  for  improvement  in  terms  of  equipping  all  schools  with  adequate  physical  resources. This part of the study does not touch on physical conditions and actual use of these resources,  it simply focuses on the presence of various features.     21 As demonstrated in Section 3.1.1, a significant percentage of madrasah schools do not have basic physical/ learning resource  infrastructure. According to the SDI survey results (Table 2), only 49.7 percent of primary madrasahs has hand‐washing facilities  and 62.8 percent has functioning electricity in classrooms. The EMIS data results (Table 3) also presented that the ownership of  learning resource infrastructure, such as libraries and laboratories, remains relatively low across educational levels, particularly  in private madrasahs. For example, only 57.2 percent of private primary madrasahs has libraries, and 20.3 and 28.9 percent of  private junior secondary and senior secondary madrasahs have biology laboratories, respectively.         33      The results from the second part of this study—which looked at how infrastructure is associated with test  scores—provide much less clear guidance. At a general conceptual level, it is important to clarify that the  physical  presence  (endowment)  of  infrastructure  should  not  be  assumed  to  automatically  improve  student learning. Once again, the physical condition of the resources and, more importantly, the way they  are used by teachers and students, are likely to determine the ultimate effect of infrastructure on student  outcomes.     Furthermore,  infrastructure  endowments  are  likely  to  be  correlated  with  many  things,  and  from  a  statistical  standpoint  this  is  an  exceedingly  difficult  school  input  to  analyze.  The  results  in  this  analysis  bear  this  out.  There  is  a  positive  association  between  overall  infrastructure  resources  (measured  as  an  index or factor) and student test scores in both the SDI sample and the EMIS population, across all three  schooling  levels.  But  there  is  not  much  clarity  on  how  individual  infrastructure  elements  are  associated  with  student  scores.  Standing  out  is  the  inability  to  convincingly  link  subject‐specific  laboratories  (e.g.,  a  physics  lab)  with  test  scores  in  that  specific  subject.  This  finding  in  turn  raises  the  possibility  that  the  observed  correlation  between  infrastructure  and  test  scores  is  related  instead  to  un‐measured  features  of management quality and community engagement, and that the infrastructure measures in the SDI and  EMIS data are not particularly consequential.      In  summary,  the  results  of  the  analysis  do  not  conclusively  show  that  infrastructure  directly  contributes  to student learning. This is a concern, given the potential expense of improving the infrastructure of over  50,000  madrasahs  in  Indonesia.  It  may  be  that  the  available  data  are  not  capable  of  isolating  the  true  effect of infrastructure, especially given the absence of information of how these resources are being used  when they are indeed available. As will be discussed in the qualitative part of this study, the potential for  infrastructural  features  (such  as  school  libraries  and  digital  infrastructure)  to  impact  student  learning  ultimately hinges on how educators—with adequate training and their intrinsic motivations and sense of  creativity—work  together  to  employ  infrastructure  and  learning  complements  effectively.  Hence,  maximizing  the  use  of  infrastructure  and  leveraging  the  potential  of  educators  should  be  prioritized  to  spur and improve learning.       There  are  potential  ways  to  extend  the  quantitative  analysis  in  the  future,  which  seems  necessary  given  the MoRA emphasis on the infrastructure topic. For example, sample‐based student assessments (such as  SDI)  can  be  used  to  collect  additional  data  on  infrastructure.  Also,  given  the  existence  of  the  UN  testing  function it may also be feasible to collect detailed data on school infrastructure endowments, conditions  and  usage,  and  then  analyze  these  variables  in  relation  to  existing  UN  test  results;  the  data  verification  study sample is too small (73 schools) to effectively do this kind of follow‐up.       4. Qualitative Findings and Discussion  4.1 Commonly Identified Initiatives and Good Practices across the Sample Schools 4.1.1 Teacher professional development responsive to teacher and student needs Apart  from  commonly  practiced  teacher  professional  development  (TPD)  activities,  including  inviting  guest  speakers  as  part  of  in‐school  pedagogical  training  and  participating  in  teacher  working  groups  (Kelompok Kerja Guru at the primary level and Musyawarah Guru Mata Pelajaran at the secondary level),  34      some of the sample schools design TPD to address the evolving needs of teachers and the specific learning  needs of students.     In  the  INOVASI‐supported  primary  schools,  teachers  receive  training,  inter  alia,  to  help  improve  the  literacy  and  mathematical  skills  of  underperforming  students  in  particularly  disadvantaged  areas.  These  training  sessions  include,  for  example:  (i)  how  to  conduct  formative  assessments  to  measure  student  reading  levels  and  to  track  student  progress  each  month;  and  (ii)  how  to  improve  teaching  methods  by  having  their  lessons  recorded  and  then  discussing  them  with  INOVASI  coordinators  who  provide  advice  on  how  their  teaching  can  be  modified  to  facilitate  better  student  learning.  Teachers  are  also  trained  to  develop age‐appropriate and culturally relevant learning materials for their students, especially for those  residing  in  areas  where  such  learning  resources  are  scarce  and  who  do  not  speak  Bahasa  Indonesia  as  their  native  language.  Moreover,  the  INOVASI  program  helps  teachers  build  their  capacity  to  determine  each student’s reading proficiency level and select books accordingly.     Under the principals’ leadership, some of the sampled secondary schools have organized TPD activities to  address  the  identified  needs  of  teachers.  At  Bali  Mandara,  its  “share  and  care  program”  allows  less  experienced teachers to discuss instructional challenges with more experienced teachers, and seek their  knowledge  and  advice.  Through  these  exercises,  the  principal  can  identify  teachers’  emerging  learning  needs  and  areas  for  improvement.  When  there  is  a  clear  and  pressing  need  for  pedagogical  improvements,  the  principal  even  recruits  external  coaches  to  assist  the  teachers  in  strengthening  their  pedagogical skills based on their specific needs (e.g., refining instruction, deepening content knowledge,  using and selecting appropriate learning assessments).    Some  secondary  school  principals  also  make  efforts  to  address  the  evolving  needs  of  teachers.  The  principal of MTS3 organizes in‐school training workshops. For example, in response to increased demand  for and expansion of online learning, the principal invited an external speaker to help the teachers learn  how  to  adopt  blended  (face‐to‐face  and  online)  learning.  Similarly,  to  address  the  high  demands  from  biology  teachers,  MAN4  has  made  special  arrangements  with  a  local  university  (Bogor  Agricultural  Institute’s  Faculty  of  Mathematics  and  Natural  Sciences)  for  the  biology  teachers  to  receive  lectures  to  deepen their subject knowledge.     4.1.2 Literacy initiatives at the school level Among the various school‐led learning initiatives shared by the sample schools, there were two commonly  adopted practices aimed at improving student literacy skills. The first was combining group reading with  storytelling  and/or  making  book  summaries  to  help  students  increase  their  verbal  and  written  proficiencies and deepen their understanding of what they read. This approach was found mainly in upper  primary and secondary schools.     SDN  Punten  organizes  several  activities  aimed  at  improving  student  reading  proficiency,  including  the  following:      The Bacalah aku, Kau jadi tahu (read me, know me) program, through which teachers bring books  to the classroom for students to engage in silent reading for 15 minutes before school starts and  for  30  minutes  before  school  ends.  Upon  finishing  reading  their  books,  upper‐grade  students  produce book summaries;    Daily  diary‐writing  exercises:  At  the  end  of  each  day,  students  write  in  their  diaries,  and  these  entries are later compiled into an anthology each semester;    Weekly outdoor silent group reading activity; and   35       Literacy competitions where students tell stories in either verbal or written form.     At  Bali  Mandara,  students  engage  in  a  mix  of  literacy‐focused  activities  comprised  of  silent  reading,  storytelling, and writing book summaries:      Silent reading program: All students gather in the hall to read books silently for 30 to 45 minutes.  The  reading  is  scheduled  by  language  (English  on  Mondays  and  Wednesdays,  Bahasa  Indonesia  on  Tuesdays  and  Fridays,  and  Balinese  on  Thursdays).  Two  students  are  picked  randomly  at  the  end of each reading session to summarize their reading. Teachers and other school staff members  also take part in this program; and    Every  semester,  students  are  required  to  submit  summaries  of  the  books  they  have  read.  This  exercise is aimed at helping students develop reading habits throughout the school year.     At  MAN1  Tangerang  Selatan,  students  participate  in  storytelling  competitions  in  English.  As  part  of  their  practice, students start reading more English books and improve their language proficiency as well.     Several other madrasah secondary schools also carry out similar literacy initiatives by combining reading  with religious teachings. MTS3 organizes a mandatory reading session for Tadarus (the act of reciting the  Quran,  religious  scripture,  as  part  of  group  study).  As  part  of  the  school’s  book  summary  exercises,  students  summarize  scripture.  During  school  holidays,  students  write  book  synopses  and  engage  in  creative  writing  by  adding  their  own  modifications  to  the  storyline  of  what  they  read.  Similarly,  MAN4  students read in mosque for 15 minutes each morning as part of the school’s mandatory religious activities  and summarize their reading. This program is administered by the head of the school library. In addition,  in  their  Bahasa  Indonesia  class,  students  are  required  to  read  and  write  a  summary  of  one  book  every  month.  Through  these  exercises,  the  school  expects  students  to  both  increase  their  interest  in  reading,  and also learn how to organize their  thoughts and write more systematically based on facts, rather than  only on personal assumptions/opinions.     Existing  literature  highlights  various  literacy  benefits  of  storytelling,  including  students’  increased  verbal  proficiency  and  improved  understanding  of  a  subject  (Keller  2012;  Pinkney  2015).  Agosto’s  (2016)  observation of a live storytelling session in a class of 20 second‐grade students in a suburban public school  in the eastern United States found that the session allowed students to practice at least four literacy skills:  visualization,  cognitive engagement,  critical  thinking,  and story sequencing. Nonetheless,  more research  is necessary on how teachers instruct their students on writing book synopses/ summaries, as well as how  they  provide  comments  and  feedback  on  student  writing,  which  could  shed  light  on  how  and  to  what  extent such additional support by teachers contributes to improved student reading and writing skills.     The  second  literacy‐focused  initiative  commonly  identified  in  the  sample  schools,  especially  at  the  secondary  level,  was  various  research  programs  to  hone  students’  research  and  writing  skills  with  guidance  and  support  from  a  dedicated  group  of  teachers.  These  research  enrichment  programs  are  designed  to  help  students  become  more  engaged  in  their  learning  and  pursue  their  academic  areas  of  interest through team‐based projects.     At SMAN8, students work in teams to produce writing, such as poems, short stories, and research articles,  based  on  their  areas  of  interest.  In  collaboration  with  the  library  (which  provides  the  necessary  reading  materials),  teachers  of  different  subjects  (including  Bahasa  Indonesia  teachers),  all  of  whom  are  36      passionate  writers,  guide  students  in  writing  and  oversee  their  work  as  they  navigate  the  writing  and  research process. These teachers also provide support in editing student writing and compiling their work  into  a  book.  To  further  formalize  this  program,  the  school  has  worked  with  a  third  party  to  have  an  International  Standard  Book  Number  (ISBN)  issued  for  a  book  comprised  of  the  top  five  collections  of  student writing of publishable quality. To date, the school has managed to produce eight books with ISBNs  and printed 500 copies; all the collections are available for students to read in the library. Ultimately, this  literacy  program  aims  to  assist  SMAN8  students  (most  of  whom  advance  to  tertiary  education  after  graduation)  to  hone  their  research  and  writing  skills  as  they  are  essential  for  academic  success  at  university.  As  another  research‐oriented  initiative,  SMAN8  organizes  a  scientific  research  program  in  which  a  group  of  students  spends  four  days  staying  out  of  town  with  local  host  families  to  conduct  field  research. Based on the data collected in the field on a topic of their choice, students produce a scientific  report in teams and present their research results at the end of the program.     The principal of SMAN8, who believes that literacy is the foundation for student achievement, emphasized  that these initiatives have incentivized students to engage in reading and writing more proactively. First,  they have increased the students’ visits to and use of the library, and the school is making efforts to add  more  books  to  the  library  collection  to  keep  up  with  students’  needs.  Second,  the  possibility  of  having  their  work  published  with  ISBN  registration  has  strongly  motivated  students  to  read  more  books  and  improve their writing so their research will be of publishable quality. Third, through interactive and team‐ oriented  writing/research  projects,  students  learn  to  collaborate  and  challenge  each  other  while  exercising their own initiative and sense of creativity at the same time.     A similar research‐oriented literacy program is being undertaken at Bali Mandara. There, it is mandatory  for  all  students  to  produce  at  least  one  piece  of  research‐based  writing  before  graduation.  Indeed,  students are not allowed to take the national exam unless they have been certified as having completed  their  mandatory  research.  Just  as  SMAN8  students,  Bali  Mandara  students  also  work  in  teams,  pick  a  research topic of interest to them, and jointly complete the research in a semester‐long program. During  the  research  and  writing  process,  the  school’s  research  council,  which  consists  of  instructors  who  have  the capacity to teach how to conduct research, provides guidance and support. As donations are used to  finance  this  program,  the  research  council  (which  handles  the  funds)  is  accountable  for  the  activities  organized  under  the  program  and  produces  a  report  regularly  to  provide  updates  on  completed  and  ongoing activities. The principal noted that, for students to conduct research more effectively, the school  needs  to  expand  its  library  collection  so  they  have  access  to  a  sufficient  number  of  books  and  materials  for their research.     Research  evidence  shows  that  working  in  teams  results  in  educational  benefits  for  students.  In  their  examination  of  the  effects  on  everyday  pupil‐pupil  and  teacher‐pupil  interactions  through  on‐the‐spot  and  video‐based  systematic  observations  in  primary  classes,  Blatchford  et  al.  (2006)  found  that  group  work  could  lead  to  more  active  and  sustained  engagement,  connectedness,  and  higher‐order  inferential  joint reasoning among students. Similarly, in their analysis of the relationships between teaching practices  and  student  achievement  based  on  the  results  of  the  OECD  School  User  Survey  and  the  Trends  in  Mathematics and Science Study pilot in Russian regions, Shmis et al. (2020) found that team teaching and  group work had a statistically significant effect on student learning outcomes, while direct instruction and  individual work did not.     4.1.3 Customized teaching and learning A promising initiative adopted by some of the interviewed schools was customized teaching and learning.  With  training  support  from  the  INOVASI  program,  some  of  the  sample  primary  schools  have  introduced  37      more  customized  teaching  and  learning  practices  that  cater  to  their  students’  needs.  As  referenced  in  Section  4.1.1  Teacher  professional  development  responsive  to  teacher  and  student  needs,  one  of  the  focuses  of  the  INOVASI  program  is  to  train  teachers  to  be  able  to  perform  formative  assessments  to  measure  student  reading  levels  regularly  and  track  progress.22 Formative  assessments  can  help  identify  who  is  lagging  behind  and  facilitate  a  more  customized  approach  to  students’  learning  needs.  Hence,  in  the  INOVASI‐supported  schools,  students  are  provided  with  reading  materials  and  assignments  in  accordance  with  their  reading  levels.  Teachers  also  extend  additional  support  to  those  who  are  lagging  behind by offering tutorial sessions after class and/or during recesses between class sessions.     It appears that this customized teaching and learning has affected some teachers’ mindsets and behaviors,  enabling  them  to  change  and  improve  their  teaching  methods.  A  first‐grade  teacher  from  SD02  Malinau  Barat  emphasized  how  teachers  should  take  into  account  mixed  levels  of  reading  proficiencies  among  students  and  deliver  more  personalized  teaching,  depending  on  their  proficiencies.  A  second‐grade  teacher  from  SD013  Tanjung  Selor  echoed  the  importance  of  adopting  customized  teaching  methods  by  indicating  how  the  INOVASI  training  assisted  teachers  in  learning  how  to  assess  student  performance  regularly. The training also helped  this  teacher  to understand how the assessment results  could be used  to address individual student learning needs and adapt learning content based on these needs.     Creating  a  more  customized  teaching  and  learning  environment  is  equally  valued  and  practiced  at  the  secondary  level.  At  Bali  Mandara,  teachers  strive  to  cultivate  students’  thirst  for  learning  by  building  a  rapport  with  them  and  discovering  their  passions.  One  of  the  unique  features  of  the  school  is  to  admit  students  only  from  socioeconomically  marginalized  families  who  have  strong  potential  for  academic  success.23 However, despite their passing the entrance exams, many of the admitted students do not have  solid  academic  foundations  and  suffer  from  low  self‐esteem.  To  identify  who  needs  extra  support,  the  school administers a month‐long foundation program to assess individual students’ learning needs based  on  the  results  of  their  competencies  in  basic  math  and  science.  As  a  result,  underperformers  can  be  assisted so that they can catch up with better performing students. Seniors are also expected to provide  academic and moral support to juniors.     Remarks made by a Bahasa Indonesia teacher at Bali Mandara illustrate how a personalized approach to  teaching involves discovering students’ passions, noticing and valuing their curiosity, and building a sense  of trust with them. In his response to how he addresses the challenges in working with underperforming  students with low self‐esteem, the teacher emphasized that it takes innovative and creative thinking for  teachers (including himself) to find ways to get students interested and excited about learning. In his mind,  it is a missed opportunity if teachers do not ascertain what motivates individual students to learn and how  they  learn  best.  Through  his  daily  interactions  with  students  in  the  dormitory,  he  knows  the  various  subjects about which his students are passionate. He has also found that, when students were allowed to  choose  which  book  to  read,  they  would  read  it  thoroughly.  Hence,  fostering  and  reinforcing  students’  curiosity  and  intrinsic  motivation  in  a  way  that  contributes  to  their  individual  and  classroom  learning  is  essential,  as  it  can  lead  to  creating  a  learning  environment  that  motivates  students  to  learn  and  meets  their learning needs.     22 Student reading levels are measured based on five different stages: (i) recognize letters; (ii) recognize syllables; (iii) read  words; (iv) read sentences; and (iv) understand the meaning of sentences. To improve school accountability, the formative  assessment results are also shared with the school committee and parents.   23 Since the launching of MoEC’s school zoning enrolment system in 2016, state schools, including Bali Mandara, are now  required to prioritize enrolling students who live in their vicinities.   38      4.2 Remaining Challenges Identified in the Sample Schools Despite  all  their  achievements  and  good  practices,  the  sample  schools  continue  to  face  challenges  in  linking the use of school infrastructure and learning complements with improved learning. Many of these  identified challenges could also apply to other (both madrasah and non‐madrasah) Indonesian schools.    4.2.1 Disconnect between pedagogical and infrastructural quality assurance mechanisms Based  on  the  interviews  with  staff  members  from  the  sample  schools,  there  appears  to  be  a  disconnect  between  pedagogical  and  infrastructural  quality  assurance  mechanisms.  The  interviews  with  the  principals  demonstrated  that  quality  assurance  visits  and  guidance  received  from  school  or  madrasah  supervisors24 focus  largely  on  pedagogy  and  learning  content;  few  schools  indicated  that  these  quality  assurance  supervisors  assess  infrastructural  conditions  or  discuss  areas  for  improvement  specifically  in  relation to infrastructure.25    One of the potential reasons for the supervisors’ limited focus on infrastructure could be that neither the  previous 26  nor  current  Minimum  Service  Standards  (MSS)  employed  at  the  district/provincial  level  to  assess  the  minimum  essential  conditions  for  learning  have  a  comprehensive  set  of  indicators  related  to  infrastructure.  MSS  are  derived  from  NES  (which  list  facilities  and  infrastructure  as  one  of  the  eight  standards)  and  designed  to  measure  school‐level  success  by  serving  as  supplementary,  short‐term  standards  to  achieve  long‐term  NES  (World  Bank  2020c).  However,  compared  with  the  overly  complex  NES  measurement  tool  (which  consists  of  almost  600  items  to  assess  school  performance),  MSS  are  too  simple  to  serve  as  a  useful  guide  to  help  schools  make  informed  decisions  about  what  to  focus  on  to  improve quality.     NES,  which  are  primarily  used  for  accreditation  by  the  National  Accreditation  Body  of  Schools  and  Madrasahs (Badan Akreditasi Nasional Sekolah or BAN‐SM) (Felicia and Ramli 2017), have also not served  as  an  effective  means  to  monitor  and  assess  school  performance  related  to  pedagogical  and  infrastructural quality. BAN‐SM evaluates the feasibility of both public and private primary and secondary  schools  by  referencing  NES  and  makes  accreditation  decisions  based  on  submitted  documentation  and  the results of school visits. NES have a more comprehensive list of quality indicators for each of the eight  standards than the MSS list—including those related to various aspects of teaching and learning, such as  education  content  (standard  2),  learning  process  (standard  3),  education  assessment  (standard  4),  and  teachers  and  education  personnel  (standard  5),  as  well  as  those  focused  on  facilities  and  infrastructure  (standard  6).  However,  not  only  do  NES  (which  consist  of  an  extensive  set  of  survey  questions  to  be  completed by principals) have no external verification of all the reported information (World Bank 2020c),  24 These supervisors are civil servants appointed by MoEC and MoRA, respectively, who undertake academic and managerial  activities related to school supervision (Felicia and Ramli, 2017; Yarrow et al., 2020).  25 The only schools whose principals explicitly said that their supervisors check infrastructure were SMPN115 Jakarta and SMA  Unggulan MH Thamrin. According to the principal of the former school, the supervisor visits once every 1–2 months and  inspects every aspect of the school infrastructure, even the condition of the restrooms.  26 The previous MSS (2004–2017), which comprised 14 indicators to be assessed by supervisors, had three infrastructure‐ related indicators: (i) the availability of each classroom furnished with a whiteboard and a sufficient number of desks and chairs  for students and teachers; (ii) the availability of a natural science laboratory in each junior secondary school furnished with a  set number of desks and chairs and a minimum of one set of natural science lab tools for demonstrations and student  experiments; and (iii) the availability of (a) a teachers’ room (in each elementary and junior secondary school) furnished with  desks and chairs for teachers, the principal, and other education staff and (b) a principal’s office (in each junior secondary  school) separate from the teachers’ room. The new district‐/provincial‐level MSS (2018–present) only has a total of three  indicators, none of which are related to infrastructure: (i) the availability of textbooks for each student; (ii) the availability of  notebooks and pencils for each student; and (iii) the availability of teachers.  39      but  the  accreditation  results  are  also  reportedly  affected  largely  by  the  completeness  of  the  documents  submitted and, in some cases, the assessor’s subjectivity, not by how well the standards are actually met  (Felicia and Ramli 2017).      The  primary  systems  used  for  monitoring  and  recording  infrastructure  conditions  are  Sistem  Informasi  Manajemen  Sarana  dan  Prasarana  (Simsarpras)27 and  the  EMIS  for  madrasahs  operating  under  MoRA,  and  Dapodik28 for  schools  under  MoEC.  Designated  personnel  from  the  school  administration  normally  handle data entry for Simsarpras; madrasah operators are responsible to submit the information required  by the EMIS questionnaires into the EMIS online system twice a year. However, some of the interviewed  madrasah  school  principals  attested  to  the  weak  quality‐assurance  mechanism  for  monitoring  infrastructure as demonstrated in the data verification study (World Bank, forthcoming). They stated that  the  current  self‐reporting  system  requires  no  external  verification,  which  makes  the  accuracy  of  the  recorded  infrastructural  data  questionable.  Therefore,  the  disconnect  between  pedagogical  and  infrastructural  quality  assurance  mechanisms  due  to  little  focus  on  school  infrastructure  as  part  of  supervisors’ visits is a missed opportunity, especially given the correlation between school infrastructure  and  student  achievement  as  evidenced  by  existing  studies  (Appendix  A),  as  well  as  the  significant  discrepancies  between  the  self‐reported  information  and  the  actual  conditions  of  school  infrastructure  (World Bank, forthcoming).    4.2.2 Underutilization of libraries as resources for student learning The  interviews  with  the  participants  from  the  sample  schools—including  high‐performing  secondary  schools where various promising literacy initiatives are being implemented—suggested that libraries are  still  being  underutilized  as  resources  for  student  learning.  Four  main  areas  requiring  remediation  were  identified:  (i)  library  collection  with  a  limited  variety  of  genres;  (ii)  inadequate  access  to  quality  digital  books; (iii) uninviting space for reading and learning; and (iv) limited roles and professional development  of librarians.     Library collection with a limited variety of genres   The  interviews  with  the  participants  from  all  sampled  schools  revealed  that  their  library  collections  are  still  inadequate,  even  though  a  sufficient  number  of  textbooks  are  available  at  both  primary  and  secondary  levels,  except  for  in  a  few  primary  schools  in  rural  areas.29 Textbooks  are  often  stored  in  the  library for student use, either for reference within the school or for loan during the semester or the entire  school  year.  For  example,  at  the  primary  level,  textbooks  are  available  for  loan  to  each  student  at  SDN  Punten  1  Batu  in  urban  East  Java,  and  they  can  take  them  home  to  review  their  lessons  and  engage  in  27 Simsarpras is a data platform through which madrasahs can submit proposals to build or rehabilitate their facilities, such as  classrooms, laboratories, and libraries. The variables covered in Simsarpras include the number of classrooms, libraries, and  laboratories and their conditions. Using this system, madrasahs can also submit photographs of their facilities as proof of their  actual condition. The system was last updated during the 2016/2017 academic year.   28 Dapodik is a web‐based platform launched by MoEC in 2014 to allow for direct monitoring of the achievement of MSS by  making the collected information accessible to all stakeholders, including schools, districts, provinces, and the central  government (World Bank 2020c). While the platform has a great potential for supporting improvements in education sector  management, MoEC is still in the process of adding variables to this information system and designing strategies to improve its  data accuracy; as described earlier, similar to the EMIS and Simsarpras, Dapodik also relies on self‐reported information.     29 SDN013 Tanjung Selor does not have enough textbooks for all its students. The remote location of the school in North  Kalimantan has presented a challenge to the timely and cost‐effective procurement of textbooks and other books for students.  According to an INOVASI regional coordinator, book prices in North Kalimantan are 2 to 2.5 times higher than those in Java and  no retailor in the area carries textbooks. Because of the textbook shortage, students are not allowed to borrow them and  several students must share one textbook. Similarly, due to the insufficient number of textbooks, SDN Inpres Poma in rural East  Nusa Tenggara does not loan them to students.   40      independent study, if they wish.30 At the secondary level, all the interviewed schools indicated they have  a  sufficient  number  of  textbooks,  although  some  textbooks  that  are  low  in  number  can  only  be  checked  out for the day, meaning students are not allowed to take them home.      With  regard  to  the  collection  of  non‐textbook  books,  there  seems  to  be  large  room  for  improvement,  especially  in  terms  of  the  breadth  of  genres.  Across  the  sample  schools,  the  interview  participants  unanimously voiced their dissatisfaction with the collection of books in their library.31 At the primary level,  some  schools  addressed  the  need  to  expand  the  book  collection  regardless  of  genre.32 However,  most  schools pointed to the limited variety of book genres as the main issue, even though the quantity of books  is  adequate/sufficient  (at  least  in  the  opinion  of  the  interviewed  school  personnel).  Among  the  genres  identified to be particularly lacking are picture books, storybooks, fiction, nonfiction, and reference books.  In  addition  to  the  limited  genre  coverage,  the  need  for  age‐appropriate  books  for  early  graders  was  pointed out as an issue. Not only is the collection of picture books (which early grade students particularly  enjoy) lacking, but the collection of books appropriate for lower primary students is also inadequate. Also,  more  books  are  suited  to  upper  primary  students,  which  hampers  early  graders  from  reading  and  understanding the content thoroughly.     Even among the high‐performing secondary schools interviewed, the limited selection of book genres was  found  to  be  a  key  issue.  While  their  libraries  have  a  decent  collection  of  fiction  and  religious  books  (particularly for madrasah schools), there is a limited supply of other genres, ranging from nonfiction, to  classical and modern Indonesian literature, to reference books, to imported books in different languages.  Similar to the primary schools, at some of the secondary schools, textbooks and school materials make up  a large portion of the library collection. One Bahasa Indonesia teacher of a madrasah school put it bluntly  that “because the library is filled with textbooks, which our students already have, they have no interest  in visiting the library.” Other Bahasa Indonesia teachers also cited a general lack of books relevant to their  subject  as  problematic.  To  remedy  this  problem,  some  teachers  try  to  direct  their  students  to  online  reading materials. Science/biology teachers also noted that there is only a very limited collection of books  related to the subjects they teach in the libraries. Furthermore, for the schools where various literacy and  research‐related  initiatives  are  implemented,  the  libraries  need  to  expand  their  collection,  especially  in  terms  of  more  advanced  reading  materials  for  students  to  conduct  their  research.  One  biology  teacher  indicated  that  she  goes  to  local  universities  to  obtain  supplementary  research  materials  to  help  her  students write scientific papers.     Inadequate access to quality digital books   Despite  the  increasing  demand  for  digital  books,  combined  with  expanded  access  to  educational  technology,  not  all  the  schools  have  benefited  from  adding  digital  books  as  supplementary  or  core  reading/learning materials for their students. Among the sample schools, some of the INOVASI‐supported  primary  schools  are  using  e‐books.  Access  to  these  e‐books,  which  are  mostly  comprised  of  storybooks,  30 The school has recently embarked on the digitization of textbooks. According to an interviewed third grade teacher, of the 27  students she teaches, only eight use physical textbooks. She also noted that the number of textbooks in the library has declined  due to wear and tear.  31 To supplement the limited library collection, some schools have arranged mobile library visits every 1 to 3 months in  coordination with local/regional libraries. However, students are not allowed to check out books. They must read them on site  during the visit.   32 For example, at MI Bustanul Ulum, a private Madrasah school in rural East Java, the library collection mainly consists of  textbooks. Because of the very limited non‐textbook collection, students easily get bored with the current selection of books.   41      has  been  granted  to  both  teachers  and  students  for  free  by  The  Asia  Foundation  through  its  Let’s  Read!  initiative since 2017.33     At  the secondary level, digital  books are still  not  commonly available, although some schools noted that  their acquisition has been planned. Only a few schools have managed to make digital books available for  students  through  collaboration  with  local  companies  as  technical  providers.  Both  MTS3  and  MAN4  have  collaborated  with  Gramedia,  a  major  publishing  company,  which  has  the  copyright  for  the  digital  books  provided  to  these  schools.  Almost  all  the  books  can  be  accessed  through  online  platforms.  At  MTS3,  teachers are tasked with reviewing and filtering digital books to ensure the content is appropriate for their  students. Bali Mandara has also provided students with digital books since 2016 with support from Telkom  (a  state‐owned  telecom  company)  and  through  its  close  relationship  with  the  local  provincial  education  office. Nonetheless, these e‐books have been underutilized by students; many Bali Mandara students are  from  socioeconomically  marginalized  families,  meaning  they  have  neither  laptops  nor  mobile  phones  to  access the books online. As a result, they continue to use printed reading materials and physical books.     Uninviting space for reading and learning                          Figure 9. MAN4 library  Libraries can be transformed into more nurturing  and inviting learning spaces to improve their  contribution to learning. Many of the interviewed  secondary school personnel observed that neither  students nor teachers found the libraries to be  attractive and inviting spaces to study. Although  some teachers (especially Bahasa Indonesia  teachers) bring students to the libraries regularly as  part of their class sessions, they are not  comfortable enough for students to read and study,  meaning students are reluctant to remain for long  periods. In some schools, the library is too small for  a group of students and gets crowded easily. One  exceptional case found was MAN4. To cater to  students’ needs, the school’s library recently  opened a reading café where they can read books  while eating and drinking, which has made the  library space more appealing. Since the library  redesign, it has become a popular place for  students to read and study.     To  remedy  the  current  conditions  of  libraries/reading  corners  in  disadvantaged  primary  schools,  some  INOVASI‐supported  schools  have  focused  on  creating  attractive  reading  spaces.  These  initiatives  are  aimed  at  fostering  student  reading  habits  by  training  teachers  to  design  reading  spaces  to  make  them  more  attractive  and  student  friendly  through  small‐scale  rehabilitations  and  redecorations  (e.g.,  adding  pieces of furniture and toys, painting the library walls), as well as equipping each classroom with a reading  33 The Let’s Read! initiative is designed to dismantle barriers to literacy by providing a free digital library for children and  translation platform accessible online and via Android app (see https://asiafoundation.org/2017/09/05/lets‐read‐digital‐library‐ brings‐childrens‐books‐indonesia/). According to the discussants who joined a meeting with MoEC to introduce INOVASI’s  literacy efforts in North Kalimantan (personal communication, October 3, 2019), 145 books targeted to early graders have been  made accessible to INOVASI‐supported school children. The e‐book copyrights are held by The Asia Foundation.    42      corner  filled  with  books  classified  by  reading  proficiency  levels.  For  instance,  at  SDN  Inpres  Ndapa  Taka,  after  a  new  library  was  built  by  the  community,  the  INOVASI  program  supported  the  school  to  turn  the  library into a reading space with an inviting atmosphere by having local artists create colorful paintings on  the walls and by adding a wide variety of books for children with different reading proficiencies. The library  has adopted a child‐friendly book classification system based on reading level. This system allows children  to  easily  return  books  to  shelves.  Two  librarians  are  also  trained  in  library  management,  including  the  classification of books according to reading proficiency levels.    Figure 10. SDN Inpres Ndapa Taka library        Considering the close link between the availability of libraries and student achievement in certain subjects  (Bahasa Indonesia, English, and science  in junior secondary schools and Bahasa  Indonesia and biology in  senior secondary schools), as identified in the quantitative analysis of this study, redesigning libraries into  nurturing  and  inviting  learning  spaces  has  the  potential  to  increase  student  library  visits  and  improve  reading  habits,  both  of  which  could  result  in  better  learning  outcomes  (particularly  in  language‐related  achievements).     Limited roles and professional development of librarians   The  interviews  conducted  with  the  participants  from  the  sample  schools  suggested  there  is  significant  room for improvement in the roles and professional development of librarians. Across the sample schools,  the roles of librarians are often limited to organizing library materials, including preparing and classifying  new  materials  so  students  and  teachers  can  easily  locate  what  they  need.  Additional  duties  include  providing support to teachers and students by preparing a collection of books requested by teachers prior  to  class  visits  to  the  library  and  by  delivering  books  to  classrooms  upon  request.  At  the  primary  schools,  the librarians also facilitate library visits at the request of teachers and read to students during the visits.  Some  librarians  also  assist  teachers  in  determining  which  books  are  suitable  for  students  of  different  grades and adding/rotating books for the reading corners in each classroom. One promising initiative, the  Literacy Ambassador program, was implemented by MI Bustanul Ulum, under which a selected group of  fourth and fifth graders are instructed by librarians on library management (in particular on how to classify  and circulate books). These students are expected to serve as “literacy ambassadors” for their classmates  to promote their awareness and knowledge of library management and use.     Nevertheless,  such  unique  library‐initiated  programs  and/or  collaborations  between  teachers  and  librarians are still limited, and there seems to be a lack of systematic efforts and incentives at the school  level to create or enhance links between the use of the library and classroom learning in a way that leads  43      to  improved  reading  and  learning.  Indeed,  the  majority  of  primary  teachers  and  Bahasa  Indonesia  teachers, as well as librarians, indicated that their collaboration is rare, apart from the librarians’ arranging  library  visits,  preparing  requested  books,  and  occasionally  introducing  a  new  collection  of  books  at  the  request of teachers.    Often through collaboration with regional and local libraries (and national libraries for schools located in  Jakarta), librarians are trained in library management. The librarian of MI Bustanul Ulum in East Java takes  part in training sessions organized by the local library on managing the library system. The sessions teach,  for example, how to manage book circulation and speed up the loan process by adding barcodes to books.  The librarians of secondary schools in Jakarta (SMPN115 Jakarta and MAN4 Jakarta) benefit from training  opportunities  with  both  national  and  regional  libraries  through  which  they  can  deepen  their  knowledge  and skills in library management, such as the classification of books and producing library reports. For the  librarians working in the sample primary schools, such training arrangements with regional/local libraries  are  not  always  available.  SDN  Punten  1  Batu  (an  INOVASI‐supported  primary  school  in  urban  East  Java)  was one of the few primary schools whose librarian indicated that she had attended training organized by  the  regional  library  on  how  to  cultivate  and  promote  students’  interest  in  reading.  According  to  the  interviews,  many  primary  schools  in  rural  areas  have  few  professional  development  opportunities  for  librarians. Some librarians have had neither pre‐service nor in‐service training, which means they are self‐ taught  in  managing  the  library.  In  addition,  some  parents  and  school  personnel  spoke  about  how  their  school librarians are undermotivated and frequently absent from the library even during its open hours.     To  better  understand  the  needs  of  students  and  teachers,  and  to  connect  them  with  the  appropriate  resources,  librarians  should  be  provided  with  more  targeted  professional  development  opportunities.  These  opportunities  could  enhance  their  knowledge  of  different  subject  resources,  as  well  as  their  professional  competencies  in  determining  how  to  improve  and  expand  the  library  collection,  including  ensuring  that  it  is  well  aligned  with  students’  learning  needs.  Moreover,  given  the  increased  use  of  and  demand for web‐based resources, such as digital books and electronic journals, librarians are also in need  of strengthening their skills in using technology to assist students and teachers in accessing and navigating  online  research  tools  and  learning  resources.  Such  training  will  be  especially  relevant  for  secondary  schools  where  various  research‐oriented  initiatives  are  being  undertaken.  For  instance,  a  Bahasa  Indonesia teacher from MAN4 expressed her interest in having the librarian introduce her students to the  available online resources (e.g., databases, journals, books) and provide advice on how they can explore  digital  resources  more  effectively.  She  would  also  like  to  have  her  students’  research  digitized  so  future  students  can  use  it  as  a  reference  when  conducting  research.  As  more  reading  and  learning  resources  become  available  online,  the  need  to  reimagine  the  role  of  librarians  and  that  of  libraries  as  a  learning  space—including how the physical space of a library could be best utilized to support student learning— will continue to evolve. Ultimately, such targeted professional development in response to the changing  needs of learners and educators could help librarians serve as catalysts both in fostering students’ interest  in reading and learning, and also in forging links between classroom learning and library resources.    44      4.2.3 Limited conduciveness of learning spaces and assets to science education The  interviews  with  the  secondary  school  participants 34  revealed  that,  despite  their  relatively  well‐ equipped  science  laboratories,35 there  is  still  some  room  to  increase  the  conduciveness  of  the  learning  spaces and assets attached to these spaces (particularly laboratory technicians) to science education.     The majority of the interviewed science and biology teachers indicated that they were generally satisfied  with  both  the  quality  and  quantity  of  lab  equipment,  even  though  a  handful  of  teachers  and  principals  stated  their  students  needed  to  share  some  equipment  due  to  shortages.  These  high‐performing  secondary  schools  also  have  the  equipment  required  to  support  more  advanced  science  education  for  some students, such as those in science clubs and a selected group of Olympiad students who prepare for  participation in the National Science Competition (Kompetisi Sains Nasional) held by MoEC. At MAN1 Kota  Malang and MAN2 Kota Malang, in order to facilitate even better access to advanced lab instruments and  supplies,  the  schools  have  made  an  agreement  with  local  universities  (Malang  University  and  Brawijaya  University)  that  allow  science  Olympiad  students  and  science  club  members  to  use  the  university  laboratories  and  receive  support  from  lecturers.  The  universities  also  lend  laboratory  equipment,  as  needed,  to  science  subject  teachers  of  the  two  aforementioned  schools  to  accommodate  their  teaching  needs.     However,  it  appears  that  even  these  schools  with  relatively  well‐equipped  laboratories  continue  to  face  challenges  related  to  the  effective  use  of  laboratory  spaces.  Indeed,  one  frequently  cited  challenge  was  the overbooking and overcrowding of science laboratories. Some teachers and principals expressed their  dissatisfaction at how their laboratories were too small to accommodate all the students in a single class  and  the  challenge  of  reserving  laboratory  rooms. 36  For  example,  at  SMAN  8  Jakarta,  where  only  one  science laboratory is available in a school of over 1,000 students, the laboratory needs to be used by more  than  25  science  classes.  As  a  result,  teachers  always  compete  to  schedule  their  laboratory  classes.  The  large  number  of  students  in  a  laboratory  room  also  makes  it  less  conducive  to  laboratory  teaching.  At  MAN  2  Kota  Malang  (where  the  average  number  of  students  per  classroom  is  almost  29),  despite  the  availability  of  a  separate  laboratory  for  each  science  subject  (i.e.,  biology,  chemistry,  and  physics),  both  the principal and biology teacher found it difficult to teach a class of over 30 students when the laboratory  space would be best suited to a maximum of 25 students.  To cope with these challenges, teachers have adopted different strategies. At MAN 2 Kota Malang, in an  effort to conduct laboratory lessons more efficiently, teachers divide up a class exceeding 25 students into  small  groups  so  students  can  work  in  teams.  Some  teachers  bring  laboratory  equipment  to  regular  classrooms or take students out into the field (depending on the lesson subject). For instance, the biology  teacher  of  MAN  9  Jakarta  said  that  she  uses  laboratories  for  conducting  some  lessons  that  require  laboratory equipment (such as observing photosynthesis), but for  other lessons, she brings her students  out into nature or makes use of regular classrooms. The biology teacher of SMAN 8 Jakarta also indicated  that  she  borrows  equipment  from  the  laboratory  and  lets  her  students  practice  experiments  in  regular  classrooms  whenever  the  laboratory  rooms  are  booked  up.  She  also  tries  to  combine  several  practical  34 None of the sampled primary schools had science laboratories. Only one primary school principal (SDN Gelam 1) indicated  that the school has science equipment for students to conduct experiments in classrooms. However, according to the principal,  the equipment has been insufficient to meet curriculum needs, especially since the new curriculum was introduced in 2013.   35 While some secondary schools have laboratories for all three science subjects (biology, chemistry, and physics), others have  spaces for just two science subjects or only one laboratory. Given that the interviews were only conducted with biology  teachers at senior secondary schools (and science teachers at junior secondary schools), there is a possibility that some of their  responses regarding the adequacy and sufficiency of lab equipment were biased toward the equipment related to biology.   36 Among the sampled secondary schools, the difficulty of scheduling laboratory classrooms appears to be reflected by the  frequency of laboratory use, which ranged from a few times per semester to once per month.   45      lessons  into  one,  whenever  possible,  to  reduce  the  risk  of  missing/falling  behind  on  lessons  due  to  the  unavailability of the laboratory classroom.     The  interviews  with  principals,  science  and  biology  teachers  suggested  that  the  roles  and  professional  development  of  school  laboratory  technicians  are  limited.  Across  the  sample  schools  where  laboratory  technicians  are  available, 37  their  responsibilities  mainly  involve  assisting  teachers  with  preparing  the  practical equipment for their laboratory lessons, managing inventory and the functionality of equipment,  and  making  a  suggested  list  of  equipment  to  be  procured  for  the  next  school  year  in  consultation  with  teachers.  None  of  the  interviewed  principals,  science  and  biology  teachers  spoke  about  more  extensive  engagement of technicians in science/laboratory lessons, which would require more technical skills, such  as demonstrating experiments or supporting students in their science research projects.      Furthermore,  while  various  innovative  literacy  initiatives  adopted  by  the  secondary  schools  focused  on  fostering reading and literacy skills among all students, the science‐related initiatives appeared to be more  targeted  toward  supporting  a  selected  group  of  students,  notably  science  Olympiad  participants.  Many  secondary schools have Olympiad clubs, which are generally treated as part of the school’s extracurricular  activities.  Students  who  have  been  selected  to  take  part  in  science  Olympiads  are  trained  in  science  laboratories.  At  SMA  Unggulan  MH  Thamrin,  whose  Olympiad  club  has  competed  and  won  medals  both  nationally and internationally, club members receive special training from science subject teachers every  Saturday. Similarly, at MAN 9 Jakarta, students in the Olympiad club are coached by external mentors and  use  laboratories  for  special  training.  The  strong  support  for  these  groups  of  students  and  ensuring  their  use  of  laboratories  and  access  to  the  necessary  advanced  science  equipment,  while  important,  could  contribute to the idea that science learning and laboratory experiments are not for everyone. Rather, they  need  to  be  prioritized  for  the  technical  training  of  a  small  group  of  advanced  students.  Therefore,  more  initiatives  should  be  introduced  to  nurture  and  spur  student  interest  in  science  to  facilitate  their  engagement  in  hands‐on  learning  and  to  help  deepen  their  knowledge  and  understanding  of  science  through  classroom  lessons,  field  observations  and  research,  experiments  in  laboratories,  and  extracurricular activities.    4.3 Adoption of EdTech by the Sample Schools The  increasing  use  of  information,  communications,  and  EdTech  in  Indonesia’s  education  system  has  generated  new  opportunities  and  challenges  to  education  stakeholders.  It  has  also  prompted  policy  makers, administrators, and educators to explore how EdTech could best be utilized as a tool to spur and  transform  learning  and  to  improve  educational  outcomes  by  facilitating  a  digital  infrastructure  and  its  complementary investment in support of student learning. With the introduction and expansion of online  testing  in  the  country  in  the  past  three  years,  there  has  been  a  growing  expectation  for  EdTech  to  serve  as a vehicle for leveraging  learning (Bhardwaj et al. 2020). Furthermore, the  unprecedented  educational  disruptions  brought  about  by  the  COVID‐19  crisis  have  fostered  an  urgent  and  extensive  increase  in  the  country’s  use  of  EdTech,  while  illuminating  the  need  to  address  an  uneven  distribution  of  “digital  dividends,” the broader development benefits from using digital technologies (World Bank 2016). In this  context, the section below presents how EdTech has been adopted by the sample schools by highlighting  the growing integration of EdTech into classrooms and its remaining gaps and challenges.      37 While some of the sampled secondary schools had both laboratory heads (who oversee and coordinate the tasks of  technicians) and technicians for different science subjects, others either only had technicians or no technicians at all.   46      4.3.1 Growing integration of EdTech into classrooms If  we  define  educational  technology  as  a  type  of  learning  complements  that  can  facilitate  and  promote  student  learning,  how  robust  and  accessible  has  educational  technology  been  for  the  students  and  the  teachers of the sample schools? The interviews with the participants revealed that the growing integration  of EdTech has helped transform classroom teaching and learning experiences in many ways. However, the  adoption  of  EdTech  by  the  sample  schools  has  not  yet  reached  the  point  that  allows  them  to  level  the  emerging opportunities for all the students to benefit from the  use of technology. As detailed in Section  4.3.2, there are remaining gaps and challenges in EdTech.         47      Relatively high connectivity  Connectivity was found to be relatively high among the majority of the sample schools. Of the 20 sample  schools,  18  had  internet  connectivity  whereas  two38 did  not.  There  were  some  schools  where  internet  connection  was  set  up  in  the  past  few  years  and  also  those  where  access  to  the  internet  was  not  yet  available  for  all  the  classrooms  or  only  available  in  the  principal’s  office,  teachers’  offices,  and  common  learning  spaces  such  as  libraries  and  computer  laboratories.  Among  the  schools  with  WiFi  access,  many  of  the  interviewed  participants  indicated  that  their  schools  did  not  have  uninterrupted  access  to  high‐ speed  internet,  especially  when  multiple  classrooms  were  using  the  internet  simultaneously.  They  also  expressed the need for an upgrade.     Ownership of digital learning devices   High computer ownership by teachers was noted among the majority of the sample schools. Except for a  few primary schools in remote locations where only a limited number of computers or no computers are  available for teachers’ use in school and not all of the teachers have personal computers at home (usually  laptops),39 almost all teachers from the rest of the schools have access to computers in and out of school.  As  a  result  of  this  high  level  of  computer  ownership,  teachers  use  computers  in  school  for  specific  purposes,  such  as  making/printing  exams,  submitting  grades  for  the  students’  report  cards,  and  taking  care  of  other  administrative  matters/paperwork.  At  home,  teachers  use  their  personal  computers  to  prepare  for  their  class  lessons  and  presentations,  and  to  look  for  online  resources  to  supplement  their  teaching.         According  to  the  interviews  with  principals  and  teachers,  student  ownership  of  mobile  phones  and  computers  varies  depending  on  the  school  location  and  educational  level.  In  general,  the  students  with  low  levels  of  digital  device  ownership  were  primary  students  in  underserved  rural  areas  (regardless  of  internet  connectivity  at  the  schools  they  attend)  and  secondary  students  from  disadvantaged  families.  However, as discussed in the following section, the increasing use of EdTech in the classroom and in online  distance learning during the school closures due to the COVID‐19 crisis, as well as the growing emergence  of  “blended  teaching”  (in  which  online  and  in‐person  instructions  are  combined),  has  posed  a  pressing  need  for  many  Indonesian  schools,  including  the  sample  schools,  to  address  and  mitigate  the  issues  of  equity.      Utilization of digital learning devices and content   In schools with high levels of connectivity and ownership of digital devices among teachers and students,  various  digital  learning  contents  and  resources  have  been  used  to  deliver  more  engaging  and  relevant  teaching.  Among  the  electronic  devices,  projectors  are  still  used  most  frequently  in  both  primary  and  secondary classrooms. Their usages include displaying images and videos downloaded from  the internet  that  are  relevant  to  the  subject/lesson  content,  showing  PowerPoint  presentations  prepared  by  the  teachers  and  students,  and  so  on.  Two  of  the  interviewed  schools  (MI  Bustanul  Ulum  and  MAN1  Kota  Malang) use smart TV in their classrooms to show subject‐related learning content (including videos) via  the  internet.  At  the  secondary  level,  where  student  mobile  ownership  is  higher,  teachers  often  instruct  students  to  use  their  phones  to  look  for  specific  information  on  the  internet  during  the  class  and/or  to  refer to the learning materials they shared ahead of the class.      38 These two schools are SDN013 Tanjung Selor and SDN Inpres Poma, both of which are primary schools in remote locations  and whose school accreditation was classified as B and C, respectively.    39 At SD Inpres Poma, a primary school in an underserved community in rural East Nusa Tenggara, no computer is available  either for the teachers or for the students. Only one teacher owns a personal computer.   48      Across the sample schools, a variety of educational apps are being used in the classroom, especially at the  secondary level,40 to facilitate student learning. Among the apps commonly mentioned by the participants  were Schoology, Quipper, Edmodo, Quizizz, CBT‐8, SiPINTAR,41 Google Classroom, Zoom, and WhatsApp.  The ones less commonly cited but that are also being used by some teachers/schools include Kahoot! and  Letsread.  These  apps  have  been  adopted  for  different  settings,  including  the  following:  administering  quizzes and exams mostly comprising multiple choices and short answers42 (e.g., Quizizz, CBT‐8, Kahoot!,  SiPINTAR,  Schoology);  sharing  class  materials  (e.g.,  Edmodo,  WhatsApp);  facilitating  online/distance  learning  (e.g.,  Google  Classroom,  Zoom);  and  referencing  students  to  a  digital  collection  of  children’s  books  (e.g.,  Letsread).  Furthermore,  in  some  schools,  teachers  have  developed  their  own  apps  for  administering exams.    As evidenced by a good number of schools embracing EdTech, many of the interviewed teachers see the  benefits of using various apps, especially in terms of how they can enhance teacher‐facilitated learning in  classrooms  and  improve  students’  learning  experiences  by  making  them  more  fun  and  interactive.  In  addition, they also spoke about how the use of apps has improved the integrity of exams as the apps used  for  quizzes  and  exams  have  built‐in  mechanisms  that  prevent  cheating  (e.g.,  shuffling  the  sequence  of  questions among students, displaying each question for only a short amount of time).             The positive association of teachers’ computer ownership with student achievement—as identified in the  quantitative analysis based on the SDI sample of primary madrasahs—might be partially explained by the  fact  that  teachers’  computer  ownership  increases  their  computer  usage  and  improves  their  computer  proficiencies,  which  allows  them  to  utilize  their  devices  and  digital  learning  resources,  including  various  online  apps/platforms,  more  effectively.  By  utilizing  these  skills  and  resources,  teachers  can  adapt  to  delivering blended teaching in such a way that spurs student learning and addresses their learning needs.         With  increased  demand  for  online  learning  and  growth  of  local  apps/platforms,  both  MoEC  and  MoRA  have  launched  co‐sharing  platforms,  namely,  “Guru  Berbagi”  for  public  schools  operating  under  MoEC  and e‐learning Madrasah for those under MoRA. Guru Berbagi is designed to assist public school teachers  with  practicing  online  and  remote  learning  methods.  It  also  serves  as  a  peer  learning  space  for  teachers  by sharing their experiences and creating online learning strategies (Bhardwaj et al. 2020). Similar to Guru  Berbagi,  e‐learning  Madrasah  is  intended  to  support  madrasah  teachers  in  facilitating  e‐learning  by  connecting  educators  (including  school  supervisors,  principals,  vice‐principals,  teachers,  and  counselors)  and  learners  to  share  vast  teaching  and  learning  resources. 43  It  provides  a  space  for  teachers  to  communicate and collaborate by allowing teachers adept at delivering online/blended teaching to share  their  teaching  materials  and  strategies  with  their  less  experienced  peers.  The  e‐learning  Madrasah  platform  also  enables  ongoing  monitoring  of  school/teacher/student  performance,  counseling  sessions  for students, and administering of computer‐based tests.   40 At the primary level, it appeared that apps are only used for selected purposes: for providing reading materials (such as  storybooks) to students whose school library collections are limited and for administering exams in upper grade classes. For  example, at MI Bustanul Ulum, Grades 5 and 6 students take exams using apps developed by the school. Students who do not  have mobile phones are allowed to use the computers in the computer lab or to borrow their teachers’ phones.    41 SiPINTAR, an app developed for Daerah Khusus Ibukota Jakarta Raya (DKI Jakarta or Special Capital City Region) has various  features related to learning. It also grants students and parents access to an online learning portal.    42 According to the interviews, if the tests include essay questions requiring longer and more descriptive answers, teachers  usually prepare those questions separately in paper format. The biology teacher from SMAN8 Jakarta indicated that SiPINTAR  has a feature that allows the facilitation of essay writing but she rarely uses it. She mostly uses the app for administering tests  comprising multiple choice questions.     43 These resources would include, for example, teaching materials, lesson plans, student grades, and school policies (to be  shared among educators), as well as teaching materials, class assignments, and discussions (to be shared by the teachers and  the students).        49        According  to  MoRA,  the  launching  of  the  e‐learning  Madrasah  platform  was  initially  scheduled  for  July  2020.  However,  due  to  the  outbreak  of  the  COVID‐19  pandemic  and  the  subsequent  school  closures,  it  was  pushed  for  an  early  release  in  March  2020.  By  April  2020,  the  app  has  been  downloaded  by  11,694  madrasahs (against a total of 52,576 madrasahs in the 2019/2020 academic year) and has been accessed  by 614,317 users. The hasty introduction of the new platform, combined with its original intended use as  an  offline  app  accessed  via  the  madrasah  school  intranet  server,  has  brought  some  technical  challenges  that need to be met. At present, the app does not support online classroom tools for hosting interactive  live  teaching  sessions.  Consequently,  teachers  need  to  use  third‐party  apps  (e.g.,  Google  Classroom,  Zoom) to deliver online classes.     The  interviews  with  the  madrasah  school  participants  showed  mixed  results44 regarding  the  design  and  usability  of  e‐learning  Madrasah.  A  Bahasa  Indonesia  teacher  from  MAN1  Tangerang  Selatan,  who  uses  both Google Classroom and e‐learning Madrasah for conducting distance learning during the quarantine,  indicated  that  he  was  pleased  with  how  the  platform  can  facilitate  Q&A  sessions  and  computer‐based  tests with multiple choices. The principal of MAN1 Kota Malang, another madrasah that has started using  e‐learning  Madrasah,  also  highlighted  the  convenience  of  its  ability  to  administer  online  tests  using  Android  phones.  Nonetheless,  some  of  the  users  expressed  their  dissatisfaction  with  the  current  design  of the platform (e.g., the rigidity of its class scheduling system, which does not bode well for the pandemic  situation in which flexibility is key in scheduling classes), and the need for training on how to navigate and  utilize the platform effectively.             The  “Digital  madrasah”  program  is  another  digital  learning  initiative  supported  by  MoRA.  Under  the  initiative,  a  selected  group  of  madrasahs  undergo  a  variety  of  activities  aimed  at  enhancing  the  digital  literacy of teachers and students. MAN1 Tangerang  Selatan, which has been selected as one of  the pilot  digital  madrasahs,  boasts a  range  of  activities  such  as  the  implementation  of  more  extensive  hours  of  IT  subject classes per week (i.e., 4 hours per week) compared with non‐pilot madrasahs and the application  of  Augmented  Reality,  Virtual  Reality,  and  distance  learning  in  student  learning  under  the  scope  of  Industry 4.0. These activities have been implemented in partnership with the Southeast Asian Ministries  of  Education  Organization  (SEAMEO)  Regional  Open  Learning  Center,  which  has  over  20  years  of  experience  in  assisting  the  SEAMEO  member  countries  with  the  development  of  Open  and  Distance  Learning.45       4.3.2 Remaining gaps and challenges in EdTech Despite  the  growing  integration  of  EdTech  in  classrooms,  there  remain  gaps  and  challenges  faced  by  Indonesian  schools.  The  interviews  with  the  sample  school  participants  delineated  three  primary  issues:  (i)  digital  inequality;  (ii)  low  digital  literacy  among  some  teachers;  and  (iii)  incoherent  use  and  management of digital learning resources.         Digital inequality  The  integration  of  EdTech  in  Indonesian  classrooms  has  necessitated  both  teachers’  and  students’  increased  access  to,  and  use  of,  digital  devices.  With  the  amplified  use  of  educational  apps/platforms,  44 At the time the phone interviews were conducted in late April 2020, some of the interviewed madrasah schools had not  started using e‐learning Madrasah or continued to use the third‐party apps which they had already familiarized themselves with  to facilitate distance learning. One potential reason for this underutilization of the platform by some madrasahs is that schools  without domain names needed to make the initial investment to host the internet server.   45 The training for MAN1 Tangerang Selatan teachers was scheduled for early March 2020, but due to the COVID‐19 outbreak,  the training has been halted.  50      especially at the upper primary and secondary levels, these students are often required to use their own  digital  devices,  such  as  smartphones  and  laptops,  to  access  learning  materials  and  take  exams  online.  Some schools require students to purchase either smartphones or laptops upon admission. Other schools  try to ensure that students without these devices will not be left behind, for example, by raising funds for  students  from  disadvantaged  families  to  support  their  access  to  the  internet  by  purchasing  internet  packages, by requesting for school committee funds so those students can buy a smartphone or a laptop,  by  printing  learning  assignments  for  those  who  cannot  access  online  resources,  or  by  allowing  them  to  use  school  laptops.  Nevertheless,  during  the  school  closures  in  the  face  of  the  COVID‐19  crisis,  students  who  did  not  have  smartphones  often  needed  to  access  remote  learning  by  borrowing  their  parents’  phones or by joining their friends who have phones.      Moreover,  the  poor  conditions  of  digital  infrastructure  and  connectivity,  especially  in  remote  regions,  exacerbate the digital inequality in education. Although Indonesia has one of the largest numbers of users  with  internet  connections  in  absolute  numbers,  Indonesia’s  internet  penetration  stands  at  56  percent,  which is below the Southeast Asia average of 63 percent and in line with the global average of 57 percent  (We  Are  Social  2019,  as  cited  in  Bhardwaj  et  al.  2020).  As  a  result,  schools  in  remote  underserved  areas  are  not  well  equipped  with  the  digital  infrastructure  needed  to  facilitate  online  learning.  Thus,  many  students  in  such  remote  locations  with  low  or  no  connectivity  will  also  miss  out  on  opportunities  to  develop digital literacy.       Among the sample schools, poor digital infrastructure and connectivity encompass the lack of connectivity  and  the  resulting  inaccessibility  of  EdTech  to  many  students  in  rural  areas,  unreliable  connectivity  and  slow  download  speeds  in  both  urban  and  rural  areas,46 and  insufficient  guidelines  (or  lack  thereof)  to  protect data security and safeguard student privacy and school data. Few of the sample schools had any  guidelines  or  systems  in  place  to  ensure  data  security  and  safeguard  their  students  from  potential  data  breach.47 Coupled with Indonesia’s underdeveloped consumer protection regulations, particularly on data  security and privacy (Bhardwaj et al. 2020), the lack of appropriate measures at the school level could put  student and school data at risk.     Low digital literacy among some teachers   The  low  level  of  digital  literacy  among  some  teachers  was  another  challenging  area  faced  by  the  sample  schools.  The  interview  participants  commonly  indicated  that  some  teachers,  especially  senior  teachers,  tended  to  be  less  willing  to  embrace  new  digital  technology.  These  teachers  also  encounter  difficulty  in  keeping  up  with  new  technologies  and  digital  tools,  and  in  integrating  EdTech  into  their  teaching.  In  response to this challenge, schools often turn to junior teachers who are more accustomed to online tools  and  tend  to  have  a  more  decent  level  of  digital  literacy,  asking  them  to  provide  support  to  their  senior  colleagues. For instance, MTS3 Jakarta has a designated IT team consisting of junior teachers from whom  senior  teachers  can  ask  for  guidance  on  IT‐related  issues  and  how  to  utilize  digital  devices  and  online  resources  for  teaching.  A  similar  IT  support  system  has  been  set  up  at  MAN4  Jakarta,  where  junior  teachers provide lessons on the use of digital tools and resources (including various apps) in classrooms.  This is also the case at SD02 Malinau Barat, where a group of junior teachers assist their senior colleagues  in  adapting  to  the  use  of  digital  tools.  While  such  efforts  are  worthwhile,  they  may  not  be  sustainable  without  providing  more  rigorous  training  to  help  improve  the  digital  literacy  of  all  teachers.  The  SD02  46 For example, a Bahasa Indonesia teacher of SMA Unggulan MH Thamrin in Jakarta indicated that because of the unstable and  poor WiFi connection in the school, the teachers and the students often need to use their personal internet packages when  accessing online resources during class.    47 The exceptions were MTS3 Jakarta and SMAN8 Jakarta. According to the MTS3 Jakarta principal, the school uses MikroTik to  prevent data breach. They also have an IT team consisting of a dedicated group of teachers who take care of IT‐related issues.  SMAN8 Jakarta has a private server in which school and student data are stored.      51      Malinau  Barat  principal  said  that  junior  teachers  feel  burdened  as  they  need  to  support  senior  teachers  and keep up with their own teaching as well.     The transition to online distance learning during the recent school closures has also highlighted the need  for more systematic and rigorous trainings for teachers to build their capacity to deliver online teaching.  Teachers  with  low  digital  literacy  were  especially  hit  hard  by  the  off‐site  quarantine  situation,  which  did  not allow them to seek technical help from their digitally savvy colleagues as easily. At MI Bustanul Ulum,  according to the principal, just over half of the teachers have their own laptops and only a few (of the 24  teachers)  know  how  to  use  the  apps  needed  to  conduct  online  teaching.  An  MI  Bustanul  Ulum  teacher  reported  that  majority  of  the  teachers,  including  herself,  were  struggling  because  of  their  limited  knowledge of technology use. Even among the schools where the use of apps had already become part of  the norm, teachers stressed that they need more formal and targeted training on how to conduct online  teaching  effectively  (including  how  to  prepare  teaching  materials  specifically  for  online  classes),  as  it  requires a different set of skills than those they were used to in blended teaching.            Incoherent use and management of digital learning resources   Although  an  informal  IT  support  system  at  the  school  level  and  occasional  ad‐hoc  training  sessions  organized  by  some  schools  to  improve  teachers’  IT  literacy  have  created  some  space  for  teachers  to  mutually  communicate  and  collaborate  on  EdTech,  few  systematic  efforts  have  been  exerted  by  the  majority  of  the  sample  schools  to  guide  teachers  on  how  to  use  and  manage  digital  learning  resources.  Rather,  it  tends  to  be  left  to  the  individual  teacher’s  discretion  to  determine  which  online  learning  resources  and  tools  (including  apps/platforms)  are  more  appropriate  than  others  to  meet  the  students’  learning  needs.  Some  teachers  with  more  familiarity  and  experience  with  digital  resources  spoke  about  how they use different apps for specific purposes (e.g., for sharing teaching materials with students ahead  of  online  classes,  for  facilitating  online  classes,  for  administering  quizzes,  for  conducting  mid‐term  and  final exams). However, many teachers indicated that they did not know what specific apps their colleagues  were using, suggesting that these might vary across teachers within the same school. In the schools that  have  developed  their  own  apps  for  administering  exams,  teachers  are  required  to  use  them  for  that  purpose.  However,  for  other  purposes  and  learning  settings,  it  is  normally  up  to  the  choice  of  the  individual teacher whether to use any learning apps or which apps to use.      Given the varying levels of digital literacy among teachers at each school, more systematic and concerted  efforts  are  necessary  to  aid  teachers  to  improve  their  use  and  management  of  different  digital  learning  tools  and  resources  in  such  a  way  that  caters  to  teaching  and  learning  needs.  The  launching  of  government‐supported platforms (such as Guru Berbagi and e‐learning Madrasah for MoEC‐ and MoRA‐ operated  schools,  respectively)  can  be  perceived  as  a  first  step  forward  in  this  direction,  providing  a  collaborative  space  for  educators  to  share  their  online  teaching  experiences  and  relevant  learning  resources,  and  how  they  could  be  utilized  to  facilitate  transformative  learning  experiences  for  students.  For e‐learning Madrasah, collecting users’ feedback through surveys (e.g., regarding the user‐friendliness  of  the  platform,  its  functionality,  the  breadth  and  quality  of  its  contents,  users’  overall  experience  with  the  platform  compared  with  other  extant  learning  apps)  could  shed  light  on  how  the  platform  can  be  enhanced  to  meet  the  needs  of  both  teachers  and  learners,  and  be  better  adapted  to  the  context  of  madrasah  schools.  Users’  feedback  could  also  inform  the  design  and  facilitation  of  future  training  on  e‐ learning Madrasah to improve the use and management of online resources at each school, as well as to  transform  teachers’  mindsets  toward  EdTech  from  something  complex  and  burdensome  to  something  promising and worth embracing.     52      4.4 Implications of the COVID-19 Crisis for Distance Learning Amid  the  unprecedented  educational  disruptions  and  widespread  school  closures  due  to  the  COVID‐19  pandemic,  Indonesian  school  systems  have  transitioned  to  distance  learning  to  ensure  that  students  continue  their  studies.  The  experiences  of  the  sample  schools  in  response  to  the  ramifications  of  the  pandemic  pointed  to  the  key  challenges  faced  by  these  schools  and  some  key  takeaways  from  their  experiences in implementing distance learning.    4.4.1 Bottlenecks faced by the sample schools Digital  inequality  has  been  identified  as  one  of  the  major  challenges  faced  by  the  sample  schools  in  the  face  of  the  COVID‐19  emergency,  hampering  some  students  from  staying  engaged  in  learning.  More  specifically,  digital  inequity  presented  a  key  challenge  in  terms  of  connectivity  and  access  to  devices  needed for distance learning; it also had implications for the readiness of the schools to engage students  in distance learning. The vast majority of the interview participants indicated that the low level of (or lack  of) access to stable, high‐speed internet and digital device conducive for distance learning has adversely  impacted  both  teachers  and  students.  Some  teachers  indicated  that,  although  their  schools  are  holding  virtual  classes  using  web‐based  video  conferencing  tools,  such  as  Zoom,  some  students  have  neither  laptops nor smartphones. As a result, these students needed to attend their classes by either borrowing  their parents’ phones or asking their friends who have phones to let them take the class together (which  should  be  avoided  under  social  distancing  practices).  Primary  school  students  whose  mobile‐phone  ownership is not as high as secondary school students also did not have a choice but to ask their parents  to let them use their phones to attend  online classes. However, this is not always possible;  for example,  when their parents are not around and  cannot let them use their  phones, students end  up  missing  their  classes.    On the issue of connectivity, the large amount of data required for using various apps and online platforms  was raised as another issue by  the interview participants. Indeed,  there was a high demand for financial  support  for  teachers  and  students  to  buy  additional  internet  packages  so  they  could  stay  engaged  in  teaching  and  learning  without  running  out  of  quota. 48  This  issue  also  suggests  that  ubiquitous  connectivity,  both  in  and  out  of  school,  remains  a  challenge  for  many  schools  and  adversely  impacts  student learning. Even if the schools are well equipped with high‐speed internet and teachers are versed  in using technology in teaching‐learning processes in in‐person classes, not all the teachers and students  have an equivalent level of connectivity or adequate means for connectivity at home. Some students use  their mobile phones to join virtual classes and access their assignments. However, as emphasized by the  interviewed teachers, learning solely with mobile phones is not always as conducive as using computers.    Among the most severely affected were students in remote, underserved communities without adequate  home electricity. In rural areas with poor digital infrastructure, students are encouraged to listen to Radio  Republik  Indonesia  to  supplement  their  home‐based  learning.  They  could  also  make  use  of  educational  television programming Belajar dari Rumah (Study from Home)49 launched by MoEC on April 13, 2020, via  Televisi Republic Indonesia, which is a state‐owned, public broadcasting television network in the country  (Bhardwaj et al. 2020). Nonetheless, some of the most socioeconomically disadvantaged students do not  even have access to a  TV.  The  principal  of SDN013 Tanjung Selor in rural North Kalimantan said that, for  48 In response to such needs, SDN Punten 1 Batu provided subsidies to teachers for their phone bills. Similar arrangements for  teachers and students were not found with other sample schools at the time of conducting the phone interviews.  49 The programming has blocks that catered to different education levels, from early childhood to primary to junior and senior  secondary education.  53      students without a TV at home, their homeroom teachers would give them assignments to work on once  every week or two, either via phone (by calling their parents) or in person (by visiting their homes).50    Some  primary  schools  in  remote  areas  have  not  been  able  to  offer  any  distance  learning.  For  example,  according  to  the  interviews  with  the  school  personnel  of  SDN  Inpres  Poma  in  rural  East  Nusa  Tenggara,  because of the low ownership of mobile phones among parents, it has been difficult to reach out to both  parents  and  students  since  the  school  closure. 51  According  to  a  regional  coordinator  of  the  INOVASI  program, in some remote areas, parents would bring their children to assist their work in the field, which  makes it even harder to reach and follow up on those students.    4.4.2 Key takeaways The experiences of the sample schools with varying levels of readiness to conduct distance teaching and  learning pointed to some key takeaways as below.     High‐performing secondary schools in which the use of online learning tools had already been integrated  into regular teaching‐learning processes were best positioned to transition into distance learning.      Notably,  at  MTS3  Jakarta,  where  the  “Schoology”  app  had  been  extensively  used  for  two  years,  the  educational disruptions brought about by the pandemic were minimal. As students and teachers had been  engaging in online classes regularly prior to the COVID‐19 crisis, they were able to shift to distance learning  easily  and  promptly.  Although  some  students  have  only  smartphones,  not  laptops,  according  to  one  of  the interviewed teachers, the Schoology app is fairly light and compatible with most phones, which makes  it more accessible to students studying from home.    Some schools have exerted conscious efforts to keep open lines of communication with parents to promote  transparency and their engagement in student learning.    Many  sample  schools  use  WhatsApp  as  their  primary  means  of  communication  with  parents  during  the  school  closures  to  keep  them  updated  on  students’  class  schedules  and  assignments.  Typically,  teachers  communicate with parents through WhatsApp groups to exchange information about students’ situation  at  home  and  how  they  are  coping  with  distance  learning,  as  well  as  to  provide  any  tips  for  parents  to  support student learning.    Some  schools  have  exerted  conscious  efforts  to  maintain  open  lines  of  communication  in  various  ways.  By  doing  so,  these  schools  have  tried  to  increase  transparency  and  promote  parental  engagement  and  support for children’s home‐based learning. Examples included the following:     At SDN Punten1 Batu,  homeroom teachers and  parents have teleconferences to discuss student  progress during school closures. Through these conferences, teachers advise parents to be flexible  so their children could make use of their time productively and stay healthy during quarantine by  eating  well,  exercising,  sunbathing,  and  engaging  in  learning.  Parents  have  also  been  asked  to  send videos of their children engaging in different activities regularly.   SMPN115  Jakarta  teachers  have  actively  stayed  in  contact  with  parents  by  using  Google  form.  Parents have been asked to fill out a form every day to report on students’ conditions and provide  50 However, since a stay‐at‐home order was issued, home visits by teachers have been halted.  51 Before the school closed, teachers advised parents to assist their children’s home‐based learning by reviewing their previous  class notes.  54      feedback to teachers (e.g., student learning progress, technical issues and/or academic concerns  with  distance  learning).  Parents  have  also  been  encouraged  to  ask  homeroom  teachers  for  guidance on how to assist their children with home‐based learning.   In  the  early  phase  of  school  closures  (before  more  strict  quarantines  were  exercised),  SD02  Malinau Barat would have  five teachers  stay on  campus each day so parents could  come by  and  ask for any support they  needed  to keep  their children learning  at home.  In addition, the school  made tutorial videos about how parents could help their children’s distance learning.   A biology teacher from MAN1 Tangerang Selatan provides personalized reports to each parent on  students’  progress  regularly  and  informs  them  if  their  children  have  missed  classes  or  have  not  submitted their homework.   MAN4  Jakarta  sends  out  regular  reminders  to  parents  via  WhatsApp  to  assist  their  children  in  fostering  home‐based  learning  habits.  The  school  also  encourages  parents  to  discuss  with  their  children about their academic and future career plans so their teachers could provide appropriate  guidance and support.  With  an  increased  expectation  and  role  for  parents  to  play  to  keep  students  engaged  in  learning,  maintaining  open  lines  of  communication  with  parents  could  help  teachers  have  a  more  balanced  perspective on what parents can do and cannot do based on their respective circumstances. It could also  create space for teachers and parents to work together as they both strive to ensure that students remain  active  learners  and  take  the  necessary  steps  to  plan  follow‐up  supports.  As  the  SDN013  Tanjung  Selor  principal  put  it,  parents  should  not  be  expected  to  teach  like  a  teacher;  rather,  they  are  expected  to  be  there for their children to facilitate their continued learning, with guidance and support from teachers.     In  response  to  challenges  stemming  from  differential  access  to  technology,  some  schools  have  tried  to  ensure that no students get left behind during distance learning.     As described earlier, the main bottleneck in implementing distance learning has been the digital inequality  in  connectivity  and  access  to  devices  needed  for  online  learning.  Some  of  the  interviewed  schools  have  responded to the challenges stemming from differential access to technology by exerting efforts to follow  up  with  students  who  missed  classes  and  their  parents,  and  by  preparing  learning  content  in  different  formats. For example, teachers of SMPN115 Jakarta conduct distance learning via video conferencing apps  for students with a high level of connectivity; for those without, they share all the learning materials and  class  assignments  via  a  WhatsApp  group.  Similarly,  Bali  Mandara  teachers  have  tried  to  ensure  that  all  students (including those who do not have adequate devices to join virtual classes or cannot afford to buy  internet  packages)  stay  engaged  during  the  school  closures  by  providing  instruction  via  WhatsApp  and  sharing class materials and assignments via Edmodo (an app which requires less data than similar ones).    4.5 Summary and Discussion of Qualitative Findings The qualitative analysis of the selected sample schools based on a positive‐deviance approach elucidated  how  learning  complements  can  play  an  essential  role  in  determining  the  extent  to  which  school  infrastructure,  such  as  libraries  and  educational  technology,  is  being  used  effectively  to  support  student  learning. The commonly identified initiatives and good practices across the sample schools highlighted in  Section  4.1—including  the  implementation  of  teacher  professional  development  that  addresses  the  evolving and specific learning needs of teachers and students, school‐led initiatives designed to improve  student  literacy  skills,  and  customized  teaching  and  learning  practices  that  cater  to  students’  learning  needs—collectively  demonstrated  that  these  schools  have  exerted  efforts  to  utilize  non‐infrastructural  education resources and practices more effectively to promote student learning. Their efforts have been  55      undertaken regardless of the availability of state‐of‐the‐art infrastructure specifically tied to the skillsets  designed to help students reach their full potential. For example, not all the sample schools implementing  promising school‐wide initiatives aimed at improving student literacy skills have state‐of‐the‐art libraries.  Instead, they have worked with the resources at their disposal.     Of note, the benefits of two primary types of literacy initiatives identified among the sample schools—(i)  combining group reading with storytelling and/or making book summaries; and (ii) undertaking research  programs to hone students’ research and writing skills with guidance and support from a dedicated group  of teachers—have also been supported by the findings of extant literature. As referenced in Section 4.1.2  Literacy  initiatives  at  the  school  level,  research  evidence  suggests  that  storytelling  can  help  improve  students’ verbal proficiency and understanding of a subject (Keller 2012; Pinkney 2015), as well as some  dimensions  of  literacy  skills,  such  as  visualization,  cognitive  engagement,  critical  thinking,  and  story  sequencing  (Agosto  2016).  The  effectiveness  of  research  enrichment  programs  involving  working  in  teams,  as  practiced  by  some  sample  schools,  is  also  backed  by  previous  studies  highlighting  the  various  classroom interaction patterns supportive of learning that are generated by group work (Blatchford et al.  2006) and the effect of collaborative work on student learning outcomes (Shmis et al. 2020).     Nonetheless, the remaining gaps and challenges identified in the sample schools underscored three main  areas  that  need  to  be  addressed  to  transform  the  use  of  infrastructure  and  learning  complements  to  improve  student  learning:  (i)  the  disconnect  between  pedagogical  and  infrastructural  quality  assurance  mechanisms;  (ii)  the  failure  to  fully  exploit  libraries  as  resources  for  student  learning;  and  (iii)  learning  spaces and assets that are not sufficiently conductive to science education. As discussed in Section 4.2.1,  limited focus  on the assessment of infrastructure conditions by many supervisors as part of their quality  assurance visits, coupled with the current self‐reporting system of Simsarpras, the EMIS, and Dapodik that  requires no external verification, presented a missed opportunity. Moreover, as illustrated in Section 4.2.2,  the fact that even the high‐performing secondary schools have some major areas for remediation in their  use  of  library  resources  and  spaces  as  a  means  to  advance  student  learning  indicated  that  a  more  systematic  monitoring  mechanism  needs  to  be  established.  Through  such  a  mechanism,  schools  could  document  the  quality  and  condition  of  library  materials  (including  both  electronic  and  non‐electronic  learning resources), spaces, and human resources, all of which are essential to determine and address the  learning/teaching needs of students/teachers, thereby creating synergies between library and classroom  learning. Schools could also use the collected information to devise strategies on how libraries can better  foster students’ interest in reading and learning. Finally, Section 4.2.3 discussed that, although the science  laboratories  of  the  sampled  secondary  schools  are  generally  well‐equipped,  their  spatial  and  scheduling  challenges, coupled with the limited technical capacity of laboratory technicians, hamper the laboratories  from  being  fully  conducive  to  delivering  quality  science  education.  Given  that  science‐related  activities  outside the science subject classes tend to be mainly targeted for a selected group of advanced students,  more initiatives should be introduced to nurture and promote student interest and learning in science.           Growing evidence suggests that the physical learning environment within schools has a significant impact  on  the  quality  of  education  service  delivery  and  student  learning  (Barrett  et  al.  2019).  Consequently,  education systems are now expected to build stronger links between school infrastructure management  and learning quality management. The qualitative analysis in this report found that not only was there a  propensity for many quality assurance supervisors to focus little on infrastructure conditions but also that  the  infrastructural  data  reported  by  school  administrators  was  unreliable  without  external  verification.  Given  that  some  areas  of  infrastructure  assessment  (e.g.,  physical  conditions  of  school  buildings  and  facilities)  can  require  engineering  knowledge,  more  rigorous  training  and  capacity  building  for  the  designated personnel and/or realignment of personnel responsible for evaluating school conditions may  56      be necessary. In addition, a more comprehensive quality assurance mechanism should be in place to allow  education  service  providers  to  capture  the  quality  and  condition  of  both  infrastructures  and  related  assets,52 link  that  information  to  student  performance,  and  determine  how  they  could  be  improved  to  optimize the quality of teaching and learning.    Furthermore,  the  observation  of  how  EdTech  is  being  used  to  support  and  spur  student  learning  in  the  sample  schools  in  Section  4.3  revealed  the  importance  of  combining  technology  with  its  associated  learning complements  that  can facilitate and promote  the use of  technology.  Just as  qualified librarians,  adequate training for librarians (including their capacity development in the use of new technologies and  digital learning resources), and collaborations between librarians and teachers are vital to facilitate more  effective  use  of  libraries,  qualified  teachers  who  are  willing  to  embrace  new  digital  technology,  teacher  training to improve their computer proficiency/digital literacy skills, and a support system for teachers to  navigate and adapt to the use of online platforms/apps are essential to maximize the potential of EdTech  as a means to leverage learning.     The onset of the COVID‐19 crisis has presented both opportunities and challenges in light of EdTech use.  The  crisis  has  accelerated  the  adoption  of  online  teaching  and  learning,  and  expanded  multi‐modal  learning  mechanisms  through  remote  learning  during  school  closures.  At  the  same  time,  it  has  underscored the implications of disparities in the access to and use of EdTech for learning. Notably, there  is a disproportionate distribution of digital dividends in the education sector. Among the sample schools,  this  appears  to  have  mainly  been  caused  by  the  following:  (i)  digital  inequality  and  differences  in  access  to  technology  that  result  from  inadequate  digital  infrastructure  and  poor  connectivity  (especially  in  remote areas), as well as uneven levels of digital device ownership; (ii) some teachers’ low level of digital  literacy  and  their  unpreparedness  to  facilitate  online/blended  teaching;  and  (iii)  a  lack  of  coherent,  systematic guidance for teachers on the use and management of digital learning resources.     As the Government plans for schools to reopen in the short term, sound plans must be in place to address  the  issue  of  connectivity,  ensure  learning  continuity  through  the  implementation  of  multichannel  strategies (where different devices, such as TV, radio, internet, and mobile phones, are collectively  used  to  facilitate  remote  learning),  and  provide  access  to  remedial  education  for  students  falling  behind.  To  improve  school  resilience  to  future  crises  in  the  long  term,  it  will  also  be  critical  to  enhance  digital  infrastructures  across  the  country  and  connectivity  inside  and  outside  school,  develop  training  and  capacity‐building  programs  for  teachers  and  students  to  strengthen  their  digital  competency,  and  use  EdTech more effectively and equitably.     Given  the  disjointed  use  and  management  of  digital  learning  resources  and  the  varying  levels  of  digital  literacy  among  teachers,  even  at  the  school  level,  more  systematic  and  concerted  efforts  are  needed  to  monitor  teachers’  use  of  digital  tools  and  resources,  and  make  the  adjustments  necessary  to  address  specific teaching and learning needs. Monitoring and evaluation should also be provided at both regional  and national levels to ensure that digital learning content and resources used at schools are well aligned  with  the  curriculum.  In  addition,  building  an  effective  partnership  with  EdTech  firms  via  public‐private  partnerships  could  help  public  education  systems  update  their  curricula  in  subjects  relating  to  digital  literacy and beyond (Bhardwaj et al. 2020).   52 For example, more comprehensive information about libraries could be gathered to monitor their use and determine areas  for improvement, including the breadth of genres and relevance of non‐textbooks in a library; the availability and accessibility  of quality digital books; the level and manner of utilization of a library by students and teachers as a space for reading and  learning; the level of librarians’ professional competency and skills; and the availability of training opportunities for librarians to  better serve the needs of teachers and learners.   57        Potential areas for further inquiry as a follow‐up to the present study through the Bank’s future Advisory  Services  and  Analytics  and  operational  engagements  in  Indonesia  include  the  following:  (i)  a  close  examination  of  school‐level  support  and  remaining  challenges  pertinent  to  science,  technology,  engineering,  and  mathematics  (STEM)  subjects  to  determine  what  might  contribute  to  the  minimal  laboratory  impact  on  specific  subjects  (as  demonstrated  in  the  multivariate  analysis  results  of  madrasah  infrastructure and student achievement (Table 9 in Section 3.2.2 EMIS Data); (ii) a deeper analysis of how  school  enrolment  numbers  and  enrolment  policies  affect  the  quality  and  utilization  of  school  infrastructure  and  learning  complements;  and  (iii)  an  exploration  of  further  cross‐sectoral  coordination  and collaboration that could be forged to improve the digital infrastructure and quality of remote learning  at scale.    5. Conclusion and Recommendations     The  quantitative  and  qualitative  analyses  in  the  previous  sections,  which  examined  the  relationships  among  school  infrastructure,  learning  complements,  and  student  achievement,  demonstrated  how  physical  school  infrastructure  and  learning  complements  collectively  serve  as  a  vehicle  for  improving  student learning. The variations and disparities identified—between public and private madrasahs, urban  and rural localities, and across educational and socioeconomic levels—indicated that there is no one‐size‐ fits‐all  approach  or  solution  to  addressing  the  remaining  challenges  and  learning  gaps  in  Indonesian  schools,  including  madrasahs.  Rather,  to  make  more  informed  decisions  about  investment  in  school  infrastructure that will contribute to improved learning, the focus should be on providing targeted support  based on the specific needs and challenges that hinder students from gaining equitable access to quality  education by taking a fit‐for‐purpose approach. Moreover, educational disruptions brought about by the  COVID‐19  crisis  have  prompted  education  systems  to  do  more  than  simply  cope  with  immediate  issues  related  to  learning  in  the  short  term.  Ultimately,  they  are  being  made  better  for  the  long  term  by  strengthening  their  quality,  improving  their  equity,  and  increasing  their  resilience  (Beteille  et  al.  2020;  World  Bank  2020a).  As  part  of  this  process,  the  roles  of  education  stakeholders—including  parents,  teachers,  other  education  practitioners  (e.g.,  school  administrators,  librarians,  laboratory  technicians),  and  the  Government—should  also  be  reimagined  in  terms  of  the  education  process  to  ensure  everyone  works together to create a brighter future for students.     In  conclusion,  the  study  suggests  that  more  effective  utilization  of  school  infrastructure  to  improve  student  learning  in  the  context  of  Indonesian  schools  starts  with  adopting  a  tool  that  allows  education  stakeholders  to  assess  the  relationships  between  infrastructure  (including  learning  spaces,  such  as  libraries  and  science  laboratories),  learning  complements,  and  student  achievement.  In  other  words,  a  system should be in place that not only provides timely, externally validated data on the quality, condition,  and  use  of  infrastructure  and  related  assets  but  also  links  the  collected  data  to  learning  outcomes.  This  could enable the relevant stakeholders to identify existing gaps in the infrastructure domains, understand  how  those  gaps  affect  learning,  and  make  informed  decisions  about  where  and  how  limited  resources  should  be  allocated  to  maximize  the  quality,  equity,  and  resilience  of  learning.  As  presented  in  the  recommendations below, putting such a mechanism in place could consist of four key steps: (i) prioritize  resource  allocation  to  basic  physical  and  digital  infrastructure  for  the  most  underserved  groups  of  students; (ii) leverage educators to maximize their potential as catalysts in facilitating improved teaching  and  learning  processes;  (iii)  streamline  and  strengthen  quality  assurance  mechanisms  to  document,  monitor,  and  assess  the  quality,  condition,  and  use  of  infrastructure  and  related  assets  and  to  improve  the links between school infrastructure management and learning quality management; and (iv) increase  58      the overall resilience of the education system to future crises by strengthening its capacity to coordinate,  monitor, and manage the continued delivery of equitable education services.     I.  Prioritize  resource  allocation  to  basic  physical  and  digital  infrastructure  for  the  most  underserved  groups of students.  As highlighted in the quantitative analysis of SDI data, a significant percentage of primary schools are not  adequately equipped with the elements that make up a basic physical infrastructure, such as toilets, hand‐ washing  facilities,53 and  functioning  electricity  in  classrooms.  To  ensure  student  safety  and  minimize  the  spread of disease as schools prepare to reopen during or after the COVID‐19 pandemic, it is essential that  students  have  access  to  functional  water,  sanitation,  and  hygiene  facilities.54 The  overall  pattern  of  the  SDI and EMIS data results also showed private madrasahs have fewer infrastructure‐related resources— with  the  most  significant  difference  identified  in  electricity,  ICT,  and  internet  connection—than  public  madrasahs.  Given  that  92  percent  of  all  madrasahs  are  private  (World  Bank  2019),  it  is  particularly  significant that there is a disparity between the vast majority of madrasah students and those from MoEC  schools  in  terms  of  access  to  basic  physical  and  digital  infrastructure.  With  the  growing  importance  of  EdTech  as  an  innovative  and  powerful  tool  for  transforming  learning  and  also  as  a  means  to  facilitate  remote  learning  in  times  of  crisis,  the  Government  should  make  more  and  better‐informed  investments  to improve digital infrastructure and  connectivity. One way to understand  the  current digital divide is  to  build  a  map  and  database  for  which  data  on  connectivity  inside  and  outside  school,  as  well  as  access  to  and  use  of  digital  devices  and  openly  licensed  educational  resources  are  collected  (U.S.  Department  of  Education  2017).  Creating  such  a  map  and  database  could  allow  for  effective  resource  allocation  and  targeted interventions to alleviate digital inequality.     II.  Leverage  educators  to  maximize  their  potential  as  catalysts  in  facilitating  improved  teaching  and  learning processes through an innovative and effective utilization of learning spaces and complements.  Equally  important  to  the  improvement  of  physical  and  digital  infrastructure  is  leveraging  educators  by  helping  them  serve  as  catalysts  in  improving  teaching‐learning  processes  through  an  innovative  and  effective  utilization  of  learning  spaces  and  complements.  The  commonly  identified  initiatives  and  good  practices across the sample schools from the qualitative analysis underscored how the creative minds of  educators  (such  as  principals,  teachers,  and  librarians),  as  well  as  adequate  and  targeted  professional  development, could have a positive impact on student learning. At the center of the schools where various  literacy  initiatives  were  organized,  regardless  of  the  availability  of  state‐of‐the‐art  libraries,  was  a  dedicated group of educators who worked to employ education resources and practices more effectively  to promote student learning. Nevertheless, there remains significant room for improvement to maximize  their  potential.  In  particular,  with  the  rapid  increase  in  digital  reading  and  learning  resources  and  integration of EdTech into classrooms, both librarians and teachers are now expected to reimagine their  roles  by  spurring  learning  and  addressing  the  learning  needs  of  students  through  the  effective  use  of  online tools and resources. To achieve this task, teachers should be provided with guidance and support— and  the  opportunity  to  change  their  mindset  about  technology  for  some—to  augment  their  levels  of  digital  literacy  and  deliver  online/blended  teaching  effectively.  In  addition  to  their  role  in  creating  synergies between library and classroom learning in collaboration with teachers, librarians should also be  trained to become versed at offering support to students and teachers in accessing and navigating online  research tools and learning resources.   53 Among the surveyed primary MoRA‐operated madrasahs and MoEC‐operated public schools, only 49.7 and 56.0 percent of  the schools had hand‐washing facilities, respectively; the percentage is even lower for private madrasahs (48.6 percent) vis‐à‐ vis their public counterparts (64.3 percent).  54 The provision of hand‐washing facilities is currently not on the list of quality indicators used for the NES focused on facilities  and infrastructure.    59        III.  Streamline  and  strengthen  quality  assurance  mechanisms  to  document,  monitor,  and  assess  the  quality, condition, and use of infrastructure and related assets and to improve the links between school  infrastructure management and learning quality management.   There are gaps in the  current  quality assurance  mechanisms designed  to monitor school‐level success in  maintaining  education  service  standards.  First,  the  self‐reporting  systems  used  by  Indonesian  schools  to  record and monitor infrastructure conditions have no external verification mechanism in place. As a result,  significant  discrepancies  have  become  evident  between  the  self‐reported  information  and  actual  school  infrastructure conditions (World Bank, forthcoming). Second, there is much room for improvement in the  two  major  education  data  systems  in  Indonesia,  Dapodik  and  the  EMIS.  These  systems  need  to  be  strengthened  by  collecting  a  more  comprehensive  set  of  data  associated  with  the  quality  and  condition  of  physical  school  infrastructure  (including  various  learning  spaces  and  facilities)  and  their  actual  use.55  Moreover, information on the quality and use of learning complements attached to or closely associated  with  the  use  of  infrastructure  has  not  been  systematically  documented,  monitored,  or  assessed  to  help  school  administrators  and  education  authorities  determine  the  level  of  effectiveness  in  employing  such  complements  to  improve  student  learning  or  performance.  Third,  the  disconnect  between  pedagogical  and infrastructural quality assurance mechanisms, as illustrated in the limited focus on the assessment of  infrastructure conditions by many quality assurance supervisors, presented a missed opportunity.     To  ensure  that  school  infrastructure  and  learning  complements  are  fully  utilized  to  support  student  learning,  quality  assurance  mechanisms  should  be  streamlined  and  strengthened  by  adopting  such  measures as the following: (i) fortifying data verification processes to improve data reliability; (ii) adding  a more comprehensive set of data on school infrastructure56 and  learning  complements, including those  attached  to  infrastructure;  (iii)  fully  enforcing  the  monitoring  and  assessment  of  infrastructure  and  relevant  assets  as  part  of  quality  assurance  visits; 57  (iv)  providing  capacity‐building  programs  for  designated  personnel  and/or  realigning  personnel  responsible  for  evaluating  school  conditions;  and  (v)  establishing a system linking infrastructure data to student/school performance to allow schools and local  authorities  to  determine  the  gaps  in  the  use  of  infrastructure  and  learning  complements,  and  how  they  can be addressed to optimize the quality of teaching and learning.    IV. Increase the overall resilience of the education system to future crises by strengthening its capacity  to  coordinate,  monitor,  and  manage  the  continued  delivery  of  equitable  education  services  through  distance and hybrid learning.   55 For example, a more extensive list of variables and information could be gathered on libraries and science laboratories,  including the quality and adequacy of library materials (both electronic and non‐electronic learning resources) and lab  equipment in accordance with curriculum and student learning needs; types of activities/initiatives adopted by the school to  promote student interest in reading and science; types/level of collaboration between librarians/laboratory technicians and  relevant subject teachers; the level of digital literacy skills among teachers, students, and other school personnel (e.g.,  librarians); student access to hybrid and distance learning; and student and teacher ownership of different digital devices.  56 To enhance the existing capacity for the collection and management of school infrastructure data, the government could  consult relevant global initiatives, such as the Global Library of School Infrastructure (GLOSI), a mobile app/live global  repository of evidence‐based knowledge and data about school infrastructure and its performance in relation to natural hazard  events. Using a systematic taxonomy, the GLOSI includes a catalog of typical school building types found in different countries,  with the respective vulnerability data needed to conduct quantitative risk assessments (see  https://gpss.worldbank.org/en/glosi).  57 There is a possibility that two initiatives—the revision of BAN‐SM’s accreditation instruments and the school scorecards being  developed by MoEC as part of a revised quality assurance system—will support this approach to some extent (Department of  Foreign Trade and Affairs of the Australian Government, personal communication, August 27, 2020). In particular, the revised  accreditation instruments are expected to focus more on the use of infrastructure in teaching and learning than the school’s  level of NES compliance. However, when the revised instruments will be finalized and applied is unknown.  60      By  building  on  the  lessons  learned  from  the  unprecedented  educational  disruptions  and  widespread  school  closures  due  to  the  COVID‐19  pandemic,  more  strategic  investment  should  be  made  to  increase  the  overall  resilience  of  the  country’s  education  system.  The  experiences  of  Indonesian  schools  in  their  transition  to  remote  learning  revealed  much‐needed  work  to  improve  learning  and  digital  equity.  Some  schools  in  which  the  use  of  online  learning  tools  had  already  been  well  integrated  into  regular  teaching  and  learning  transitioned  into  distance  learning  easily,  while  many  others  faced  challenges  due  to  their  lack of readiness for distance learning, which largely originated from differences in access to technology,  the low level  of digital literacy among  teachers, and  the  disjointed  use, monitoring, and  management of  digital  learning  resources.  To  ensure  the  continuity  and  equity  of  learning  in  times  of  crisis—which  is  especially  critical  for  Indonesia,  a  country  prone  to  natural  disasters,  such  as  flood,  landslides,  and  earthquakes—the education system needs to be better equipped to roll out distance and hybrid learning  by  establishing  coherent  multi‐channel  learning  strategies  and  developing  curriculum‐aligned  learning  content and resources. A  mechanism should also be in place at the school level  to help monitor student  access  to  different  distance  learning  channels,  address  their  learning  needs  and  concerns,  and  take  the  necessary  steps  to  identify  and  follow  up  on  students  falling  behind  (NCEE  2020).  In  addition,  the  co‐ sharing  of  online  platforms  (Guru  Berbagi  and  e‐learning  Madrasah)  should  continue  to  be  enhanced  by  monitoring the quality of shared digital learning resources and by optimizing their role as virtual learning  spaces  to  facilitate  interactive  online  classrooms,  mentoring  and  peer‐to‐peer  learning  among  teachers  and students, and communication among educators, students, and parents.         61      References     Agosto, Denise E. 2016. “Why Storytelling Matters: Unveiling the Literacy Benefits of Storytelling.”  Children and Libraries 14 (2): 21–26.  Barrett, Peter Stephen, Yufan Zhang, Fay Davies, and Lucinda Barrett. 2015. Clever Classrooms: Summary  Report of the HEAD Project. University of Salford, Salford.  Barrett,  Peter  Stephen,  Alberto  Treves,  Tigran  Shmis,  Diego  Ambasz,  and  Maria  Ustinova.  2019.  The  Impact  of  School  Infrastructure  on  Learning:  A  Synthesis  of  the  Evidence.  International  Development  in Focus. World Bank, Washington, DC.   Beteille, Tara, Elaine Ding, Ezequiel Molina, Adelle Pushparatnam, and Tracy Wilichowski. 2020. “Three  Principles to Support Teacher Effectiveness During COVID‐19.” Policy Note. World Bank,  Washington, DC. https://openknowledge.worldbank.org/handle/10986/33775.  Bhardwaj, Riaz, Noah Yarrow, and Massimiliano Cali. 2020. EdTech in Indonesia: Ready for Take‐off?  World Bank, Washington, DC.  Blackmore, Jill, Debra Bateman, Jill Loughlin, Joanne O’Mara, and George Aranda. 2011. “Research into  the connection between built learning spaces and student outcomes.” Literature review Paper No.  22. Education Policy and Research Division Department of Education and Early Childhood  Development, Melbourne.  https://www.education.vic.gov.au/Documents/about/programs/infrastructure/blackmorelearningsp aces.pdf  Blatchford, Peter, Ed Baines, Christine Rubie‐Davies, Paul Bassett, and Anne Chowne. 2006. “The Effect of  a New Approach to Group Work on Pupil–Pupil and Teacher–Pupil Interaction.” Journal of Educational  Psychology 98 (4): 750–765.  Bowen,  Gary  L.,  Roderick  A.  Rose,  Joelle  D.  Powers,  and  Elizabeth  J.  Glennie.  2008.  “The  Joint  Effects  of  Neighborhoods,  Schools,  Peers,  and  Families  on  Changes  in  the  School  Success  of  Middle  School  Students.” Family Relations 57 (4): 504–516.  Cohen,  Jonathan.  2006.  “Social,  Emotional,  Ethical,  and  Academic  Education:  Creating  a  Climate  for  Learning, Participation in Democracy, and Well‐Being.” Harvard Educational Review 76 (2): 201–237.  Cornell, Dewey, Anne Gregory, Francis Huang, and Xitao Fan. 2013. “Perceived Prevalence of Teasing and  Bullying Predicts High School Dropout Rates.” Journal of Educational Psychology 105 (1): 138–149.   Earthman, Glen I. 2002. “School Facility Conditions and Student Academic Achievement. UCLA’s Institute  for Democracy, Education, and Access.” https://escholarship.org/uc/item/5sw56439.   Earthman, Glen I. 2004. “Prioritization of 31 Criteria for School Building Adequacy.” American Civil  Liberties Union Foundation of Maryland.  http://www.aclumd.org/aTop%20Issues/Education%20Reform/EarthmanFinal10504.pdf.   Felicia,  Nisa  and  Dhitta  P.S.  Ramli.  2017.  Accountability  in  Education  Sector  in  Indonesia.  Country  case  study  prepared  for  the  2017/8  Global  Education  Monitoring  Report,  Accountability  in  education:  Meeting our commitments.   Fisher, Kenn. 2001. “Building Better Outcomes: The Impact of School Infrastructure on Student Outcomes  and  Behaviour.”  Schooling  Issues  Digest.  Department  of  Education,  Training  and  Youth  Affairs  Canberra, Australia.    62      Ikpa, Vivian W. 1992. “The Norfolk Decision: The Effects of Converting from a Unitary Educational  System to a Dual Educational System upon Academic Achievement.”  https://files.eric.ed.gov/fulltext/ED346583.pdf  Keller, Cynthia. 2012. “Storytelling? Everyone Has a Story.” School Library Monthly 28 (5): 10–12.  Kho,  Kevin,  Leah  K.  Lakdawala,  and  Eduardo  Nakasone.  2018.  “Impact  of  Internet  Access  on  Student  Learning  in  Peruvian  Schools.” Working  Papers  2018–3.  Michigan  State  University,  Department  of  Economics.   LeMahieu,  Paul  G.,  Lee  E.  Nordstrum,  and  Dick  Gale.  2017.  "Positive  Deviance:  Learning  from  Positive  Anomalies." Quality Assurance in Education 25 (1): 109–124.  McKay, Sarah. 2017. “Quality Improvement Approaches: Positive Deviance.” Carnegie Foundation for  the Advancement of Teaching. September 20, 2017.  https://www.carnegiefoundation.org/blog/quality‐improvement‐approaches‐positive‐deviance/.  National  Research  Council.  2007. Green  Schools:  Attributes  for  Health  and  Learning.  The  National  Academies Press, Washington, DC.   NCEE (National Center on Education and the Economy). 2020. “How did the world’s highest performing  education systems approach distance learning?” NCEE, Washington, DC. https://ncee.org/wp‐ content/uploads/2020/06/NCEE‐Top‐Performers‐Distance‐Learning‐June‐2020Final.docx.pdf.  Office of Educational Technology, U.S. Department of Education. 2017. Reimagining the Role of  Technology in Education: 2017 National Education Technology Plan Update.  https://tech.ed.gov/files/2017/01/NETP17.pdf.  Pinkney, Jerry. 2015. “The Power of Storytelling.” Horn Book Magazine 91 (3): 29–30. Rivera‐Batiz, Francisco L., and Lilian Marti. 1995. A School System at Risk: A Study of the Consequences of  Overcrowding  in  New  York  City  Public  Schools.  Institute  for  Urban  and  Minority  Education,  Teachers  College, Columbia University, New York.   Rodney,  Marcia  J.,  Keith  Curry  Lance,  and  Christine  Hamilton‐Pennell.  2003.  “The  Impact  of  Michigan  School Librarians on Academic Achievement: Kids Who Have Libraries Succeed.” Library of Michigan.   Shmis,  Tigran,  Maria  Ustinova,  and  Dmitry  Chugunov.  (2020).  Learning  Environments  and  Learning  Achievement in the Russian Federation: How School Infrastructure and Climate Affect Student Success.  World Bank, Washington, DC.  World Bank. 2016. World Development Report 2016: Digital Dividends. World Bank, Washington, DC.   World Bank. 2019. Indonesia—Realizing Education’s Promise: Support to Indonesia’s Ministry of  Religious Affairs for Improved Quality of Education Project. World Bank, Washington, DC.  World Bank. 2020a. The COVID‐19 Pandemic: Shocks to Education and Policy Responses. World Bank,  Washington, DC.  World Bank. 2020b. Leading Schools Digitally: Evaluation of the Electronic School Planning and  Budgeting System (e‐RKAS) in Indonesia. World Bank, Washington, DC.  World Bank. 2020c. The Promise of Education in Indonesia. World Bank, Washington, DC.  World Bank. Forthcoming. An Independent Verification of Education Sector Data in Indonesia. World  Bank, Washington, DC.   63      Yarrow, Noah Bunce, Rythia Afkar, Eema Masood, and Bernard P. Gauthier. 2020. Measuring the Quality  of MoRA's Education Services. World Bank. Washington, DC.           64      Appendix A: Literature Review on How School Infrastructure Impacts  Learning    Buildings,  classrooms,  and  other  education  equipment  and  infrastructure  are  important  elements  of  learning environment across level of education. There is a strong evidence that high quality infrastructure  improves  student  learning  and  reduces  dropout  rates,  among  other  benefits.  Meanwhile,  poor  infrastructure  badly  affects  institutional  performance  and,  due  to  the  lack  of  infrastructure  investment,  students, teacher, and staff pay the price in the form of lower educational achievement, lost income, and  health  problems  (Barrett  et  al.  2019).  However,  at  a  global  level,  the  development  of  learning  environments is an emerging discipline, one that still lacks empirical evidence to show how space is used  and  how  it  affects  student  outcomes  and  teacher  productivity  (Blackmore  et  al.  2011).  The  lack  of  empirical  studies  on  what  works  in  learning  environments,  especially  in  low‐  and  middle‐income  countries, is worrisome, given the amount of funding spent on school infrastructure globally (Shmis et al.  2020).  Many  of  the  existing  studies  focus  more  on  the  physical  characteristics  of  the  school  environment  and  define  schools  into  two  general  categories:  school  with  good  (or  functional)  infrastructures  and  school  with poor condition. Earthman (2004) has described a “poor” school as one that does not have adequate  ventilation and temperature, lighting, acoustics, functional furniture, or some variation or combination of  these qualities. His research found that students in poor buildings score between 5 and 10 percentile rank  points  lower  than  students  in  functional  buildings.  A  more  recent  study  in  the  United  States  found  that  differences  in  the  physical  characteristics  of  classrooms  accounted  for  almost  half  of  16  percent  of  variations in learning progress between students over just one year in primary schools (Barret et al. 2015).  These findings were also supported by other literatures with different sub‐focus of the study.  a. Lighting Quality  It  is  generally  accepted  that  good  lighting  can  contribute  to  aesthetic  and  psychological  character  of  a  learning  space.  Good  lighting  is  considered  good  per  se  as  a  functional  way  to  see  well  enough  to  read.  There  is  also  an  increasing  awareness  of  the  non‐visual  impact  of  light  on  people’s  circadian  rhythms and alertness (National Research Council 2007).  b. Thermal Quality  Good  thermal  quality  of  a  classroom  is  very  important  to  efficient  student  performance.  Specific  research studies regarding the influence the thermal quality of the classroom has upon students have  been  completed  by  many  such  as  Mayo  (1955),  Nolan  (1960),  Harner  (1974),  and  Chan  (1980)  (McGuffey 1982, as cited in Earthman 2002). In almost all these studies, the importance of a controlled  thermal environment was stressed as necessary for satisfactory student performance.   c. School Building Age and Conditions  Some studies stress on how disparity school’s building condition affect student outcomes. The results  seem  to  be  promising,  that  student  achievement  improves  with  the  improved  school  building  conditions (Fisher 2001). In a study of all the primary schools in Georgia in the United States, Grade 4  students in non‐modernized buildings recorded poorer results in basic skills assessment than those in  modernized  or  new  buildings  (Plumley  1978,  as  cited  in  Fisher  2001).  Similarly,  a  study  of  30  elementary  schools  showed  that  teacher  attitudes  to  school  buildings  were  significantly  improved  once accommodated in new and modernized buildings and, as a result, student achievement score in  mathematics  improved  (Phillips  1997,  as  citied  in  Fisher  2001).  In  another  study  of  280  Grade  4  and  Grade  6  students  in  two  separate  facilities,  it  is  found  that  students  in  modern  building  performed  65      over  7  percent  higher  than  students  in  the  old  buildings.  The  same  study  recorded  that  students  in  the  modern  building  had  a  better  record  in  the  areas  of  health,  attendance,  and  discipline  (Bowers  and Burkett 1987, as cited in Fisher 2001).   d. Overcrowding schools  Overcrowding  occurs  for  many  reasons  and  is  very  troublesome  for  both  students  and  teachers.  An  overcrowded  building  is  normally  defined  in  terms  of  there  being  more  students  assigned  to  the  building than it is designed to accommodate. Rivera‐Batiz and Marti (1995) studied 599 students and  213  teachers  in  overcrowded  schools  and  the  results  are  not  unexpected:  75  percent  of  teachers  reported that overcrowding hampered classroom activities, while 40 percent of the students reported  trouble  in  concentrating  to  learning.  As  a  result,  the  proportion  of  Grade  6  students  who  passed  reading exam was 4 to 9 percentage points below that in schools that were not overcrowded.   However, there is not total agreement on all these findings. For example, one study found a strong inverse  relationship between student behavior and building age, that is, the older the buildings were, the better  the  behavior  of  the  students  (Ikpa  1992).  It  has  been  speculated  that  this  conflicting  finding  may  be  the  result of negative student reaction to greater supervision and disciplinary measures in the newer facilities  (Fisher 2001).  Furthermore,  schools’  physical  attributes  are  not  the  only  factors  that  matter  in  improving  the  learning  environment. The types of  spaces a school have,  their spatial organization,  their  quantity and  condition,  and  the  frequency  of  use  by  students  and  teachers  provide  insight  about  the  practices  of  teaching  and  learning. This information can indicate how the space might shape teaching and learning processes, affect  student health and wellbeing, and impact to learning and social outcomes. However, as seen above, much  of  the  literature  focuses  on  the  (availability  and)  quality  of  conditions,  perceptions,  or  tangibles,  rather  than educational practices or intangibles in terms of how space is perceived, used, and with what effect.  It  is  especially  important,  given  a  recent  World  Bank  study  that  found  that  the  impact  of  infrastructure  investment on students’ learning outcomes greatly varies depend on its usage.58 In 2017, 83 new schools  were built in the Russian Federation’s regions, including 28 schools in rural areas. Despite the investment,  learning environments are traditional in most of the reviewed schools. The majority of learning happened  only  within  a  classroom,  with  less  than  one‐fourth  of  teachers  reported  using  cafeteria,  school  halls,  or  corridor outside classroom for teaching and learning activities.  This  study  also  found  that,  despite  the  investment,  frequency  of  technology  use  was  low.  The  most  commonly used technology is projectors (72 percent), followed by rather low adoption rate of laptop (34  percent)  and  internet  (49  percent)  (Shmis  et  al.  2020).  A  similar  result  was  found  in  Peru,  where  investment  in  school  internet  access  has  only  small,  but  growing,  positive  short‐run  impact  on  school  average standardized math scores. This is mainly because schools require time to adapt to internet access,  such  as  hiring  teachers  with  computer  training  and  this  process  is  not  immediate.  This  finding  also  highlights  the need for complementary investment in schools (e.g., new  teacher hiring,  teacher training,  and teaching style adjustment) to fully exploit the new technological inputs (Kho et al. 2018).   The World Bank study also found similar results on the impact of schools’ physical characteristics, such as  lighting, quality of air, and noise to student learning. On top of that, the finding also highlights that both  the  physical  learning  environment  and  supportive  school  culture  are  the  key  drivers  of  success.  Student  test  scores  in  math  and  science  are  higher  in  schools  where  students  have  a  positive  perception  of  the  58  The  study  used  OECD  School  User  Survey  and  TIMSS  pilot  in  Russian  regions  to  perform  the  analysis  and  the  result  was  structured  into  three  part  based  on  the  structure  of  available  data:  physical  environment  and  its  use,  school  environment  and  climate, and teaching practices and learning outcomes.   66      school environment (Shmis et al. 2020). Longitudinal studies performed by Bowen et al. (2008) found that  positive  student  perceptions  to  the  school  environment  (people  and  places)  indicated  improvement  in  school engagement, trouble avoidance, and better grades. Inversely, students who are frequently bullied  are  significantly  behind  their  peers  who  are  not  bullied  (Shmis  et  al.  2020).  The  prevalence  of  bullying  is  an  important  aspect  of  school  climate.  School  climate  has  been  defined  as  the  subjective  experience  of  the  school  environment  from  the  perspective  of  the  students,  faculty,  and  staff  (Cohen  2006).  Negative  school  climate,  as  reported  by  principals,  teachers,  and  students,  has  consistently  been  found  to  be  associated  with  poor  school  achievement  (Cornell  et  al.  2013).  This  is  particularly  important  because  for  a  long  time  bullying  was  thought  to  be  only  an  issue  of  security  and  safety  in  schools,  but  this  finding  shows that bullying holds students back and impairs their ability to learn.   On  the  last  approach  of  the  analysis,  the  World  Bank  study  found  that  an  innovative  teaching  style  positively affects student learning outcomes. Team teaching and group work are positively correlated with  student  score  in  TIMSS,  while  traditional  teaching  and  individual  work  show  no  difference.  This  finding  adds  another  point  on  the  discussion  of  learning  environment,  as  teaching  styles  is  somehow  related  to  learning  spaces  available.  Traditional  direct  instruction  is  possible  within  the  classroom  and  individual  work can be done anywhere. However, group work is harder to implement only within the classroom and  team teaching requires significantly different spaces (Shmis et al. 2020).  We see from the above studies in general there is a positive correlation between school environment with  student  learning.  However,  government  and  policy  makers  need  to  be  careful  in  deciding  to  invest  in  school  infrastructure  since  we  can  see  from  the  above  that  there  is  a  wide  spectrum  of  the  school  environment  itself. Investing in a  new school building or technology may probably lead to  no changes in  learning  and  student  achievement,  unless  it  is  complemented  by  supporting  system  to  make  sure  the  utilization  of  the  investment.  For  example,  qualified  school  librarians,  collaboration  between  librarians  and teaching staff, and quality library programs are all elements associated with quality library provision,  which  have  been  linked  to  higher  test  scores,  instead  of  the  single  investment  factor  of  building  a  new  school library (Rodney et al. 2003).  Also,  there  is  still  some  need  of  analysis  required  to  be  done  to  identify  which  factors  are  critical  for  achieving  positive  learning  outcomes.  Further  research  also  needed  to  explore  what  kind  of  spaces  and  learning  environments  are  the  best  for  the  learning  in  different  climates  and  culture.  It  can  be  expected  that  some  factors  will  be  more  or  less  important  than  the  others  depending  on  the  local  condition.  This  highlights  that  the  quality  education  can  be  enhanced  by  appropriate  planning,  design,  and  operation  pattern in schools (Barrett et al. 2019).        67      Appendix B: List of Schools Interviewed    No  Name  Educational  Province  Location  Operation  Accreditation  Level   1  SDN Gelam 1  Primary  East Java  Urban  Public non‐ B  Sidoarjo  Madrasah   2  SDN Punten 1  Primary  East Java  Urban  Public non‐ A  Batu  Madrasah   3  MI Sunan Ampel  Primary  East Java  Rural  Private  A  Rejoso  Madrasah   4  MI Bustanul  Primary  East Java  Rural  Private  A  Ulum  Madrasah   5  SD Inpres Poma  Primary  East Nusa  Rural  Public non‐ C  Tenggara  Madrasah   6  SD Inpres Ndapa  Primary  East Nusa  Rural  Public non‐ B  Taka  Tenggara  Madrasah   7  MIN 4 Jakarta59  Primary  Jakarta  Urban  Public Madrasah   A  8  SDN 002 Malinau  Primary  North  Rural  Public non‐ A  Barat  Kalimantan  Madrasah   9  SDN 013 Tanjung  Primary  North  Rural  Public non‐ B  Selor  Kalimantan  Madrasah   10  MTsN 3 Jakarta  Junior  Banten  Urban  Public Madrasah   A  Secondary   11  MTsN 1 Kota  Junior  Banten  Urban  Public Madrasah   A  Tangerang  Secondary   12  SMPN 115  Junior  Jakarta  Urban  Public non‐ A  Jakarta  Secondary   Madrasah  13  SMA Bali  Senior  Bali  Rural  Public Madrasah   A  Mandara  Secondary  14  MAN 1 Kota  Senior  Banten  Urban  Public Madrasah   A  Tangerang  Secondary  15  MAN 2 Kota  Senior  East Java  Urban  Public Madrasah   A  Malang  Secondary  16  MAN 1 Kota  Senior  East Java  Urban  Public Madrasah   A  Malang  Secondary  17  MAN 4 Jakarta  Senior  Jakarta  Urban  Public Madrasah   A  Secondary  18  MAN 9 Jakarta  Senior  Jakarta  Urban  Public Madrasah   A  Secondary  19  SMAN 8 Jakarta  Senior  Jakarta  Urban  Public Madrasah   A  Secondary  20  SMA Unggulan  Senior  Jakarta  Urban  Public Madrasah   A  MH Thamrin  Secondary    59 Among the primary schools interviewed, MIN 4 Jakarta is the only school that is not part of the INOVASI program.   68      Appendix C: Quantitative Data Appendix     Table C1.  Factor loadings for infrastructure variables, madrasah sector (SDI 2019)    Principal Component:  Polychoric  Indicator  (1)  (2)  (3)          Toilets for staff  0.62  0.62  0.09  Toilets for students  0.64  0.64  0.09  Hand‐washing facilities  0.33  0.33  0.18  Permanent rooms (%)  0.21  0.21  0.11  Has functioning electricity  0.52  0.52  0.17  Sufficient light (from back)  0.32  0.32  0.07  Has corner library  0.10  0.10  0.06  Teacher used ICT  0.10  ‐‐‐‐  ‐‐‐‐  Classroom hygiene (scale)  0.04  ‐‐‐‐  ‐‐‐‐  Special services (disabilities)  0.13  0.13  ‐‐‐‐  Computer  0.45  0.45  ‐‐‐‐  Internet connection  0.57  0.57  0.25  Computers (students)  0.21  0.21  0.27  Computers (teachers)  0.32  0.32  0.10  Has bottled water  0.23  0.23  0.11  Exercise books (%)  0.26  0.26  0.16  Textbooks (%)  0.27  0.27  0.19          Eigenvalue  2.22  2.20  3.61  Sample size  249  249  249          Data source: SDI (2019).     Notes: Coefficients are factor loadings based on overall infrastructure factor for primary schools (MoEC and MoRA). Column 1  includes the full complement of infrastructure indicators (Table 1), while columns 2 and 3 are based on a restricted set of  variables that have the best fit with the overall factor. Polychoric refers to the appropriate factor analysis method when the  input variables are dichotomous.    Table C2.  Factor loadings for infrastructure variables, madrasah sector (EMIS 2018)    Principal Component:  Polychoric  Indicator  (1)  (2)  (3)          Electricity  0.34  0.30  0.01  Library  0.25  0.34  0.23  Internet connection  0.36  0.32  ‐‐‐‐  Laboratories:           Computer lab  0.47  0.48  0.48    Physics lab  0.66  0.69  0.80    Chemistry lab  0.68  0.71  0.91    Biology lab  0.66  0.68  0.78    Language lab  0.45  0.45  0.71          Eigenvalue  2.08  2.18  4.28  69      Sample size  50,269  50,269  50,269          Data source: EMIS (2018).   Notes: Coefficients are factor loadings based on overall infrastructure factor across all school levels (primary, junior secondary,  and senior secondary). Column 1 is based on number of laboratories, while columns 2 and 3 are based on 0‐1 (No‐Yes)  measures for each laboratory component. Polychoric refers to the appropriate factor analysis method when the input variables  are dichotomous.     Figure C1.  Comparisons of province average primary and senior secondary madrasah infrastructure  index, 2018 EMIS   .6 Province average infrastructure index (primary) .35 .4 .45 .5 .55 .3 .4 .5 .6 .7 Province average infrastructure index (senior secondary)       Table C3.  Covariates of school infrastructure factor, 2018 EMIS     By level:    Independent Variable:  Primary (1)  Junior  SeniorSecondary  All levels (4)  Secondary      (3)  (2)            Madrasah level (reference=senior secondary        school):    Primary  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐     ‐1.61**  (‐37.58)    Junior secondary  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐     ‐0.77**  (‐23.06)  Public madrasah  ‐0.02  ‐0.01  0.16*     0.17**  (‐0.42)  (‐0.01)  (2.21)  (4.69)  Remote location  ‐0.007  0.02  0.003  0.02  70      (‐0.37)  (0.79)  (0.10)  (1.14)  Madrasah age (in years)  0.03**  0.04**  0.07**     0.04**  (2.72)  (2.62)  (3.06)  (5.43)  Full day shift  ‐0.02  ‐0.02  0.23**  ‐0.02  (‐0.45)  (‐0.24)  (3.09)  (‐0.54)  School size (reference=151‐250 students):          1‐85 students  ‐0.36**  ‐0.15**  ‐0.31**     ‐0.24**  (‐15.37)  (‐6.57)  (‐9.81)  (‐15.73)    86‐150 students  ‐0.18**  ‐0.07**  ‐0.19**    ‐0.10**  (‐9.61)  (‐3.15)  (‐6.23)  (‐8.54)    250‐500 students  0.20**  0.15**  0.16**     0.14**  (7.67)  (5.45)  (3.32)  (8.66)    501+ students  0.50**  0.50**  0.47**     0.64**  (9.82)  (9.34)  (6.19)  (15.78)  Madrasah organization (reference=”NU”:          Not affiliated  0.02  0.04  ‐0.01  0.03  (0.52)  (0.87)  (‐0.15)  (0.94)    Muhammadiyah  0.13*  0.03  0.05  0.03  (2.23)  (0.51)  (0.61)  (0.84)    Other organization  ‐0.03  ‐0.04  ‐0.02  ‐0.01  (‐1.25)  (‐1.47)  (‐0.52)  (‐0.82)  Accreditation level (reference=”A”):          “B”  ‐0.46**  ‐0.51**  ‐0.75**     ‐0.45**  (‐14.14)  (‐15.06)  (‐13.93)  (‐20.62)    “C”  ‐0.75**  ‐0.84**  ‐1.10**     ‐0.71**  (‐16.76)  (‐20.20)  (‐18.39)  (‐23.53)    Not accredited  ‐0.78**  ‐0.95**  ‐1.27**     ‐0.72**  (‐16.92)  (‐15.21)  (‐19.93)  (‐22.34)  District level measures:            Poverty rate  ‐0.18**  ‐0.13**  ‐0.08**  ‐0.10**  (‐6.56)  (‐5.11)  (‐3.13)  (‐6.13)    Total population  ‐0.04  0.03  ‐0.03  ‐0.01  (‐1.46)  (0.89)  (‐0.67)  (‐0.40)    MoRA enrolment (percent   0.05*  ‐0.01  ‐0.04+  0.02     of total)  (2.02)  (‐0.66)  (‐1.76)  (1.17)            Province controls?  Yes  Yes  Yes  Yes  Sample size  24,006  16,401  7,659  49,984  2 Explained variance (R )  0.27  0.29  0.51  0.50            Data source: EMIS (2018).  Notes: Dependent variable is infrastructure factor with mean=0 (standard deviation=1).  T‐statistics (parentheses) based on  standard errors corrected for clustering at province level.  All results are based on weighted data using linear regression (OLS).        71      Table C4.  Covariates of Grade 4 student Bahasa Indonesia test scores with variable blocks, 2019 SDI     Estimation block:  Indicator  (1)  (2)  (3)  (4)  (5)              School infrastructure factor     0.25**     0.23**     0.19**   0.11*   0.12*  (4.87)  (4.02)  (3.36)  (2.09)  (2.15)  Student characteristics:              Student age  ‐0.007  ‐0.007  ‐0.01  ‐0.02  ‐0.01  (‐0.12)  (‐0.12)  (‐0.24)  (‐0.35)  (‐0.25)    Student is female     0.32**     0.32**     0.32**     0.31**     0.31**  (5.87)  (5.76)  (5.66)  (5.63)  (5.70)   Student breakfast (excluded=ate at          home):      Ate at madrasah  0.07  0.07  0.07  0.05  0.06  (0.99)  (0.95)  (1.06)  (0.84)  (0.94)      Did not eat  0.02  0.02  0.03  0.04  0.06  (0.19)  (0.23)  (0.32)  (0.54)  (0.69)    Student language (excluded=Bahasa          Indonesia)      Javanese     0.21**     0.24**     0.21**     0.18**   0.18*  (2.88)  (3.29)  (3.01)  (2.68)  (1.99)      Sudanese  0.06  0.09  0.13  0.16  0.16  (0.50)  (0.74)  (1.21)  (1.43)  (1.20)      Madurese  0.03  0.08  0.08  0.16  0.18  (0.22)  (0.55)  (0.58)  (1.23)  (1.33      Other  ‐0.08  ‐0.03  0.003  0.09  0.08  (‐0.68)  (‐0.24)  (0.02)  (0.75)  (0.67)  Other school and community            characteristics:     Urban location    0.16*  0.10  0.087  0.09  0.08  (2.08)  (1.27)  (0.89)  (1.08)  (0.96)    Public madrasah  0.11  0.002  0.02  ‐0.04  ‐0.004  (1.35)  (0.03)  (0.19)  (‐0.40)  (‐0.04)    School age  ‐0.002  ‐0.001  ‐0.001  ‐0.002  ‐0.002  (‐0.89)  (‐0.65)  (‐0.67)  (‐1.20)  (‐1.05)    School size (reference=151‐250 students):              5‐85 students  ‐‐‐‐  0.04  0.03  0.02  0.04  (0.33)  (0.22)  (0.17)  (0.38)      86‐150 students  ‐‐‐‐  ‐0.006  ‐0.01  ‐0.02  ‐0.02  (‐0.06)  (‐0.12)  (‐0.28)  (‐0.20)      250‐500 students  ‐‐‐‐     0.23**    0.15+  0.07  0.06  (2.87)  (1.90)  (0.92)  (0.82)      501+ students  ‐‐‐‐     0.27**    0.17*  0.06  0.02  (3.07)  (1.95)  (0.65)  (0.19)    Average parental education  ‐‐‐‐  ‐‐‐‐  0.01  ‐0.02  0.005  (0.20)  (‐0.32)  (0.09)    School SES quintile (reference=Q1)              Quintile 2  ‐‐‐‐  ‐‐‐‐    0.28*   0.19+   0.20+  72      (2.27)  (1.71)  (1.85)      Quintile 3  ‐‐‐‐  ‐‐‐‐     0.35**   0.23*     0.25**  (3.09)  (2.18)  (2.49)      Quintile 4  ‐‐‐‐  ‐‐‐‐     0.32**    0.19+   0.19+  (2.76)  (1.74)  (1.84)      Quintile 5 (highest)  ‐‐‐‐  ‐‐‐‐     0.41**     0.32**     0.33**  (3.42)  (2.88)  (2.96)    Average teacher salary  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  0.06  0.07  (0.97)  (0.95)    Teachers absent (%)  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  0.02  0.02  (0.14)  (0.12)    Teacher university education   ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  ‐0.005  0.04      (%)  (‐0.02)  (0.18)    Student positive school   ‐‐‐‐  ‐‐‐‐  ‐‐‐‐      0.40**     0.39**     climate (%)  (5.69)  (5.11)              Province controls?  No  No  No  No  Yes  Sample size  2,192  2,192  2,192  2,192  2,192  Explained variance (R2)  0.11  0.12  0.13  0.15  0.16              Data source: SDI (2019).   Notes: Dependent variable is individual student grade 4 Bahasa Indonesia test scores with mean=0 (standard deviation=1). T‐ statistics (parentheses) based on standard errors corrected for clustering at school level. All results are based on weighted data  using linear regression (OLS).    Table C5.  School infrastructure factor point estimates in stepwise mixed model (HLM) regressions by  subject (madrasah sector only), 2019 SDI     Subject:  Indicator  Bahasa Indonesia  Math  Arabic          1. Baseline model  0.32**  0.29**  0.22**  (5.48)  (6.70)  (4.08)  2. Add school size   0.29**  0.25**  0.22**  (4.56)  (5.45)  (4.00)  3. Add family background  0.23**  0.20**  0.17**  (3.94)  (4.51)  (3.34)  4. Add teacher‐classroom  0.16**  0.11**  0.14**  characteristics  (2.80)  (2.62)  (2.66)  5. Add regional controls (full  0.17**  0.10**  0.10*  model)  (3.20)  (2.53)  (2.30)          Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). All coefficients  refer to the school infrastructure factor (Table 2), which is the only variable presented for each regression. Five separate  regressions are estimated for each outcome, beginning with a baseline model and adding blocks of variables. Mixed model  (HLM) methods are used with a random effect at the school level. T‐statistics (parentheses) based on standard errors corrected  for clustering at school level. Sampling weights are included at level one only.    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.      73      Table C6.  School infrastructure factor point estimates in stepwise OLS regressions by subject (all  schools), 2019 SDI     Subject:  Indicator  Bahasa Indonesia  Math        1. Baseline   0.24**  0.22**  (4.92)  (6.37)  2. Add school size   0.22**  0.18**  (4.07)  (5.52)  3. Add family background  0.19**  0.16**  (3.40)  (4.55)  4. Add teacher‐classroom  0.11*  0.10**  characteristics  (2.12)  (2.85)  5. Add regional controls (full  0.11*  0.08*  model)  (2.21)  (2.25)        Data source: SDI (2019).   Notes: Dependent variable is standardized student test score by subject with mean=0 (standard deviation=1). All coefficients  refer to the school infrastructure factor (Table 2), which is the only variable presented for each regression.  Five separate  regressions are estimated for each outcome, beginning with a baseline model and adding blocks of variables.  T‐statistics  (parentheses) based on standard errors corrected for clustering at school level. Results are based on weighted data using linear  regression (OLS).   **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    Table C7.  Covariates of junior secondary average Bahasa Indonesia test score with variable blocks,  2018 EMIS     Estimation block:  Independent Variable:  (1)  (2)  (3)  (4)  (5)              Madrasah infrastructure  0.20**  0.14**  0.13**  0.11**  0.07**  factor  (10.33)  (7.72)  (7.22)  (6.74)  (5.44)              Public madrasah  0.48**  0.26**  0.33**  ‐0.09  ‐0.01  (8.93)  (4.57)  (5.85)  (‐1.01)  (‐0.16)  Percentage female students  0.13**  0.11**  0.12**  0.11**  0.12**  (12.66)  (11.59)  (12.30)  (12.67)  (13.88)  Madrasah age (in years)  0.09**  0.06**  0.06**  0.05**  0.01  (5.64)  (3.75)  (4.15)  (3.16)  (0.95)  Full day shift  ‐0.03  ‐0.18**  ‐0.19**  ‐0.17**  ‐0.08+  (‐0.58)  (‐3.03)  (‐3.39)  (‐3.14)  (‐1.67)  School size (reference=151‐250 students):            1‐85 students  ‐‐‐‐  ‐0.21**  ‐0.16**  ‐0.14**  ‐0.14**  (‐4.49)  (‐4.33)  (‐3.52)  (‐4.29)    86‐150 students  ‐‐‐‐  ‐0.08**  ‐0.06*  ‐0.04  ‐0.03  (‐2.78)  (‐2.20)  (‐1.42)  (‐1.09)    250‐500 students  ‐‐‐‐  0.10**  0.09**  0.06*  0.05*  (3.93)  (3.44)  (2.20)  (2.10)    501+ students  ‐‐‐‐  0.42**  0.38**  0.29**  0.29**  (8.57)  (7.58)  (6.00)  (7.48)  74      District level measures:              Poverty rate  ‐‐‐‐  ‐‐‐‐  ‐0.13**  ‐0.11**  ‐0.20**  (‐3.09)  (‐2.82)  (‐4.35)    Total population  ‐‐‐‐  ‐‐‐‐  0.06  0.05  ‐0.04  (1.52)  (1.33)  (‐0.98)    MoRA enrolment (percent   ‐‐‐‐  ‐‐‐‐  0.03  0.03  ‐0.006     of total)  (0.68)  (0.84)  (‐0.16)  Percentage of teachers PNS  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  0.14**  0.12**  (6.74)  (5.57)  Madrasah organization (reference=”NU”:            Not affiliated  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  0.008  0.08+  (0.16)  (1.76)    Muhammadiyah  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  0.32**  0.22**  (4.76)  (4.66)    Other organizations  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  ‐0.01  0.08**  (‐0.38)  (2.92)  Accreditation level (reference=”A”):            “B”  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  ‐0.16**  ‐0.12**  (‐3.89)  (‐3.99)    “C”  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  ‐0.05  ‐0.006  (‐0.69)  (‐0.10)    Not accredited  ‐‐‐‐  ‐‐‐‐  ‐‐‐‐  ‐0.26**  ‐0.22**  (‐4.21)  (‐4.83)              Province controls?  No  No  No  No  Yes  Sample size  15,952  15,952  15,952  15,952  15,952  Explained variance (R2)  0.19  0.22  0.26  0.27  0.39              Data source: EMIS (2018).   Notes: Dependent variable is junior secondary (MTs) average adjusted UN test score in Bahasa Indonesiawith mean=0 (standard  deviation=1). T‐statistics (parentheses) based on standard errors corrected for clustering at district level. All results are based  on weighted data using linear regression (OLS).    Table C8.  Madrasah infrastructure factor point estimates in stepwise mixed model (HLM) regressions  by subject, 2018 EMIS     Bahas:  English:  Math:  IPA  Indicator  MT  MA  MT  MA  MT  MA  MT                  1. Baseline      0.11**     0.17**     0.13**     0.21**     0.08**     0.09**     0.10**  (10.91)  (16.34)  (10.74)  (13.41)  (7.45)  (4.63)  (8.34)  2. Add school size      0.08**     0.12**     0.10**     0.17**     0.06**     0.08**     0.07**  (7.47)  (11.73)  (8.74)  (10.22)  (5.81)  (4.44)  (6.75)  3. Add district controls     0.08**     0.12**     0.10**     0.17**     0.06**     0.08**     0.07**  (7.40)  (11.65)  (8.61)  (10.14)  (5.67)  (4.32)  (6.65)  4. Add school‐teacher     0.06**     0.09**     0.09**     0.13**     0.05**     0.06**     0.06**  controls  (6.65)  (8.66)  (7.70)  (7.62)  (5.24)   (3.43)  (5.78)  5. Add regional controls     0.06**     0.09**     0.09**     0.12**     0.05**   0.06*     0.06**  (full model)  (6.74)  (8.58)  (7.67)  (9.56)  (5.16)  (3.28)  (5.76)  75                      Data source: SDI (2019).   Notes: Dependent variable is standardized school average test score by subject with mean=0 (standard deviation=1). MT=junior  secondary madrasahs; MA=senior secondary madrasahs. All coefficients refer to the madrasah infrastructure factor (see Table  C2), which is the only variable presented for each regression. Five separate regressions are estimated for each outcome (by  subject), beginning with a baseline model and adding blocks of variables. T‐statistics (parentheses) based on standard errors  corrected for clustering at school level.  Results are based on mixed model (HLM) with random effect at school level, sampling  weights specified as level one (school) only.    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.    Table C9.  Madrasah infrastructure factor point estimates in stepwise mixed model (HLM) regressions  by senior secondary subject, 2018 EMIS     Senior secondary specialized subjects:  Indicator  Chem.  Sociol.  Bio.  Geogr.  Econ.  Physics                1. Baseline      0.12**     0.10**     0.19**     0.15**     0.10**     0.16**  (4.18)  (7.25)  (8.78)  (7.69)  (4.98)  (5.09)  2. Add school size      0.10**     0.08**     0.14**     0.12**     0.10**     0.13**  (3.51)  (6.23)  (6.08)  (6.30)  (4.36)  (4.50)  3. Add district controls     0.10**     0.08**     0.13**     0.12**     0.09**     0.12**  (3.23)  (6.15)  (5.82)  (6.10)  (3.96)  (4.16)  4. Add school‐teacher     0.08**     0.06**     0.11**     0.10**     0.06**     0.11**  controls  (2.69)  (4.46)  (4.80)  (4.81)  (2.73)  (3.57)  5. Add regional controls     0.07*     0.06**     0.10**     0.09**    0.05*     0.09**  (full model)  (2.37)  (4.31)  (4.28)  (4.57)  (2.16)  (3.13)                Data source: SDI (2019).   Notes: Dependent variable is standardized school average test score by subject with mean=0 (standard deviation=1). All  coefficients refer to the madrasah infrastructure factor (Table C2), which is the only variable presented for each regression. Five  separate regressions are estimated for each outcome (by subject), beginning with a baseline model and adding blocks of  variables. T‐statistics (parentheses) based on standard errors corrected for clustering at school level. Results are based on  mixed model (HLM) with random effect at school level, sampling weights specified as level one (school) only.    **Significant at p<0.01 level; *Significant at p<0.05 level; +Significant at p<0.10 level.        76      Appendix D: Analyses of School Size Effects     Additional  analyses  were  conducted  to  determine  to  what  degree  the  school  size  effect  is  linear  or,  put  differently, if there is any evidence of non‐linearity both in terms of the school infrastructure and student  test  score  dependent  variables.  To  address  this  question,  the  regression  work  for  infrastructure  and  student  test  scores  was  revisited  using  linear  and  categorical  measures  of  school  size,  with  and  without  the other variables (i.e., restricted model versus full model).     The main findings are as follows:     There  is  a  strong  linear  effect  of  school  size  on  the  school  infrastructure  dependent  variable  (measured as a factor). A 1.0 standard deviation increase in size is associated with a 0.20 to 0.26  of  a  standard  deviation  increase  in  infrastructure  by  school  level  (for  primary,  junior  secondary,  and  senior  secondary  schools)  in  a  restricted  model  with  province  controls  and  district  characteristics.  o However, when adding other school variables (accreditation, location, etc.) the size effect  is much smaller: between 0.10 and 0.14 of a standard deviation.   The  effect  of  school  size  on  infrastructure  is  very  linear,  and  there  is  no  evidence  of  non‐linear  effects  when  using  categories  of  size  instead  of  the  linear  measure.  All  categories  are  significant  and the increase across each category is very similar, which strongly suggests linear dependence  for the relationship between size and infrastructure.   For test scores, the results are similar as for the infrastructure dependent variable, although—not  surprisingly—the  overall  relationship  between  size  and  test  scores  is  not  as  strong.  The  linear  measure  of  school  size  is  generally  significant  and  positive,  although  the  effect  size  is  reduced  substantially when including other school level covariates (such as infrastructure). The categorical  measure  of  size  does  not  show  evidence  that  a  particular  size  is  most  conducive  to  learning,  if  anything the largest school size (501+ students) has the largest positive “bump” in terms of higher  test  scores,  and  the  categorical  measure  does  fit  the  test  score  dependent  variable  data  marginally better than the linear measure.  o With the categorical measure there is evidence of “tail effects”, meaning that the smallest  school category has the most consistently negative test scores (compared with the junior  secondary size category), and the largest school size category consistently has a positive  effect. The middle categories are often insignificant or marginally significant, especially in  the full model that includes other school variables.    The  results  are  robust  to  model  specification  between  ordinary  least  squares  and  mixed  (hierarchical  linear  model)  options.  However,  the  effect  of  school  size  on  student  test  scores  is  more moderate at the senior secondary school level (MA). The linear impact is significant only in  the  base  model  (i.e.,  limited  set  of  independent  variables),  and  for  the  categorical  size  measure  the largest size category is generally positive and significant (compared with middle sized schools),  while the other categories are often insignificant, especially in the full model. This does suggest a  more  non‐linear  effect  of  school  size  on  student  test  scores  at  the  senior  secondary  level,  but  mainly  in  the  form  of  a  “big  school”  effect.  Again,  there  is  no  evidence  of  a  “sweet  spot”  of  a  particular  range  of  school  size  that  is  most  conducive  to  learning,  the  data  instead  suggest  77      (especially  at  the  MA  level)  that  the  largest  schools  enjoy  the  most  benefits,  at  least  in  terms  of  the impact of size on test scores.    Furthermore, the results of the multivariate analysis—which focuses on the effect of school  size  on  student  test  scores  as  other  variables  are  added  to  the  model  to  assess  how  robust  the  relationship is, and how it is mediated by the inclusion of other variables—present the following  findings:   o In  junior  secondary  schools  with  the  EMIS  data  on  test  scores  (UN  scores,  adjusted  for  integrity  index),  the  positive  relationship  between  school  size  and  test  scores  is  fairly  robust,  and  remains  significant  after  adding  the  full  complement  of  variables.  In  senior  secondary schools (EMIS), the school size effect is less robust and tends to disappear (i.e.,  becomes  insignificant)  once  we  add  school‐teacher  variables  and,  in  some  cases,  the  regional controls.  o In the SDI data (primary grade level), the relationship between test scores and school size  is more mixed than in the EMIS and varies by subject of test. However, in the SDI data, it  is  only  the  largest  school  size  categories—especially  the  largest  category—that  are  positive significant predictors of achievement (compared with middle‐sized schools).   o While  there  is  some  evidence  in  the  EMIS  data  that  the  smallest  schools  are  especially  ineffective, this is not the case in the SDI sample.  o The positive association between the school size and test scores may be explained by the  propensity  that  larger  schools  have  more  positive  features  such  as  infrastructure,  teaching‐learning  environment,  and  accreditation  levels.  In  some  cases,  there  is  still  a  positive  size  effect  even  after  controlling  for  these  variables,  which  suggests  that  there  are  potentially  additional  elements  of  large  size  that  lead  to  better  scores  that  are  not  accounted for in our data.    Please  note  this  is  not  causal  analysis,  and  variables  such  as  school  size  may  be  related  to  other  unmeasured variables. 78