WPS7358 Policy Research Working Paper 7358 Using Probabilistic Models to Appraise and Decide on Sovereign Disaster Risk Financing and Insurance Roberto Ley-Borrás Benjamin D. Fox Finance and Markets Global Practice Group & Global Facility for Disaster Reduction and Recovery July 2015 Policy Research Working Paper 7358 Abstract This paper presents an overview of the structure of proba- that probabilistic catastrophe risk models provide. The deci- bilistic catastrophe risk models, discusses their importance sion making framework for sovereign disaster risk financing for appraising sovereign disaster risk financing and insur- and insurance put forward by the paper includes the use ance instruments and strategy, and puts forward a model of a decision model (an influence diagram) as a rigorous and a process for improving decision making on the linked representation of the relationships between the decisions, disaster risk management strategy and sovereign disaster uncertain events, and consequences relevant to sovereign risk financing and insurance strategy. The paper discusses disaster risk financing and insurance decision making. The governments' use of probabilistic catastrophe models to framework also includes a process for generating high-qual- inform sovereign disaster risk financing decision making ity customized components for the decision model, and a and describes the ex ante and ex post financing instruments tool for designing coherent sovereign disaster risk financing available for responding to extreme natural events. It also and insurance strategies. The paper ends with suggestions discusses the challenge of appraising sovereign disaster risk for improving catastrophe risk models to facilitate sover- financing and insurance instruments, including a review eign disaster risk financing and insurance decision making. of the multiple dimensions of disaster risks and the value This paper is a product of the Disaster Risk Financing and Insurance Program (DRFIP), a partnership of the World Bank’s Finance and Markets Global Practice Group and the Global Facility for Disaster Reduction and Recovery, with funding from the UK Department For International Development. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://econ.worldbank.org. The authors may be contacted at rley@decidir. org and benjamin.d.fox@gmail.com The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team Using Probabilistic Models to Appraise and Decide on Sovereign Disaster Risk Financing and Insurance1 Roberto Ley‐Borrás, Consultoría en Decisiones Benjamin D. Fox, The World Bank JEL codes: C44, D81, G22, G32, H12, O16  Key words: Disaster Risk Financing; Probabilistic Models; Catastrophe Models; Decision Analysis;  Appraisal of SDRFI Instruments; Decision Making  1   This  research  has  been  completed  as  part  of  a  series  of  papers  developed  under  the  Sovereign  Disaster  Risk  Financing and Insurance Impact Appraisal project. The project is led by the World Bank Disaster Risk Financing and  Insurance Program and funded through a cooperation between the UK Department for International Development  (DFID) and the Global Facility for Disaster Reduction and Recovery (GFDRR).  Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Introduction The  2005  United  Nations  World  Conference  on  Disaster  Reduction  and  the  resulting  Hyogo  Framework  for Action highlighted the need for pro‐active disaster management, including cost‐effective risk reduction  investments  and,  where  this  is  not  possible  or  as  a  complement,  financial  risk  transfer  through  (re)insurance and capital market instrumentation.  Sovereign  disaster  risk  financing  and  insurance  (SDRFI)  instruments  are  among  the  main  resources  that  states  can  use  for  disaster  risk  reduction  (DRR);  however,  appraising  SDRFI  instruments  can  be  a  challenging task.  Deciding on SDRFI instruments requires taking into consideration the different types of  disaster risks the state faces; the variety of their economic, social and environmental consequences; and  the  uncertainty  on  the  occurrence,  magnitude,  and  impact  of  severe  natural  events,  in  addition  to  the  cost, timing, and availability of a wide range of SDRFI instruments.   Probabilistic catastrophe risk models provide a coherent framework for appraising the multiple elements  related  to  SDRFI  instruments  and  they  are  especially  useful  for  valuing  the  consequences  of  uncertain  events; it is worth exploring how to get the most value from them.  This  paper  presents  an  overview  of  catastrophe  risk  models  and  their  use  for  appraising  SDRFI  instruments,  and  suggests  a  model  and  a  process  for  improving  decision  making  on  sovereign  disaster  financial instruments. The first section describes probabilistic catastrophe models in terms of their inputs  and outputs, and discusses their use by governments to inform sovereign disaster risk financing decision  making.  The  second  section  describes  the  financing  and  insurance  instruments  available  for  responding  to extreme natural events and the design of strategies that take into consideration the cost and timing of  the available financing instruments, in many cases combining ex‐ante and ex‐post instruments. The third  section  discusses  the  challenge  of  appraising  SDRFI  instruments,  including  a  review  of  the  multiple  dimensions of disaster risks; it highlights the value of probabilistic catastrophe risk models for appraising  SDRFI instruments. The fourth section puts forward a decision making framework for SDRFI that includes  the  use  of  a  decision  model  (an  influence  diagram)  as  a  rigorous  representation  of  the  relationships  between  the  decisions,  uncertain  events  and  consequences  relevant  to  SDRFI  decision  making.  The  framework  also  includes  a  process  for  generating  high  quality  components  for  the  model  (components  tailored to the circumstances of the individual country) and a tool for designing coherent SDRFI strategies.  Finally, suggestions for enriching catastrophe risk models in order to facilitate SDRFI decision making are  presented.    1. Probabilistic Catastrophe Models Catastrophe  risk  models  have  been  developed  and  used  by  participants  in  the  private  international  (re)insurance community since the late 1980s. Functionally, these models attempt to represent the likely  direct economic impact of natural hazards (e.g., hurricanes) on a portfolio of physical assets at risks (e.g.,  a  selection  of  hotels  in  Miami)  and  provide  outputs  that  can  be  used  by  decision  makers  to  inform  their  risk  management  strategies.  There  are  two  distinct  types  of  catastrophe  modeling  analysis  that  can  be  performed:  deterministic and probabilistic. Deterministic  (or "what if") analyses  represent the impact of  2 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  a  defined  scenario  event,  e.g.,  the  2010  Chile  earthquake;  whereas  probabilistic  analyses  attempt  to  capture  the  impact  of  all  of  the  possible  natural  hazard  events  that  could  affect  a  given  region.  While  deterministic  event  analyses  can  provide  valuable  information  to  risk  decision  makers,  they  inherently  contain no information about the likelihood that the given event could happen (only its potential impact);  however  probabilistic  analyses  allow  decision  makers  to  understand  the  likelihood  of  the  full  range  of  possible  impacts  of  natural  hazards  and  they  can  also  model  events  over  a  broad  time  horizon  (well  in  excess of the length of historical records).  Inputs Sophisticated  catastrophe  models  are  typically  composed  of  four  components:  a  hazard  module,  an  exposure  module,  a  vulnerability  module  and  a  loss  module.  The  hazard  module  itself  is  formed  of  two  elements: a stochastic event set, and a local site model. The stochastic event set is a catalog of simulated  natural hazard events which are characteristic of the observed or scientifically‐modeled events in a region  and  contains  information  about  their  location,  size  (e.g.,  earthquake  magnitude)  and  associated  probabilities  of  occurrence.  The  local  site  model  represents  the  small‐scale  impacts  of  the  large‐scale  natural peril; for example, in the case of earthquake risk this element allows the prediction of the ground  shaking  intensity  at  a  given  location,  due  to  the  occurrence  of  an  earthquake  of  given  size  and  location  some distance away.  The exposure module is a  database of the  physical characteristics of  the assets (buildings, infrastructure  etc.) at risk to the specific perils in the hazard module. As well as cataloging their economic replacement  cost and geo‐referenced location, sophisticated catastrophe models typically represent assets in terms of  their usage (e.g., residential, commercial, industrial etc.), construction type (e.g., adobe, wood, concrete  etc.), age and height (number of stories).   The  vulnerability  module  characterizes  the  damageability  of  the  assets  in  the  exposure  module  to  the  natural  perils  in  the  hazard  module.  Essentially  this  component  is  a  database  of  mean  damage  ratio  relationships  (and  their  associated  uncertainty  parameters)  between  local  hazard  intensity  and  the  physical  damage  to  structures  in  the  exposure  module.  The  vulnerability  module  of  robust  catastrophe  models  will  demonstrate  sensitivity  to  the  various  characteristics  in  the  exposure  database  (as  listed  above) highlighting the need for accurate, high‐resolution exposure data collection and collation. There is  also  a  geographical  element  to  the  information  in  this  module  that  requires  capturing,  as  regional  construction practices and building code enforcement will typically vary across a country.  Outputs The  final  component,  the  loss  module,  is  where  the  financial  calculations  are  performed  and  rely  on  the  process  and  outputs  of  the  previous  three  modules.  Conceptually,  the  first  part  of  the  hazard  module  describes  the  occurrence  of  an  event  with  an  annual  rate  of  occurrence  while  the  second  part  of  the  hazard module calculates the local intensity of the event for every asset under study (i.e., all the assets in  the exposure module). The vulnerability module generates damage estimates based on the local intensity  of  the  hazard  and  the  characteristics  of  the  assets  at  risk,  which  are  translated  into  economic  loss  (e.g.,  10% damage to a property with a US $100,000 replacement cost would equate to an economic loss of US  $10,000).  In  order  to  calculate  the  total  loss  for  a  single  event,  then  the  aggregate  loss  from  all  of  the  3 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  assets at risk is taken. Once this process is undertaken for all of the events in the stochastic event catalog,  the result is a table of event‐by‐event losses known as an Event Loss Table (ELT).  The ELT contains, for every event that causes damage, the annual rate of occurrence, total mean loss and  related  uncertainty  parameters.  By  combining  the  frequency  and  severity  of  the  losses  in  the  entire  stochastic event  catalog, probabilistic  catastrophe models are able to calculate the distribution of losses  related to all of the possible events. Two common outputs of catastrophe models are Average Annual Loss  (AAL) and Probable Maximum Losses (PML). The AAL is simply the sum product of all of the event annual  frequencies  and  expected  losses,  and  represents  the  expected  annual  economic  loss  from  the  modeled  portfolio of assets exposed to the natural perils represented by the hazard module.  PMLs represent the annual chance that losses from the portfolio of assets being analyzed could exceed a  given threshold. This metric can also be referred to in terms of return periods – for instance if there is an  annual  likelihood  of  0.5%  that  a  portfolio  of  risks  could  exceed  US  $100  million  loss,  this  is  the  same  as  saying  that,  on  average,  a  loss  of  US  $100  million  or  greater  is  expected  to  occur  once  every  200  years.  PMLs are derived from the production of Exceedence Probability (EP) curves by catastrophe models.   Probabilistic catastrophe model output can be of use to decision makers because it provides insight into  the sizes of potential economic impacts across a range of timeframes. AALs and short return period PMLs  (e.g.,  5  year  return  period)  can  provide  information  on  the  likely  impacts  of  relatively  small,  frequent  natural  events;  while  long  return  period  PMLs  (e.g.,  200  years)  can  inform  as  to  the  likely  economic  consequences  of  low‐frequency,  high  severity  catastrophes.  Such  metrics  have  been  used  for  the  quantitative  evaluation  of  potential  disaster  risk  reduction  (DRR)  strategies  (e.g.,  Michel‐Kerjan  et  al.,  2012),  but  their  application  in  aiding  the  design  and  evaluation  of  SDRFI  strategies  has  been  somewhat  limited.  While  probabilistic  catastrophe  models  are  routinely  used  to  represent  the  likely  economic  impacts  of  natural  catastrophes,  apart  from  the  considerations  related  to  the  accuracy  to  which  a  computer  model  can  represent  physical  work  interactions,  there  are  many  potential  limitations  in  their  use.  While  it  is  commonplace to focus on what the models can do, their use in developing and evaluating SDRFI strategies  should also include a robust understanding of what they cannot do. For instance, not all of the perils that  could  impact  a  country  may  be  modeled,  there  may  be  secondary  perils  (e.g.,  tsunamis  following  earthquakes)  that  may  not  be  captured  in  a  particular  model,  or  there  may  be  specific  elements  (e.g.,  energy assets) not adequately represented.  Government use of probabilistic catastrophe models to inform sovereign disaster risk financing decision making Probabilistic  catastrophe  models, as used by the international  (re)insurance  community, rely on outputs  which represent direct losses resulting from the impact of natural perils. For governments, indirect losses  must also be considered, given their impacts at a macro‐level.  Direct  losses  are  derived  from  the  actual  physical  damage  to  building  structures,  their  contents  and  the  subsequent  time‐dependent  interruptions  (e.g.,  commercial  business  interruption).  Indirect  economic  impacts  typically  include  job  losses,  economic  slowdown,  decreases  in  tourism,  and  reduction  in  public  4 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  revenues. While some work has been done on the macroeconomic impacts of natural catastrophes (e.g.,  Rose,  2007),  there  has  been  limited  progress  on  applying  this  to  governments.  Recent  initiatives  have  attempted  to  link  estimates  of  government  emergency  loss  requirements  to  direct  physical  damage  estimates (e.g., see the Pacific Catastrophe Risk Assessment and Financing Initiative –PCRAFI–).  Since  1996  and  the  creation  of  its  National  Fund  for  Natural  Disasters  (Fondo  Nacional  de  Desastres  Naturales, FONDEN), the Mexican government has sought to implement an innovative sovereign disaster  risk financing and insurance strategy, relying on a blend of risk‐retention and risk‐transfer instruments. A  core  part  of  this  initiative  is  a  probabilistic  catastrophe  risk  assessment  platform  developed  to  estimate  the  government's  contingent  liability  called  R‐FONDEN.  The  model  takes  as  input  a  detailed  exposure  database  (including  details  of  buildings,  roads,  and  other  public  assets)  and  produces  as  outputs  risk  metrics including AAL and PMLs. This  model is currently  used by the  Ministry  of Finance, in combination  with  actuarial  analysis  of  historic  loss  data,  to  monitor  the  disaster  risk  exposure  of  FONDEN's  portfolio  and  to  design  disaster  risk  transfer  strategies.  One  example  of  the  value  of  R‐FONDEN  in  the  SDRFI  decision‐making  process  was  in  helping  to  inform  the  design  of  the  second  catastrophe  bond  issued  to  protect  FONDEN  from  earthquake  and  hurricane  risk  in  Mexico  (MultiCat  2009  and  later  MultiCat  2012  with an even larger coverage area).   In  order  for  the  SDRFI  evaluation  process  to  be  undertaken  in  a  consistent  way  across  territories,  it  requires  consistent  inputs  (probabilistic  risk  modeling  output,  as  defined  earlier)  –  therefore  it  is  imperative  that  all  four  components  of  a  model  be  developed  and  applied  for  this  purpose.  While  there  are  insights  that  decision  makers  can  gain  from  the  information  inherent  in  an  exposure  database  or  hazard catalog in isolation, these would not provide the appropriate inputs into the SDRFI decision‐making  process  as  outlined  in  this  paper.  This  potentially  poses  challenges  to  its  application  in  countries  where  there is limited information available to inform one or more of the risk model components; however this  paper  recommends  that  some  effort  must  be  applied  to  bridge  these  potential  knowledge  gaps.  By  way  of example, in the case of a national exposure database containing individual geo‐referenced assets and  their  associated  physical  and  economic  characteristics  not  being  available,  efforts  should  be  made  to  develop a proxy‐based alternative, perhaps at a coarser resolution – but nonetheless its existence would  allow the production of preliminary risk modeling outputs.      2. Sovereign Disaster Risk Financing and Insurance (SDRFI) Instrumentation Governments have a range of sources of financing available following the occurrence of a severe natural  disaster. Typically these financing sources are categorized as either ex‐post or ex‐ante instruments. In the  case  of  ex‐post  financing  the  instruments  are  not  planned  in  advance  and  include  budget  reallocations,  domestic credit, external credit, tax increases, and donor assistance. On the other hand, ex‐ante funding  instruments  do  require  advance  planning  and  include  reserve  funds,  budget  contingencies,  contingent  debt  facilities,  and  risk‐transfer  mechanisms.  The  latter  allow  risk  to  be  passed  to  external  third  parties  such  as  national  and  international  (re)insurance  companies  or  the  international  capital  markets  5 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  community,  through  mechanisms  such  as  traditional  (re)insurance  and  alternative  risk  transfer  (ART)  products such as catastrophe (CAT) bonds (see Caballero, 2003; Freeman et al., 2003; Gurenko and Lester,  2004; and Hoffman and Brukoff, 2006).  Figure  1  shows  the  different  types  of  financing  instruments  that  can  be  used  by  governments  to  access  funds to deal with disasters, and their utilization time horizon.  Figure 1: Sources of disaster financing.    Relief phase  Recovery phase  Reconst. phase  (1 to 3 months)  (3 to 9 months)  (over 9 months)  Post‐disaster financing           Donor assistance (relief)           Budget reallocation           Domestic credit           External credit           Donor assistance (reconstruction)           Tax increase        Ex‐ante financing           Budget contingencies           Reserve found           Contingent debt facility           Parametric insurance           CAT‐Bonds           Traditional insurance        Source: Ghesquiere and Mahul, 2010.  Strategy Sovereign disaster risk financing and insurance strategies can help countries manage the budget volatility  associated  with  natural  disasters  and  should  be  guided  by  three  main  steps:  (i)  identification  and  assessment of the  contingent liabilities  associated with disasters;  (ii) improving  the  post‐disaster budget  response  capacity  of  the  state;  and  (iii)  reducing  the  long‐term  financial  exposure  of  the  state  (for  more  details see World Bank and G20, 2013).  The  two  key  factors  that  must  be  considered  within  an  effective  disaster  risk  strategy  are  the  cost  and  timing  of  the  available  instruments.  Immediately  following  a  disaster  a  government  will  not  require  funding for the entire recovery and reconstruction program; although resources will be needed to support  relief  operations,  most  of  the  funds  will  not  be  required  until  the  reconstruction  programs  commence  –  often several months after a disaster.  A  number  of  governments  have  successfully  implemented  sovereign  disaster  risk  financing  strategies  based  on  a  combination  of  ex‐ante  and  ex‐post  financing  instruments.  Typically,  governments  adopt  a  layered, bottom‐up approach (Ghesquiere and Mahul 2010) which involves combining risk‐retention and  risk transfer instruments such that:  6 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox   Low‐risk layers (frequent, low losses) are financed by a combination of risk‐retention instruments  such as reserve funds and contingency budgets;   Intermediate‐risk  layers  (less  frequent,  medium  losses)  are  financed  via  budget  reallocation  and  contingent credit (risk retention instruments);   High‐risk  layers  (infrequent,  severe  losses)  are  financed  by  a  combination  of  risk‐retention  and  risk‐transfer instruments.  As  a  complement  to  these  concepts,  section  4  of  this  paper  puts  forward  a  decision  making  framework  for  SDRFI  that  aims  at  strengthening  the  decision  process  by  using  a  formal  model  for  analysis  and  communication, and at the same time getting the most value from probabilistic catastrophe risk models.    3. The Challenge of Appraising SDRFI Instruments Deciding  on  sovereign  disaster  risk  financial  instruments  requires  consideration  of  the  different  types  of  disasters  the  country  faces  and  the  variety  of  their  consequences  on  people,  businesses,  infrastructure,  economic  development  and  fiscal  viability,  among  other  possible  impacts  from  natural  disasters.  Also,  these  decisions  have  to  be  made  with  uncertainty  on  the  occurrence  and  magnitude  of  natural  events,  and  uncertainty  about  the  impact  of  those  events  on  multiple  constituencies  and  physical  assets.  Altogether,  choosing  the  best  SDRFI  instruments  to  put  in  place  is  a  challenging  task.  Probabilistic  catastrophe  risk  models  are  valuable  tools  for  appraising  alternative  SDRFI  instruments:  they  provide  a  coherent framework for exploring the impacts on economy and society of the interplay of government's  financial actions and uncertain natural phenomena.  a. The multiple dimensions of disaster risks A state preparing for natural disasters faces a multidimensional problem that includes: the many aspects  of  severe  natural  phenomena,  the  range  of  their  effects  on  society,  economy  and  the  environment,  the  multiple  actions  that  government  and  society  can  carry  out  for  prevention  and  remediation  of  natural  disasters,  the  assortment  of  financial  instruments  that  can  be  used  to  fund  relief,  recovery  and  reconstruction and, finally, the uncertainty about almost all elements mentioned above. Let us comment  briefly on each of those dimensions of disaster risks.  A  wide  range  of  natural  phenomena  can  have  disastrous  consequences  for  people,  infrastructure,  the  environment  and  economic  development;  they  include  floods,  earthquakes,  hurricanes,  droughts,  snow  storms and many others. These natural phenomena have very different origins, periodicity, duration and  intensity, and also particular manifestations in countries or regions. The effects of some of them are felt  immediately (e.g., earthquakes) and for others it may take years to felt the worst effects (e.g., droughts).  In terms of consequences, natural disasters may hurt people, damage infrastructure, destroy livelihoods,  damp economic and social development, and harm the environment, in many different degrees.  Planning  how to respond to such a wide range of damaging consequences is an important and complex challenge.  Policy  alternatives  on  the  face  of  disaster  risk  can  include  both  preventive  and  corrective  measures.   Preventive  measures  are  usually  more  cost‐effective  than  corrective  ones  (Mechler  2005),  but  more  7 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  difficult to get approved.  Setting the time horizon for decisions and choosing what to do and when to do  it requires tough trade‐offs.  Funding  the  programs  for  disaster  risk  management  is  a  condition  to  be  able  to  go  from  programs  to  action.  There  are  a  growing  number  of  instruments  for  disaster  risk  financing  (which  by  itself  should  be  viewed  as  a  positive  development)  but  choosing  between  diverse  financial  instruments  for  retaining  the  risk,  different  instruments  for  transferring  the  risk  or  any  combination  of  them,  and  for  different  time  horizons, is a complex decision situation.  Uncertainty makes decisions about SDRFI particularly challenging. There is uncertainty on the occurrence,  timing and intensity of the natural phenomena, its effect on infrastructure, the human toll of the disaster,  the availability of required funds and the effectiveness of the disaster response efforts, to mention only a  few of the most significant ones.    Appraising  SDRFI  instruments  requires  assessing  costs,  consequences  and  probabilities  of  uncertain  events, and logically combining them to allow overall comparison between instruments; catastrophe risk  models are fundamental tools for doing that.  b. The value of catastrophe risk models for deciding on SDRFI Catastrophe  risk  models  are  designed  to  represent  all  of  the  elements  mentioned  above  as  well  as  their  relationships. In particular, the use of probabilistic assessments for uncertain events makes these models  a much better representation of reality than deterministic analyses.   Catastrophe  risk  models  provide  probabilistic  valuation  of  costs  and  consequences,  key  inputs  for  any  formal decision making process on SDRFI instruments, and make possible the probabilistic assessment of  SDRFI  instruments;  this  in  turn  enables  the  use  of  more  sophisticated  and  useful  analyses,  e.g.,  formal  quantification  of  risks,  comparison  of  probability  distribution  of  outcomes  for  different  strategies,  computation of the value of acquiring additional information about critical uncertain events.  For example, most developing countries do not have the conditions for applying a policy of risk neutrality  (valuing each outcome proportionally to its impact, notwithstanding how extreme they are) for assessing  investments  on  natural  disasters  and  their  outcomes:  those  countries  cannot  effectively  diversify  their  risks or borrow enough to distribute losses between generations (Ghesquiere and Mahul 2010, p.2). This  means  that  to  properly  assess  the  investment  on  SDRFI  instruments  and  the  undesirable  outcomes  they  aim  to  mitigate,  it  is  best  to  use  a  decision  makers'  risk  tolerance  (risk  aversion)  index  that  reflects  the  country's  circumstances.  A  risk  tolerance  index  can  only  be  used  in  the  context  of  probabilistic  assessments like the ones catastrophe risk models provide.  Also, because in low‐income countries "decision makers not only face fiscal constraints but also may lack  adequate information on net economic and social benefits of DRR measures" (Michel‐Kerjan et al. 2012,  p.3),  risk  models,  with  their  embedded  knowledge  of  uncertain  events  and  consequences,  can  help  decision makers even when they have limited availability of technical expertise.  8 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Identifying  and  quantifying  uncertain  events  is  a  major  challenge  in  appraising  SDRFI  instruments.   Catastrophe risk models do not include all uncertain events and they do not have to include them; for risk  models to be useful it is enough that they include the uncertain events with the highest impact; however,  the  level  of  impact  depends  on  how  much  diverse  outcomes  are  valued  and  therefore  the  impact  level  depends on the particular decision situation being analyzed.  There should be a clear connection between  the decision model and the catastrophe risk model.  Another  challenge  for  building  useful  catastrophe  risk  models  is  to  identify  probabilistic  dependence  between uncertain events and, if granted, measure that dependence.  Some  of  the  uncertainties  modeled  may  be  obvious,  like  the  occurrence  and  severity  of  natural  phenomena, while other may require a closer inspection to be identified, like the uncertainty on the time  when  specific  resources  will  be  available,  and  we  may  never  be  sure  that  all  uncertainties  have  been  identified and its importance assessed. However, there are so many catastrophe related uncertain events  already  identified,  and  in  most  cases  they  are  so  insufficiently  taken  care  of  that  just  properly  using  the  catastrophe  risk  model  and  acting  accordingly,  would  put  most  countries  in  a  much  safer  and  attractive  situation. Nevertheless, when resources allow it, a thorough analysis may be granted to identify additional  risks.  We  expect  that  as  the  use  of  risk  modeling  techniques  has  helped  significantly  increase  the  resilience  of  the insurance industry (World Bank and G20 2013, p.30), the use of catastrophe risk models will continue  to  enhance  the  countries'  ability  to  make  better  decisions  and  to  better  withstand  extreme  natural  phenomena.  4. A Decision Making Framework for SDRFI SDRFI  instruments  are  a  key  component  of  disaster  risk  management:  overcoming  the  effects  of  natural  disasters  often  requires  substantial  financial  resources  and,  in  the  case  of  developing  countries,  those  requirements  can  even  exceed  their  GDP  (World  Bank  2013,  p.253).  Available  SDRFI  instruments  differ  greatly in their cost, time to be available and maximum levels of financing: it is not easy to select the best  set of financial instruments for responding to the natural risks a country faces, or even just put together  a coherent strategy.    A  decision  model  can  be  used  to  represent  the  overall  decision  situation  and  facilitate  analysis  and  communication among stakeholders; an example of such model is presented in this section. Because the  quality of a decision model derives from the process that led to its construction, a straightforward process  is suggested for generating quality components for the decision model.  Finally,  since  catastrophe  risk  models  play  such  an  important  role  in  appraisal  of  SDRFI  instruments,  it  is  worth tailoring them to facilitate the SDRFI decision process; some suggestions are presented at the end  of this section.     9 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  a. SDRFI as a key element of disaster risk management Responding to severe natural disasters requires financing, often at levels most developing countries find  difficult  to  provide  (Ghesquiere  and  Mahul  2010,  p.3).  Similarly,  preparing  for  disaster,  including  preventive measures and organizational and logistic preparedness, requires significant financing.  Because  the  cost  and  availability  of  financing  vary  widely  for  different  types  of  instruments  (Ghesquiere  and Mahul 2010, p.9), a good decision on what SDRFI instruments to use can make the difference between  a feasible disaster risk management plan and one  that  cannot  be afforded. Also, because the  time  to  be  able  to  make  use  of  the  funds  and  the  maximum  levels  of  financing  vary  considerable  between  financial  instruments, the choice of SDRFI strategy strongly influences the opportunity and effectiveness of disaster  response.  Notwithstanding  its  key  importance,  financial  protection  is  only  one  component  of  a  comprehensive  disaster risk management strategy (Ghesquiere and Mahul 2010, p.2) and therefore the countries should  also decide wisely on disaster prevention and response policies that complement (and are funded by) the  financial instruments. A decision model can help in this undertaking.    b. Deciding on SDRFI instruments: A model and a process There are two linked sets of sovereign disaster response decisions: decisions on disaster risk management  (DRM) and decisions on sovereign disaster risk financing and insurance (SDRFI) instruments; both can be  represented  using  a  decision  model  that  also  includes  the  objectives  of  the  country  and  the  uncertain  events it faces.  The  decision  model  can  be  an  influence  diagram  (Howard  and  Matheson  2005).  These  diagrams  give  an  overall  view  of  the  situation  by  showing  the  relationships  between  decisions,  uncertain  events  and  consequences. The influence diagram is a rigorous graphical representation of those relationships yet it is  easy to understand without previous training.   As  an  illustration,  let  us  consider  the  simplified  influence  diagram  of  Figure  2.   The  rectangles  represent  decisions,  in  this  case  on  DRM  strategy  and  on  SDRFI  strategy,  and  the  arrows  departing  from  them  indicate the influence exerted through each decision on particular uncertain events and consequences.  The ovals in the diagram represent uncertain events with a probability distribution assigned to them; the  arrows  show  that  the  Infrastructure  characteristics  and  Population  distribution  at  the  time  of  a  severe  natural  event  are  influenced  by  DRM  strategy,  and  that  in  turn  they  influence  (modify  the  probability  distribution of)  the Human impact and  Economic impact of a Severe  natural event.  Similarly,  it is shown  that the uncertain Available funds for relief, recovery and reconstruction are influenced by the decisions  on SDRFI strategy and,  if the  country has bought parametric insurance, the severity of  the  natural event  will  influence  the  amount  of  resources  the  country  actually  get  hold  of  (this  is  represented  by  the  red  arrow pointing toward Available funds).  10 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Figure 2. An example of decision model (an influence diagram) for sovereign disaster risk decisions.  Infrastructure characteristics Population distribution DRM strategy Severe natural event Economic Overall SDRFI strategy impact impact Fiscal cost Available funds Response effectiveness Source: R. Ley‐Borrás and D.J. Clarke.  In turn, the Available funds have an effect on the Fiscal cost for the country and the very important (but  nevertheless  uncertain)  Response  effectiveness:  the  ability  of  the  government  to  help  the  population  in  distress and recover from direct government losses of infrastructure and revenue).  The uncertain event  Response  effectiveness  is  also  influenced  by  the  DRM  strategy  because  the  strategy  may  include  preventive  actions  than  enhance  the  logistical  and  technical  capabilities,  among  others,  critical  for  effective  response.  This  node  is  also  influenced  by  SDRFI  strategy  because  when  a  country  contracts  specific  forms  of  insurance  or  re‐insurance,  it  also  commits  to  precise  rules  for  loss  adjustment  methodology  and  funds  spending,  and  that  framework  is  believed  to  have  a  positive  influence  on  post  disaster  response  (Clarke  2013a,  Dana  and  von  Dahlen  2014,  De  Janvry  et  al.  2014).  The  diagram  also  shows  that  Response  effectiveness  has  a  direct  influence  on  Human  impact  and  Economic  impact,  expressed by arrows pointing to those nodes.  This  influence  diagram  includes  a  Severe  natural  event  uncertainty  node  that  has  no  incoming  arrows  (because  the  occurrence  of  the  event  is  not  influenced  by  decisions)  and  its  outgoing  arrows  show  its  impact on the three types of consequences  being  considered, as  well as on the Available funds node (as  mentioned).   The  magnitude  of  a  disaster  is  a  consequence  of  the  severity  of  the  natural  event  and  of  factors  that  the  country  can  influence  with  its  decisions:  infrastructure  characteristics,  population  distribution, available funds and response effectiveness.  11 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  In each specific situation the node Severe natural event will include the probability distribution for the full  characterization (e.g., frequency, intensity, location)  of earthquakes, hurricanes or other specific type of  event, or the node will be replaced by a set of uncertainty nodes, each corresponding to a particular type  of sever natural event (and we can even model the influences between those events).  The  rounded  rectangles  (value  nodes)  represent  consequences  related  to  the  objectives  of  the  decision  makers.  The  diagram  shows  that  each  consequence  (Human  impact,  Economic  Impact  and  Fiscal  cost)  is  a function of the outcomes of all uncertain events that have arrows directed to the consequence, and also  a function of the alternatives chosen in the decision nodes that have arrows directed to the consequence.  The partial value nodes contribute to a global value node that represents the expected Overall impact for  the country of each strategy.  Influence diagrams are very flexible and can include all the decisions, uncertain events and consequences  that are deemed important for deciding on DRM and SDRFI.  They can include as much detail as necessary;  for  example,  subsets  of  the  influence  diagram  can  represent  how  residents  will  respond  to  insurance  offers,  how  builders  and  home  owner  will  react  to  fiscal  stimulus  for  reinforcing  buildings  or  how  the  speed  of  government  reaction  to  a  disaster  affects  the  probability  that  epidemics  or  social  unrest  may  start off.  Another advantage of influence  diagrams is that analysts and decision makers can use them  as a vehicle  for  gaining  consensus  on  what  should  be  "on  the  table"  when  deciding  about  disaster  risks  actions  and  financing  instruments.    Once  the  nodes  and  relationships  of  the  influence  diagram  are  defined,  the  probability  values  and  consequences  should  be  quantified  (using  probabilistic  catastrophe  risk  models)  and then the strategies can be evaluated using off‐the‐shelf computer programs for influence diagrams.  Using probabilistic risk models for assessment of SDRFI alternatives  For  the  SDRFI  decisions  represented  in  the  influence  diagram,  catastrophe  risk  models  provide  the  essential  valuation  of  uncertain  variables  and  consequences,  and  they  can  do  that  with  great  detail  for  each type of  severe natural phenomena, specific geographic area and vulnerability of infrastructure and  residents: a most valuable contribution.  In  order  to  assess  the  value  of  SDRFI  instruments  for  a  particular  country,  it  is  important  to  identify  explicitly  the  government  policies  that  will  be  assumed  to  be  in  place:  the  worth  provided  by  a  SDRFI  instrument or strategy will likely be different for different sets of government policies.  It is also important to be explicit about government policies because otherwise the underlying assumption  may  be  that  those  policies  are  the  ones  that  work  best  with  the  SDRFI  alternatives  being  evaluated,  but  that may not be the case.  We should be aware that unstated and unrecognized assumptions, likely play  a role in affecting judgments in many important policy decisions (Keeney 2008, p.5).  In addition, probabilistic risk models allow us to explore the interactions (synergetic or otherwise) of the  financial and policy decisions; we can do that by assessing the value of SDRFI instruments or strategies for  different sets of government policies.  12 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Building coherent SDRFI strategies  The  decision  node  SDRFI  strategy  in  the  influence  diagram  means  deciding  among  a  set  of  sovereign  disaster  risk  financing  strategies,  each  set  consisting  of  a  number  of  financial  instruments  to  be  used  by  the country. Each strategy may include instruments for risk retention for high frequency events (reserves,  calamity funds), risk retention for medium frequency events (emergency loans, contingency credits (CAT‐ DDO),  budget  reallocations),  risk  retention  for  low  frequency  events  (tax  increases,  domestic  or  external  credit)  and  risk  transfer  for  low  frequency  events  (catastrophe  bonds,  parametric  insurance,  traditional  insurance) (Ghesquiere and Mahul 2010, p.20).  Even if not all the instruments are available for a particular  country, the number of possible combinations of instruments can be enormous.  It may be impractical to  enumerate all combinations of instruments, and much more to evaluate them.  To  design  a  small  number  of  coherent  strategies  that  are  both  feasible  and  promising,  we  can  use  a  strategy generation table (Howard 1988). This tool consists of a table with columns labeled with the name  of  a  financial  instrument  that  is  feasible  to  use  for  a  specific  country.  The  body  of  the  column  includes  possible levels of use of the instrument, say from making it a key part of the strategy to not using it at all,  or by different ways of using the instrument.  A strategy is formed by selecting a level or form of use from  each column.  An  illustration  of  a  partial  strategy  generation  table  is  shown  in  Figure  3;  it  includes  only  financial  instruments  for  responding  to  low  frequency  events  but,  nevertheless,  the  six  types  of  instruments  considered, with only three or four alternatives each, can generate 3,072 combinations. Because not every  combination is a reasonable strategy, it is valuable to use the table for designing coherent strategies that  are significantly different from each other.  Figure 3. An illustration of a partial strategy generation table. Two strategies are shown.    Risk Retention for low frequency events  Risk Transfer for low frequency events    Strategy  Domestic  External  Traditional  Parametric  Catastrophe  theme  Tax increase  credit  credit  insurance  insurance  bonds                    Consumer   Up to Z  Contingent  Flood  Flood  Wide  Risk  tax  amount  credit  insurance  insurance  earthquake  Retention            bond  Emphasis  Special  Up to Y  Line of credit  Earthquake  Earthquake      purpose tax  amount    insurance  insurance  Pilot              earthquake    Mix of  Up to X  Conventional  Flood and  Flood and  bond  Risk Transfer  several taxes  amount  credit  Earthquake  Earthquake    Emphasis        insurance  insurance  No    No tax  No domestic  No external      catastrophe    increase  credit  credit  No traditional  No parametric  bond    insurance  insurance    Source: R. Ley‐Borrás  13 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Two  strategies  are  identified  in  the  table;  one  named  Risk  Retention  Emphasis  that  concentrates  on  domestic  revenues  and  traditional  insurance,  and  the  other  named  Risk  Transfer  Emphasis  that  relies  mainly on external credit, parametric insurance and the emission of catastrophe bonds. Other strategies  can be defined so that the country has a set of strategies that span the range of possibilities but includes  a  small  enough  number  of  strategies  for  discussion  and  appraisal.  Once  the  strategies  are  defined,  risk  and decision models will be used to assess the value of each strategy.  A strategy generation table can be a tool for catastrophe risk layering (Ghesquiere and Mahul 2010 p.17);  it  simplifies  the  selection  of  instruments  for  risk  retention  and  risk  transfer  for  disasters  of  different  frequency and severity, as well as for financing preventive measures.  A process for designing, understanding and owning SDRFI decisions   A decision model is only as good (valid) as the process that led to its construction. If some objectives are  missing, alternatives lack creativity or uncertain events are ill‐defined, no model or computation will lead  to a high quality decision.  Also, good decisions are not only a matter of content: the right participation is  a  key  component.  If  decision  makers  actively  participate  in  a  well  structure  decision  process,  it  is  more  likely that they will "own" the decision choice and that it will be successfully implemented. A similar effect  has been observed on the crisis simulation exercise promoted by the World Bank where the ownership of  the exercise by the participating public representatives was crucial for the success of the exercise (World  Bank 2013, p.209).  To  achieve  quality  of  content  and  quality  of  participation,  it  is  suggested  to  use  a  process  based  on  the  Integral Decision Analysis method (Ley‐Borrás 2009) that includes the following interlocked steps:  1. Define the decision scope. Ideally an SDRFI decision would include financial protection for all types of  disaster  risks  in  the  entire  country,  but  if  currently  there  is  not  enough  time  or  resources  for  designing  and  implementing  a  comprehensive  SDRFI  strategy,  a  wise  choice  of  a  subset  of  geographical  locations  and/or risks may be the right decision scope to work within. Criteria for choosing the best decision scope  considering the priorities and circumstances of the country are given in Ley‐Borrás (2014).  2. Structure fundamental objectives. It is very important to identify all the country's objectives related to  sovereign disaster risk financing  (in  the  selected decision scope),  but there is value in going  beyond that  and building a formal structure (or hierarchy) of objectives. Keeney (1992) shows how objectives relate to  each other; high level decision makers should participate in that undertaking.  An example of a structure  of objectives is presented in Figure 4.  14 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Figure 4. An example of a structure of objectives for risk reduction and recovery.    Minimize negative impact    from severe natural events     Minimize  Minimize damage  Optimize  Minimize negative   human impact to infrastructure fiscal expenditure development impact   Min. damage to  Min. damage  Min. short‐term  Min. long‐term    Minimize  Minimize  transport and  to buildings  Minimize  Maximize  Maximize  negative  negative  human  human  investment response communication and energy  financial cost economic  economic  suffering life lost efficiency effectiveness infrastructure facilities impact impact     Source: R. Ley‐Borrás  The  structure  shows  at  the  top  a  global  fundamental  objective:  Minimize  negative  impact  from  severe  natural events. This objective is explained by dividing it into four fundamental objectives: Minimize human  impact,  Minimize  damage  to  infrastructure,  Optimize  fiscal  expenditure  and  Minimize  negative  development  impact.  Each  of  these  objectives  is  further  explained  to  be  more  precise,  for  example,  Optimize fiscal expenditure is shown being integrated by the objectives: Minimize financial cost, Maximize  investment  efficiency  and  Maximize  response  effectiveness.  There  is  no  predefined  level  of  detail  the  structure of objectives must have: we should only increase detail to add clarity.  3. Generate a rich set of alternatives and strategies. The World Bank has developed and helped develop  a  number  of  innovative  financial  instruments  (Ghesquiere  and  Mahul  2010)  that  can  be  used  directly  or  used as a starting point for designing new ones. These financial instruments can be part of strategies that  aim at achieving the country's fundamental objectives.  4.  Identify  and  measure  key  uncertain  events.  In  the  context  of  protecting  the  country  against  natural  disasters, identifying and measuring the risks from natural events is essential, but there are also "human  made" events that can be as central to the consequences of a disaster as the natural event, and the risks  from these other events should also be identified and measured.  These steps will provide quality elements to be modeled with an influence diagram and, together with the  appraisal  of  strategies  using  probabilistic  catastrophe  risk  models,  will  lead  to  good  decisions  on  SDRFI  instruments.  The  four  steps  are  only  sketched  here;  there  is  a  rich  set  of  techniques  for  performing  the  steps professionally and, while doing so, getting clarity and value for the decision makers.    15 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  c. Building catastrophe risk models that facilitate SDRFI decision making Ideally,  catastrophe  risk  models  would  include  all  (and  only)  the  factors  that  can  make  a  material  difference in the choice of SDRFI instruments and other disaster risk management decisions.  That is not  an  easy  task  and  even  if  it  is  encouraging  that  catastrophe  risk  models  keep  growing  in  sophistication  (World Bank and G20, p.261), more could be done.    To  better  serve  the  purpose  of  making  good  decisions  on  SDRFI  instruments,  it  is  suggested  to  build  catastrophe risk models that:  1. Include  metrics  for  all  fundamental  objectives.  Financial  and  infrastructure  cost  are  obvious  candidates to be included in the models, but also human costs (e.g., hunger, illness, death, livelihood  loss)  and  development  cost  (i.e.,  stagnant  or  negative  economic  development),  and  any  other  consequence  associated  with  the  specified  fundamental  objectives,  should  be  part  of  the  model:  those are the issues the decision makers care about.  2. Allow  for  the  simultaneous  appraisal  of  the  instruments  that  form  a  strategy.  Each  of  the  selected  instruments  may address  different  types of risks,  different geographical locations and different time  horizons,  but  they  are  interrelated  and  it  is  best  to  appraise  them  together  and  get  a  probability  distribution of the consequences of the strategy, not only of its components.  3. Include uncertainty about amount and availability time of post‐disaster funds. An advantage of ex‐ ante financial instruments is faster and less uncertain availability of funds; that should be reflected in  the risk models.   4. Include  change  over  time  of  population  at  risk.   This  risk  should  be  computed  for  different  sets  of  policy actions that  can modify natural population trends. Population pressure by itself will likely add  density  in  areas  of  high  risk  (e.g.,  near  rivers,  beaches  and  in  the  outskirts  of  cities)  and  so  add  risk  exposure  over  time.   Effective  policies  that  move  population  out  of  high  risk  areas  would  have  the  opposite effect.  5. Allow  sensitivity  analysis  for  assessing  the  robustness  of  the  choice.  Link  the  risk  models  to  the  decision  model  being  used  to  determine  the  range  of  values  of  an  uncertain  variable  where  the  selected SDRFI strategy is still the optimal choice.   6. Include  administrative  and  legal  preparedness.  Ghesquiere  and  Mahul  (2010  p.12)  argue  that  "administrative  and  legal  dimension  of  risk  financing  should  be  at  the  core  of  any  risk  financing  strategy" and it certainly is a factor when computing the probability of the funds being efficiently and  effectively spent after a disaster.  7. Include  implicit  and  explicit  contingent  liabilities.  Take  into  consideration  disaster  costs  the  government  will  be  expected  to  pay  for  as  a  legal  obligation  as  well  as  for  political  and  social  considerations (Ghesquiere and Mahul 2010, p.13).  16 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  8. Take  into  account  indirect  consequences.  Job  losses,  reduction  in  public  revenue  and  other  consequences  are  harder  to  quantify  but  can  have  important  negative  impacts  on  development  achievements and poverty reduction efforts (World Bank and G20, p.13).  Some of the items in this list may be redundant if a  good job is done in  defining a  complete structure of  objectives  and  designing  catastrophe  risk  models  that  take  into  consideration  all  the  consequences  related to the defined fundamental objectives.   Including the suggested elements and increasing the capabilities of catastrophe risk models will contribute  to  better  informed  decision  making  and  likely  to  a  stronger  endorsement  of  the  use  of  ex‐ante  financial  instruments and other preventive policies.    Conclusions Making good decisions on disaster risk management (DRM) strategy and sovereign disaster risk financing  and  insurance  (SDRFI)  strategy  increases  the  probability  that  the  countries  maximize  the  value  of  their  investments  on  disaster  risk  mitigation,  minimize  the  negative  impact  from  severe  natural  phenomena  and,  in  general,  achieve  the  objectives  they  set  for  disaster  risk  response.  The  significance  of  sovereign  response to disaster risks and the variety and growing sophistication of SDRFI instruments makes the task  of building better decision and risk models even more important.  Probabilistic catastrophe risk models are a fundamental element of the process of deciding on sovereign  DRFI  instruments.  However,  for  a  catastrophe  risk  model  to  be  useful  it  is  required  that  each  of  its  components  (hazard  module,  exposure  module,  vulnerability  module  and  loss  module)  be  developed.   Even  if  that  is  done  at  a  rough  resolution,  it  would  allow  the  production  of  risk  modeling  outputs;  and  those rough probability distributions will be valuable inputs for the decision model.  Deciding on sovereign DRFI instruments is a challenging undertaking, particularly for developing countries  that do not have the same level of resources available as advanced economies (World Bank and G20 2013  p.9);  it  is  also  a  responsibility  with  great  impact  on  the  economy  and  society.  Using  a  clear  and  logical  SDRFI decision process can help governments to better fulfill that responsibility.  Decision  makers  can  use  a  decision  model  (e.g.,  an  influence  diagram)  to  have  an  overall  image  of  what  they can do, what uncertain events the country faces, what are the possible consequences of their actions  and  what  are  the  relationships  between  these  three  elements.  In  addition,  influence  diagrams  can  facilitate productive participation and consensus building.  As  part  of  that  process,  decision  makers  can  design  coherent  SDRFI  strategies  and  use  probabilistic  catastrophe risk model to better understand the consequences of each strategy and make a choice with  the potential to create the most value for their country.  Better  catastrophe  risk  models  and  a  better  decision  process  for  SDRFI  can  get  us  closer  to  the  higher  objective  of  making  disaster  risk  financing  and  insurance  a  cost‐effective  way  of  reducing  poverty  and  improving valued development outcomes (Clarke 2013a).  17 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox    The  authors  thank  Paolo  Bazzurro,  Daniel  Clarke  and  additional  Core  Project  Team  reviewers  (Impact  Appraisal  for  Sovereign Disaster Risk Financing and Insurance Project) for their very useful comments and suggestions on the first  draft of this paper.    References Caballero, R. (2003) The Future of the IMF and World Bank, American Economic Review 93(2), 31‐38.  Clarke,  D.J.  (2013a)  Evidence  Wanted:  Effectiveness  of  Sovereign  Disaster  Risk  Financing  and  Insurance,  World Bank blog, submitted October 11, 2013.  Clarke,  D.J.  (2013b)  Is  Financial  Protection  Against  Disasters  Worth  it?  A  Project  on  Impact  Appraisal  for  Sovereign Disaster Risk Financing. Presentation November 12, 2013. World Bank.  Dana  J.  and  S.  von  Dahlen  (2014)  An  Overview  of  Potential  Pathways  to  Appraising  Impact  of  Sovereign  DRFI:  Where  Should  We  Be  Looking  to  Assess  Benefits?  Overall  methodology  Background  Paper  6.  Impact Appraisal for Sovereign Disaster Risk Financing and Insurance Project: Phase 1. World Bank.  De  Janvry,  A.  (2014)  Quantifying  through  Ex‐post  Assessments  the  Micro‐level  Impacts  of  Sovereign  Disaster  Risk  Financing  and  Insurance  Programs.  Microeconomics  and  Catastrophe  Risk  Modeling  Background  Paper  4.  Impact  Appraisal  for  Sovereign  Disaster  Risk  Financing  and  Insurance  Project:  Phase 1. World Bank.  Freeman,  P.,  M.  Keen,  and  M.  Mani  (2003)  Dealing  with  Increased  Risk  of  Natural  Disasters:  Challenges  and Options. IMF Working Paper WP/03/197.  Ghesquiere  F.  and  O.  Mahul  (2010)  Financial  Protection  of  the  State  against  Natural  Disasters:  A  Primer,  World Bank Policy Research Working Paper 5429, World Bank, Washington, DC.  Gurenko,  E.  and  R.  Lester  (2004)  Rapid  Onset  Natural  Disasters:  The  Role  of  Financing  in  Effective  Risk  Management, World Bank Policy Research Working Paper 3278.  Hofman, D. and P. Brukoff (2006) Insuring Public Finances Against Natural Disasters: A Survey of Options  and Recent Initiatives, IMF Working Paper WP/06/199.   Howard, R.A. (1988) Decision Analysis: Practice and Promise, Management Science, 34:6, 679‐695.  Howard R.A. and J.E. Matheson (2005) Influence Diagrams, Decision Analysis 2(3):127‐143.  Keeney, R.L. (1992) Value‐Focused Thinking: A Path to Creative Decision‐Making, Harvard University Press,  USA.  18 Using Probabilistic Models to Appraise and Decide. Ley-Borrás and Fox  Keeney, R.L. (2008) Using Decision Sciences Concepts to Think Clearly About Policy Decisions, Conference  and Book Writing Honoring the Work of Howard Kunreuther Dec. 4‐5, 2008. The Wharton School, U.  of Pennsylvania.  Ley‐Borrás, R. (2009) Integral Decision Analysis (Análisis de Decisiones Integral), Consultoría en Decisiones  (decidir.org), Mexico.  Ley‐Borrás,  R.  (2014)  Deciding  on  the  Decision  Situation  to  Analyze:  The  Critical  First  Step  of  a  Decision  Analysis, Decision Analysis, Forthcoming.  Mechler,  R.  (2005)  Cost‐benefit  analysis  of  natural  disaster  risk  management  in  developing  countries.  Eschborn:Deutsche  Gesellschaft  für  Technische  Zusammenarbeit  (GTZ),  quoted  in  (Michel‐Kerjan  et  al. 2012).  Michel‐Kerjan, E., S. Hochrainer‐Stigler, H. Kunreuther, J, Linnerooth‐Bayer, R. Mechler, R. Muir‐Wood, N.  Ranger,  P.  Vaziri,  M.  Young  (2012)  Catastrophe  Risk  Models  for  Evaluating  Disaster  Risk  Reduction  Investments  in  Developing  Countries,  Working  Paper  #  2012‐07,  Risk  Management  and  Decision  Processes Center, The Wharton School, University of Pennsylvania.  Rose,  A.  (2007)  “Macroeconomic  Modeling  of  Catastrophic  Events,”  in  J.  Quigley  and  L.  Rosenthal  (eds.)  Real Estate, Catastrophic Risk, and Public Policy, Berkeley, CA: Berkeley Press.  World  Bank  (2013)  World  Development  Report  2014:  Risk  and  Opportunity  –  Managing  Risk  for  Development. Washington, DC: World Bank. doi: 10.1596/978‐0‐8213‐9903–3.  World Bank and G20 (2013) Improving the Assessment of Disaster Risks to Strengthen Financial Resilience.  A Special Joint G20 Publication by the Government of Mexico and the World Bank, June 2013.  19