pensum

Vi vil bruke f?lgende b?ker i dette kurset:

1. J. R. Norris: Markov Chains. Cambridge University Press (1998).

ISBN-10: 0521633966

2. R. Durrett: Essentials of Stochastic Processes. Springer (2016)

Pensum:

1. Generell innf?ring i teori av Markovprosesser som skal gi oversikt over ulike anvendelser p? biologi og finansmatematikk.

2. Kr?sjkurs i sannsynlighetsteori:

Definisjon av grunnleggende begrep som f.eks. sannsynlighetsrom/-variabel, betinget forventningsverdi osv. (se feks Appendix i boken til R. Durrett)

3. Markovkjeder i diskret tid

3.1 Grunnlegggende konsepter og definisjoner:

Definisjon av Markovkjeder i diskret tid, overgangssannsynligheter osv. (kap. 1.1 i J. Norris eller kap. 1.2 i R. Durrett).

3.2 Hitting times (treffetider) og absorberingssannsynligheter:

Beregning av hitting-time-sannsynligheter eller forventede hitting times anvendelser: "Gambler's ruin", skadeforsikring osv. (kap. 1.3 i J. Norris).

3.3 Den sterke Markovegenskapen:

Definisjon av stoppetider, anvendelser p? finansmatematikk (kap. 1.4 i Norris).

3.4 Rekurrente og transiente Markovkjeder (kap. 1.6 i Norris eller kap. 1.6 i Durrett)

Klassifisering av tilstander, definisjon av "random walks" osv.

3.5 Invariante fordelinger

Positive, null-rekurrente tilstander (kap. 1.7 i Norris).

3.6 Konvergensteoremer for Markovkjeder

Periode av tilstander, konvergens til ekvilibrium (kap. 1.8 i Norris eller kap. 1.5 i Durrett), anvendelser (f. eks. skadeforsikring, Ehrenfestmodell), "Coupling" av Markovkjeder.

3.7 Tidsreversible Markovkjeder (kap. 4.8 i Ross eller kap. 1.9 i Norris)

Anvendelser: f.eks. "Random walks on graphs"

3.8 Ergodiske Markovkjeder (kap. 1.10 i Norris)

Anvendelser: ergodisk kontrollteori, forsikring, statistisk estimeringsteori

4. Anvendelser

4.1 Forgreningsprosesser (branching processes) i biologi

Beregning av d?ds- og overlevelsessannsynligheter (extinction and survival probabilities) osv. (kap. 5.1 i Norris).

4.2 Markovkjeder i ressursforvaltning (ressource management)

Ergodisk kontrollteori (kap. 5.3 i Norris).

4.3 Simulering av Markovkjeder

"Markov-chain-Monte-Carlo-metode", Hastings-Metropolis-algoritme (kap. 5.5 i Norris eller kap. 1.6.4 i Durrett).

5. Markovkjeder i kontinuerlig tid

Grunnleggende definisjoner, Poissonprosess, f?dselsprosesser (med eksplosjon). Se kap. 2, 3 i Norris eller kap. 2, 3, 4 i Durrett.