Beskjeder

Forrige gang (9.,10., 23. og 24. april) studerte vi noen anvendelser av tidsdiskrete Markov-kjeder (forgreningsprosesser kap. 5.1, ergodisk kontrollproblem i forbindelse med lagerstyring Kap. 5.3, Markov chain Monte Carlo kap. 5.5). Neste uke (30. april) begynner vi med diskusjonen av Markov-prosesser i kontinuerlig tid (kap. 2).  

Regne?velsene (Exercises 10) fremf?res av Lorenzo p? mandag, 28. april.

In our last lessons (9th, 10th, 23rd and 24th April) we studied some applications of discrete-time Markov chains (branching processes ch. 5.1, ergodic control problem in connection with warehouse management ch. 5.3, Markov chain Monte Carlo ch. 5.5). Next week (30 April) we will start with the discussion of Markov processes in continuous time (chapter 2).  

The exercises (Exercises 10) will be presented by Lorenzo on Monday, 28 April.

I de siste forelesningene (2. og 3. april) diskuterte vi et ergodeteorem, som kan ses p? som en generalisering av store talls loven til Markov-kjeder (se kap. 1.10 i Norris). Neste uke (9. og 10. april) skal vi fortsette med noen anvendelser av tidsdiskrete Markov-kjeder (feks. forgreningsprosesser kap. 5.1), Markov chain Monte Carlo (kap. 5.5)).

Regne?velsene (Exercises 9) fremf?res av Lorenzo p? mandag, 7. april.

In the last lessons (April 2 and 3) we discussed an ergodic theorem, which can be regarded as a generalization of the law of large numbers to Markov chains (see chapter 1.10 in Norris). Next week (April 9 and 10) we will continue with some applications of discrete-time Markov chains (e.g. branching processes ch. 5.1), Markov chain Monte Carlo (ch. 5.5)).

Exercises 9 will be presented by Lorenzo on Monday, April 7.

Siste gang (26./27. mars) dr?ftet vi konvergensteoremer for Markov-kjeder (kap. 1.8 i Norris). Dessuten studerte vi reversible Markov-kjeder (kap. 1.9 i Norris). Neste uke skal vi fortsette (2./3. april) med kap. 1.10 i Norris (ergodeteorem og noen statistiske anvendelser).
Regne?velsene (Exercises 8) fremf?res av Lorenzo p? mandag, 31. mars. 

Last time (26/27 March) we discussed some convergence theorems for Markov chains (chapter 1.8 in Norris). We also studied reversible Markov chains (section 1.9 in Norris). Next week we will continue (2-3 April) with chapter 1.10 in Norris (Ergodic theorem and some statistical applications).
The exercises (Exercises 8) will be presented by Lorenzo on Monday, 31 March. 

Forrige gang (19. mars) studerte vi periodiske/ikke-periodiske tilstander av Markov-kjeder. Dessuten diskuterte vi et konvergensteorem for Markov-kjeder i forbindelse med ikke-periodiske tilstander (see kap. 1.8 i Norris). Neste uke (26./27. mars) kommer vi til ? dr?fte et konvergensterorem for periodiske Markov-tilstander og tidsreversible Markov-kjeder (se kap. 1.9) (og hvis tiden tillater det, ergodeteoremet, kap. 1.10).

Regne?velsene (Exercises 7, Prob. 1, 2 og 5) fremf?res av Lorenzo p? mandag, 24. mars. 

Last time (19 March) we studied periodic/aperiodic states of Markov chains. We also discussed a convergence theorem for Markov chains in the context of non-periodic states (see chapter 1.8 in Norris). Next week (26/27 March) we will discuss a convergence theorem for periodic Markov states and time-reversible Markov chains (see chapter 1.9) (and if time permits, the ergodic theorem, chapter 1.10).

The exercises (Exercises 7, Prob....

Det blir ingen (!) undervisning p? torsdag, 20. mars pga midtveiseksamen!

Men vi skal (!) ha undervisning p? onsdag, 19. mars!

Forrige gang (12./13. mars) introduserte vi konseptene invariante fordelinger og positiv/null-rekurrente Markov-tilstander (kap. 1.7 i Norris). Neste uke (p? onsdag, 19. mars) skal vi bruke disse begrepene til ? studere konvergens av Markov-kjeder (se Kap. 1.8 i Norris).

Regne?velsene (Exercises 6) fremf?res p? mandag, 17. mars.

Last time (12/13 March) we introduced the concepts of invariant distributions and positive/zero recurrent Markov states (Chap. 1.7 in Norris). Next week (on Wednesday, 19 March) we will use these concepts to study convergence of Markov chains (see Chapter 1.8 in Norris).

The exercises (Exercises 6) will be presented by Lorenzo on Monday, 17 March.

Her: Assignment

Innleveringsfrist: torsdag, 3. april 2025, kl. 14:30 (elektronisk innlevering via Canvas).

Deadline: Thursday, 3. April 2025, 14:30 (electronic submission via Canvas).

Studentrepresentanten for kurset er

Maya Robert (mayaro(at)math.uio.no)

Siste gang (5./6. mars) studerte vi transiente og rekurrente tilstander av Markovkjeder ifm dikotomi-teoremet (kap. 1.5 i Norris). Det er planlagt ? diskutere invariante fordelinger og konvergens av Markovkjeder neste uke (12./13. mars). Se kap. 1.7 og 1.8 i Norris.

Regne?velsene ("Exercises 5") fremf?res p? mandag, 10. mars.

Last time (5-6 March) we studied transient and recurrent states of Markov chains in connection with the dichotomy theorem (chapter 1.5 in Norris). Next week (12/13 March) we aim at discussing invariant distributions and convergence of Markov chains (chapters 1.7 and 1.8 in Norris).

The exercises (¡®Exercises 5¡¯) will be presented on Monday, 10 March.

Forrige gang (26. og 27. feb.) studerte vi den sterke Markovegenskapen (kap. 1.4 i Norris). Dessuten diskuterte vi rekurrente og transiente tilstander av Markovkjeder (f.eks. i forbindelse med 1-dimensjonale "random walks"). Se kap. 1.5 i Norris eller kap. 3.4 i manuset mitt. Neste uke (5. og 6. mars) skal vi dr?fte dikotomi-teoremet ifm Markovkjeder og deretter invariante fordelinger som brukes f.eks. til beregning av langtidsfordelinger av aksjeprosesser eller forventninger av tilbakekomsttiden av prosesser mhp positiv-rekurrente tilstander (kap. 1.7 i Norris).

Regne?velsene (Exercises 4) fremf?res p? mandag, 3. mars.

Last time (26 and 27 Feb) we studied the strong Markov property (chapter 1.4 in Norris). We also discussed recurrent and transient states of Markov chains (e.g. in the context of 1-dimensional random walks). See chapter 1.5 in Norris or chapter 3.4 in my manuscript. Next week (5 and 6 March) we will discuss the dichotomy theorem for Mar...

Siste gang (19. og 20. feb.) diskuterte vi en metode til beregning av sannsynligheter for treffetider. Dessuten ble vi kjent med den sterke Markovegenskapen av Markovkjeder som har viktige anvendelser i finans-, forsikringsmatematikk og fysikk (kap. 3.3 i manus eller kap. 1.4 i Norris). Neste gang (26. og 27. feb.) vil vi befatte oss med rekurrente og transiente Markovtilstander (f.eks. i forbindelse med "random walks"). Se kap. 1.5 i Norris.

Regne?velser ("Exercises3") fremf?res 24. feb.

Last time (19./20. February), we discussed a method for calculating hitting time probabilities. Moreover, we got acquainted with the strong Markov property of Markov chains which has important applications in finance, insurance mathematics and physics (chapter 3.3 in the manuscript or chapter 1.4 in Norris). Next time (26./ 27 Feb.) we will deal with recurrent and transient Markov states (e.g. in the context of random walks). See chapter 1.5 in Norr...

Forrige gang (5. og 6. feb.) innf?rte vi Markovkjeder i diskret tid. Se kap.1.1 i boken til J. Norris. Deretter dr?ftet vi Markovegenskapen og (n-step-) overgangssannsynligheter av Markovkjeder (kap. 1.1 i Norris). Neste gang (12. og 13. feb.) skal vi diskutere karakterisering av Markovtilstander via kommuniserende klasser og beregne treffetid-sannsynligheter i forbindelse med "gambler`s ruin" og "birth-and-death-chains" (kap. 1.2 og 1.3 i Norris).

Det blir ikke (!) fellesundervisning p? mandag, 10. feb., men (!) p? mandag, 17. feb.!

Last time (Feb. 5 and 6), we introduced Markov chains in discrete time. See chapter 1.1 in the book by J. Norris. Then we discussed the Markov property and n-step transition probabilities of Markov chains (chap. 1.1 in Norris).

Next time (Feb. 12 and 13) we will discuss characterization of Markov states via communicating classes and compute hitting time probabilities in conne...

Det er planlagt ? bli ferdig med kr?sjkurset i sannsynlighetsteori p? onsdag, 5. feb. Etterp? (5./6. feb.) skal vi begynne med kap. 1 i boken til Norris og studere Markovkjeder i diskret tid.

Vi skal ha gruppetime (fremf?ring av en del av oppgaver ifm "Exercises1") p? mandag (3. feb.).

We are supposed to finish our crash course on probability theory on Wednesday, 5. Feb. Then we will continue with ch. 1 in the book of Norris and study discrete-time Markov chains (5./6. Feb.).  

Parts of "Exercises1" will be presented on Monday, 3. Feb. in connection with "gruppetime".

Vi startet opp kurset (23. Jan.) med en generell innf?ring i teorien av stokastiske prosesser og deres anvendelser. Neste gang (29./30. jan.) skal vi fortsette med et crashkurs i sannsynlighetsregning og repitere grunnleggende begrep og resultater (feks. stokastiske variabler, (betinget) forventningsverdi osv.).

Det blir ingen (!) fremf?ring av regne?velser/fellesundervisning p? mandag, 27. jan.!

Her finner dere manuset og regneoppgaver:

https://www-adm.uio.no/studier/emner/matnat/math/STK2130/v25/forelesningsmateriale/?vrtx=admin

We started our course (23. Jan.) with a general discussion of the theory of stochastic processes and its applications. Next week (29./30. Jan.) we will continue with a crash course on probability theory and recall some basic notions and results (concept of a random variable, (conditional) expected value etc.).

There will be no (!) presentation of exercises/"fellesundervisning" on Monday, 27...

Vi starter opp med undervisning p? torsdag, 23. jan., 10:15-12:00, Vilhelm Bjerknes' Hus, Aud. 5.

Det blir ingen (!) undervisning p? mandag, 20. jan. og onsdag, 22. jan.

We are supposed to start with our course on Thursday, 23. Jan., 10:15-12:00, Vilhelm Bjerknes' Hus, Aud. 5.

There will be no "fellesundervisning" on Monday, 20. Jan. and no lesson on Wednesday, 22. Jan.

Vi vil bruke f?lgende b?ker i dette kurset:

1. J. R. Norris: Markov Chains. Cambridge University Press (1998).

ISBN-10: 0521633966

2. R. Durrett: Essentials of Stochastic Processes. Springer (2016)

Pensum:

1. Generell innf?ring i teori av Markovprosesser som skal gi oversikt over ulike anvendelser p? biologi og finansmatematikk.

2. Kr?sjkurs i sannsynlighetsteori:

Definisjon av grunnleggende begrep som f.eks. sannsynlighetsrom/-variabel, betinget forventningsverdi osv. (se feks Appendix i boken til R. Durrett)

3. Markovkjeder i diskret tid

3.1 Grunnlegggende konsepter og definisjoner:

Definisjon av Markovkjeder i diskret tid, overgangssannsynligheter osv. (kap. 1.1 i J. Norris eller kap. 1.2 i R. Durrett).

3.2 Hitting times (treffetider) og ab...