Προκαταρκτικές έννοιες από τη Θεωρία Πιθανοτήτων. Γενικά περί στοχαστικών διαδικασιών. Μαρκοβιανές αλυσίδες σε διακριτό χρόνο. Πίνακας πιθανοτήτων μετάβασης, εξισώσεις Chapman-Kolmogov. Πιθανότητες πρώτης επίσκεψης (ή επι­στροφής) και κατανομή της χρονικής στιγμής πρώτης επίσκε­ψης (ή επιστροφής). Ταξινόμηση καταστάσεων. Επαναλαμβα­νόμενες καταστάσεις, παροδικές καταστάσεις, απορροφη­τικές περιοδικές καταστάσεις, μη περιοδικές καταστάσεις. Κλάσεις επικοινωνούντων καταστάσεων. Κλειστά σύνολα καταστάσεων. Κανονική μορφή του πίνακα μετάβασης. Ορια­κή συμπεριφορά καταστάσεων, εργοδικό θεώρημα, στάσιμη κατανομή. Μελέτη τυχαίων περιπάτων. Χρεωκοπία του παίκτη. Μαρκοβιανές αλυσίδες σε συνεχή χρόνο. Πίνακας γεννήτορας, εξισώσεις Kolmogorov, οριακή συμπεριφορά καταστάσεων. Διαδικασία Poisson, διαδικασία γεννήσεων-θανάτoυ. Εισα­γωγή στα συστήματα ουρών.