Stochastic Processes - IV Polya Teoremi

Notların dördüncü bölümünde Markov Zincir'lerinin birkaç özelliğinden daha bahsedip ilk notlarda konuyu açtığımız 'Basit Rastgele Yürüyüş' modeline geri dönüp Polya Teoremini gösterip epey ilginç sonuçlar elde edeceğiz. Öncelikle Markov Zincir'lerine dair birkaç tanım daha yapalım.

$\mathbb{X}$ yine $\mathcal{S}$ durum uzayına ve $P$ geçiş matrisine sahip bir Markov Zinrici olsun. Markov zinciri zamanla bir durumdan diğerine $P$'de verilen olasılıklarla geçiyor. Herhangi bir $j$ durumundan ilk kez geçtiği zamana 'ilk geçiş zamanı' olarak adlandıracağız ve bu zaman aşağıdaki gibi tanımlıyoruz:
$$T_j = min \{n \in\mathbb{N}: \hspace{0.5cm} X_n = j\} \tag{1}$$Markov Zinciri bu noktadan birden fazla kez (hatta sonsuz kere) geçiyor olabilir, biz bunların minimumunu alıp buna ilk geçiş zamanı $T_j$ diyoruz.

Soru: Eğer zincir $i$ durumundan başladığında, ileriki bir zamanda $i$'ye tekrar gelmek zorunda mı? Geliyorsa ne kadar sık geliyor?

Tanım: Bir $i$ durumu için
$$ \mathbb{P}(T_i < \infty) =  \mathbb{P}(T_i < \infty | X_0 = i) = 1 \tag{3}$$ ise $i$ durumuna 'tekrar eden' (recurrent) durum denir.

Tanım: Eğer bir durum 'tekrar eden' bir durum değilse ona 'geçici' (transient) durum denir.

Teorem: Bir $i$ durumu ancak ve ancak aşağıdaki şart sağlanıyorsa 'tekrar eden' bir durumdur:
$$\sum_{n = 0}^{\infty}  \mathbb{P}_{i, j}(n) = \infty \tag{4}$$Yukarıdaki ifadede $\mathbb{P}_{i, j}(n)$, terimi $i$ durumundan $j$ durumuna $n$ adımda geçme olasılığını gösteriyor. Eğer bir durum 'tekrar eden' bir durumsa, yani zincirin o duruma tekrar gelme ihtimali 1 ise, sonsuz adımda buraya sonsuz kere geleceğinden, tekrar tekrar geldiği adımlar için olasılıkları topladığımızda sonsuz elde edeceğiz. Bunu kanıtlamak için 'üreteç fonksiyonları' (generating functions) kullanmak gerekiyor; tartışmayı detaylandırmamak adına bu kanıtı geçiyorum.

Tekrar eden ve geçici durumları da tanımladıktan sonra 'Basit Rastgele Yürüyüş' modeline geri dönelim. Model farklı boyutlar için kesikli ya da sürekli olarak tanımlanabiliyor. Bir boyutta bir doğru üzerinde sağa ve sola doğru hareket edilirken, iki boyutta kafes (lattice) şeklinde bi yapı üzerine noktanın en yakınındaki dört komşusuna geçişler yaparak ilerleniyor. Üç boyut için komşu sayısı altıya çıkıyor ve bu böyle artarak devam ediyor. Bizim ilgilendiğimiz sürekli rastgele hareketler olacak. Problemimiz şu: Belirli bir noktadan başlayan bir rastgele yürüyüşçümüz tekrar bulunduğu noktaya geri döner mi? Bunu bize ünlü Polya Teoremi söylüyor.

Polya Teoremi: Köşeleri tam sayılardan oluşan d boyutlu $\mathbb{Z}^d$ kafesini (lattice) alalım. $\mathbb{Z}^d$ üzerinde simetrik rastgele hareket ($p = q = 1/2$):

1) $d \le 2$ için tekrar edendir.
2) $d \ge 3$ için geçicidir.

Polya teoremi bize simetrik rasgele hareketin başladığı noktaya yalnızca 1 ve 2 boyutta geri gelebileceğini, 3 ve daha fazla boyut için bunun kesin olmadığını, yürüyüşün başını alıp gidebileceğini söylüyor!

Kanıt: 

1-boyutta, $\mathbb{Z}^1$'de, pozitif yönde bir adım atma olasılığı $p$, negatif yönde bir adım atma olasılığı $q$ olan, $p \not= q$ yürüyüşe bakalım. Orijinden $(j = 0)$ başlayan bir yürüyüşün tekrar geri gelmesi için sağ tarafa ve sol tarafa eşit sayıda adım atması gerekir, bu da toplam adım sayısının çift olmasını gerektirir. $2n$ adımda $0$ noktasından $0$'a geri  gelme olasılığını şöyle yazabiliriz:
$$\mathbb{P}_{0,0}(2n) = \binom{2n}{n} p^n q^n \tag{5}$$
$2n \choose n$ $2n$ tane adımdan yarısını sağa, yarısını da sola olacak şekilde kaç farklı şekilde atabileceğimizi gösteren kombinatorik katsayı. Büyün $n$ sayıları için bu durumu incelediğimiz için $\binom{2n}{n}=\frac{(2n)!}{(n!)^2}$ ifadesi için meşhur Stirling yaklaşımını (Stirling's Approximation) kullanacağız:
$$n! \approx \sqrt{2 \pi n} \bigg( \frac{n}{e}\bigg)^n \hspace{1.5cm} \text{(Stirling yak.)} \tag{6}$$
$$ \binom{2n}{n}= \frac{(2n)!}{(n!)^2}  \approx \frac{\sqrt{4 \pi n} \big( \frac{2n}{e}\big)^{2n}}{2 \pi n \big( \frac{n}{e}\big)^{2n}}  = \frac{1}{\sqrt{\pi n} 4^n} $$ $$ \Rightarrow \mathbb{P}_{0,0}(2n) \approx  \frac{1}{\pi n} (4 p q) ^n \tag{7}$$
Simetrik yürüyüş, yani $p = q = 1/2$ için:
$$\mathbb{P}_{0,0}(2n) \approx \frac{1}{\pi n} \tag{8}$$
Bu olasılıkların tüm $n$'ler için toplamını alıp $0$ durumunun tekrar edip etmeme şartına bakarsak $(4)$:
$$\sum_{n = 1}^{\infty} \mathbb{P}_{0,0}(2n) =  \sum_{n = 1}^{\infty} \frac{1}{\pi n} = \infty \tag{9}$$
Sonucumuzu denklem $(4)$ ile karşılaştırdığımızda 1 boyutta simetrik rastgele yürüyüşün 'tekrar eden' bir yapıda olduğunu kanıtlamış olduk. $p \not= q$ için ise rastgele yürüşün 'geçici' yapıda olduğunu denklem $(7)$'de $p$ ve $q$'yu yerine koyup tüm $n$'ler üzerinden topladığınızda olasılığın sonlu çıkacağını göstererek kanıtlayabilirsiniz.

2-boyuta geldiğimizde ise, rastgele yürüyüşü sağ/sol yönünün yanında yukarı/aşağı olarak da yapıyor olacağız. Herhangi bir anda belirli bir konumda bulunan bir yürüyüş 1/4 olasılıkla sağa/sola ya da yukarı/aşağı hareket edebiliyor olacak (simetrik durum). Orijinden $(0)$ başlayan bir yürüyüşün aynı sebeplerden ötürü ancak çift sayıda adımda aynı noktaya geri gelebileceği bariz. İki boyutta da aynı noktaya geleceğinden dolayı, sağ/sol yönünde de, yukarı/aşağı yönünde de ayrı ayrı eşit sayıda adım atması gerekiyor. Toplamda $2n$ tane adımda $0$ noktasından başlayıp $0$'a geri gelen tüm adım dizilerinin her birinin olasılığı $\bigg( \frac{1}{4}\bigg)^{2n}$'dir. Peki bu adımlardan toplam kaç tane vardır?

$2n$ adımdan sağa $(n-k)$ tane, sola $(n-k)$ tane; yukarı $k$ tane ve aşağı $k$ tane olmak üzere kaç farklı şekilde adım atılabilir?
$$\binom{2n}{n-k, n-k, k, k} = \frac{(2n)!}{(n-k)! (n-k)! k! k!}$$
O halde oriinden başlayıp $2n$ adımda tekrar orijine geri gelme ihtimalini yazarsak:
\begin{align}
\mathbb{P}_{0,0} (2n) &= \sum_{k=0}^n \binom {2n}{n-k, n-k, k, k} \big( \frac{1}{4} \big)^{2n} \\ \\
&= \sum_{k=0}^n \frac{(2n)!}{(n-k)!^2(k!)^2 \big( \frac{1}{4} \big)^{2n} }\\ \\
&= \frac{(2n)!}{(n!)^2} \sum_{k=0}^n \frac{(n)!}{(n-k)!^2(k!)^2 \big( \frac{1}{4} \big)^{2n} }\\ \\
&= \binom{2n}{n} \sum_{k=0}^n \binom{n}{k}^2 \big(\frac{1}{4}\big)^{2n} = \binom{2n}{n}^2 \big(\frac{1}{4}\big)^{2n} \tag{10}
\end{align}
$(10)$'daki sonuç ifadesi 1-boyutta yürüyüş için bulduğumuz (5) olasılık değerinin  $p = q = 1/2$ için karesi olduğu görülebilir.
$$\mathbb{P}_{0,0}(2n) = \bigg[ \bigg( \frac{1}{2} \bigg)^{2n} \binom{2n}{n} \bigg]^2 \approx \frac{1}{\pi n} \tag{11}$$
Bu olasılığı da tüm $n$ değerleri üzerinden toplarsak:
$$\sum_{n = 1}^{\infty} P_{0,0}(2n) \approx  \frac{1}{\pi} \sum_{n=1}^{\infty} \frac{1}{n} = \infty \tag{12}$$
Olasılıkların toplamı 1-boyutta yürüyüş için olduğu gibi yine sonsuz çıktı. Tekrar etme koşulu $(4)$'e göre 2-boyutta yürümenin de tekrar eden bir yapıda olduğunu göstermiş olduk.

2-boyutta simetrik, eşit olasılıklar için kanıtladığımız tekrarlı olma özelliği olasılıkların simetrik olmadığı durumlar için geçerli değil. Bildiğim kadarıyla sadece sağ/sol ve yukarı/aşağı olasılıkların kendi içinde $1/2$'ye toplandıkları durum için de tekrarlı oluyor fakat diğer durumlar için muhtemelen(emin değilim) geçici özellikte.

Polya teoreminin en vurucu kısmı $d \ge 3$ için söyledikleri. Fakat buna bir sonraki yazıda değineceğiz.

(Solda: Orijinden başlayıp uzun bir süre ilerleyen 2 boyutlu bir rastgele yürüyüş simülasyonu görülüyor. Hareketin boyut arttıkça ne kadar karmaşıklaştığı açıkça görünüyor. Görüldüğü kadarıyla henüz orijine uğramamış. Kaynak: Wolfram)


2-boyutta rastgele hareketi biraz programlama (javascript) kullanarak kolayca kurcalamak isteyenlere şu sayfayı öneririm: p5.js Brownian Motion

Stochastic Processes - II

Notlarımızın ikinci kısmına basit bir toplam 2 duruma sahip basit bir Markov Zinciri'ni inceleyerek başlayalım. Elimizde, 1 ve 2 ile etiketlenmiş iki duruma sahip bir Markov Zinciri olsun; durumlar arasındaki geçişler de aşağıdaki diyagramda gösterildiği gibi verilmiş olsun. Okların üzerinde yazan sayılar geçiş olasılıklarını versin.

Zincirin geçiş matrisi $P$'yi şu şekilde yazabiliriz: $$ \begin{pmatrix} 1- \alpha & \alpha \\ \beta & 1 - \beta \end{pmatrix}$$
$\alpha, \beta \in (0,1)$. Geçiş  matrisini başlangıç olasılık dağılımı ($\lambda_0$) ile çarparak bir sonraki adımlardaki dağılımları elde ediyoruz. $$ P \lambda_0 = \lambda_1 \\ P \lambda_1 = \lambda_2 = P^2 \lambda_0 \\ ... \\ P^n \lambda_0 = \lambda_n $$
$P^n$ matrisinin büyük $n$ değerleri için nasıl davranacağını anlamak için, $P$'yi orthogonalize edip özdeğer (eigenvalue) ve özvektörlerini (eigenvecor) bulalım.
$$\text{det} (P - \nu \mathbb{I}) = \begin{vmatrix} 1- \alpha - \nu & \alpha \\~\\ \beta & 1 - \beta - \nu \end{vmatrix} = 0 \\~\\ (1- \alpha - \nu) (1 - \beta - \nu) -\alpha \beta = 0 \\~\\ \nu_{1,2} = \frac{2 - \alpha - \beta \pm (\alpha + \beta)}{2}$$
Bu denklemlerden iki özdeğeri $\nu_1 = 1$, karşılık gelen özvektörü $\begin{bmatrix} 1 \\ 1 \end{bmatrix} $ ve $\nu_2 = 1- \alpha - \beta$, karşılık gelen özvektörü de $\begin{bmatrix} - \alpha \\ \beta \end{bmatrix}$ olarak elde ederiz.

$\nu_1 = 1$ değeri sonradan göreceğiz ki Markov Zinciri'nin uzun vadede durağan dağılımını veren özdeğer olacak. $$\lambda^* P = 1 \lambda^* \hspace {1cm} (\lambda^* \hspace{0.2cm} \text{durağan dağılım})$$
$P$'nin $n$. kuvvetini alabilmek için orthogonalleştirmeye çalışıyorduk. Bunun için $M$, $M^{-1}$ ve $D$ matrislerini oluşturmamız gerekiyor: $$ P = M D M^{-1}$$
$M$ matrisi kolonları $P$'nin özvektörleri, $D$ matrisi de $P$'nin özdeğerlerini köşegenlerinde bulunduran matris; $M^{-1}$ de $M$ matrisinin tersi.
$$M = \begin{pmatrix} 1 & \alpha \\ 1 & \beta \end{pmatrix} \hspace{0.5cm} D = \begin{pmatrix} 1 &0 \\ 0 & 1- \alpha - \beta \end{pmatrix}\hspace{0.5cm} M^{-1} = \frac{1}{\beta + \alpha} \begin{pmatrix} \beta & \alpha \\ -1 & -1 \end{pmatrix}$$
$$P^n = (M D M^{-1})^n = M D^n M^{-1} = \frac{1}{\alpha + \beta} \begin{pmatrix} 1 & \alpha \\ 1 & \beta \end{pmatrix} \begin{pmatrix} 1^n &0 \\ 0 & (1- \alpha - \beta)^n \end{pmatrix} \begin{pmatrix} \beta & \alpha \\ -1 & -1 \end{pmatrix} \\~\\ \\~\\  P^n= \frac{1}{\alpha + \beta}\begin{pmatrix} \beta + \alpha(1-\alpha-\beta)^n & \alpha - \alpha (1-\alpha-\beta)^n \\ \beta - \beta(1-\alpha-\beta)^n & \alpha +  \beta(1-\alpha-\beta)^n \end{pmatrix} $$
İlgilendiğimiz soru, büyük $n$ değerleri için ($n \to \infty$) $P^n$ matrisinin nasıl davranacağı. $n$'i sonsuza götürdüğümüzde matriste parantez içindeki üslü terimler sıfıra gidecekler çünkü $(1 - \alpha + \beta) \in (-1, 1).$ $$\lim_{n\to\infty} P^n = \begin{pmatrix} \frac{\beta}{\alpha+\beta} & \frac{\alpha}{\alpha+\beta}  \\ \frac{\beta}{\alpha+\beta}  & \frac{\alpha}{\alpha+\beta}  \end{pmatrix} = P^{\infty}$$
Bu limite bakarak belirli bir zaman geçtikten sonra, durumlar arasındaki geçişlerin dengeye oturacağını ve geçiş olasılıklarının sabitleneceğini görüyoruz. Bu durum $n \to \infty$ için Markov zincirinin bir durağan dağılıma erişiyor olmasıyla da ilişkili. İleriki bölümlerde buna da detaylıca değineceğiz.

Discrete Stochastic Processes - I

Matematik Köyü'nde Kış döneminde takip ettiğim Arif Mardin hocanın 'Discrete Stochastic Processes' dersinin notlarnı gün gün tutmaya çalışıyorum. Elimdeki notlardan kendi anladığım şekliyle burada da bir seri şeklinde kısa kısa yazmayı planlıyorum. İlk yazı ile başlayalım o halde.

İlk derse 'Basit Rastgele Yürüyüş' (Simple Random Walk) ile başladık ve sonrasında onun Markov özelliklerinden yola çıkarak Markov Zincir'lerini inceledik. Rastgele yürüyüşü elindeki bir miktar parası olup, kumar masasında her oyunda $p$ olasılıkla parasını $1$ arttıran, $1-p$ olasılıkla da 1 azaltan bir kumarbazın durumu için değerlendirebiliriz. Bu durumda $n$ oyun/adım sonrasında kumarbazın elindeki parayı şu şekilde yazabiliriz: $$S_n = S_0 + \sum_{i = 1}^n X_i$$ Burada $S_0$ başlangıçtaki para ve $X_i$'ler de her oyunda kazanıp kaybettiğimiz parayı gösteren rassal değişken. $X_i$ rassal değişkeni yalnızca $+1$ ve $-1$ değerleri alabilen bir 'Bernouilli rassal değişkeni'. $X_0, X_1, ... , X_n$ serisi $p$ olasılıkla $+1$, $1-p$ olasılıkla da $-1$ değerleri alabilen Bernoulli rassal değişkenlerinden oluşan bir dizidir.

Bu tip basit bir kurala dayalı olarak kurgulanmış bu oyuna dair birçok ilginç  soru sorulabilir. Örneğin:

- $n$ oyun sonrasında ne kadar kazanmayı bekleriz?
- Kazancımızın ya da kaybımızın yeteri kadar oynadığımızda sonsuz olmasını bekler miyiz? Hangi koşulda böyle bir durum oluşur?
- Herhangi bir zamanda cebimizdeki bir para değerine sonra tekrar dönmeyi bekler miyiz? Kaç kere döneriz? Bu durum tüm para değerleri için gerçekleşir mi?

Rastgele yürüyüş problemi bunlar gibi birbirinden ilginç ve çoğu zaman çözümü epey uğraştırıcı birçok probleme kaynaklık yapıyor. İlerleyen zamanda daha detaylıca inceleyeceğiz. Birkaç özelliğine göz atalım şimdi.

Lemma 1: Basit rastgele yürüyüş uzayda homojendir. Yani: $$\mathbb{P}(S_n = j | S_0 = a) = \mathbb{P}(S_ n = j +b | S_0 = a+b)$$
Kanıt: $ \mathbb{P}(S_n = j  |  S_0 = a) =  \mathbb{P}( \sum_i^n X_i = j - a) = \mathbb{P}(S_n = j +b | S_0 = a + b)$

Lemma 2: Basit rastgele yürüyüş zamanda homojendir. Yani: $$\mathbb{P}(S_n = j | S_0 = a) =  \mathbb{P}(S_{n+m} = j | S_m= a) $$
Kanıt: $ \mathbb{P}(S_n = j | S_0 = a) = \mathbb{P}( \sum_i^n X_i = j - a) =  \mathbb{P}( \sum_{i = m+1}^{m+n} X_i = j - a) = \mathbb{P}(S_{n+m}  = j | S_m = a)$

Lemma 3 (Markov Özelliği): Rastgele yürüyüşün belirli bir andan sonraki adımları sadece bulunduğu adımdan bir önceki adımına bağlıdır, ondan öncekilerden tamamen bağımsızdır. $$\mathbb{P} = (S_{m+n} = j | S_0,S_1, ..., S_m) = \mathbb{P}(S_{m+n} = j | S_m)$$ Yukarıdaki şartlı olasılık ifadesindeki $S_0,S_1, ..., S_m$, 0. adımda $S_0$, 1. adımdaki $S_1$, $...$ m. adımda $S_m$ olayının gerçekleştiğini gösteriyor. Rastgele yürüyüş'ün bu özelliği ona birçok ilginç davranış kazandırıyor. Bunları anlayabilmek için öncelikle Markov Zincir'lerine kısaca bir göz atalım.

MARKOV ZİNCİRLERİ

Belirli bir sayılabilir (countable) durumu barındıran bir 'durum uzayı' $\mathcal{S}$ üzerinde tanımlı, bu durumları $n$ ile gösterilen adımlarda dolaşan bir proses olarak tanımlayabiliriz.

$\mathbb{X} = (X_n, n \in \mathbb{N}$, $\mathcal{S}$'den değerler alan birer rassal değişkenler dizisi olsun.

Tanım: $\mathbb{X}$ dizisi tüm $\forall n \in \mathbb{N}$ ve $\forall i_0, i_1, ..., i_n \in \mathcal{S}$ için Markov özelliği $$ \mathbb{P} (X_{n+1} = i_{n+1} | X_0 = i_0, X_1= i_1, ... , X_n = i_n) = \mathbb{P}(X_{n+1} = i_{n+1} | X_n = i_n)$$ sağlıyorsa Markov Zinciri (Markov Chain - MC) olarak adlandırılır.

Markov Zinciri eğer $\forall i, j \in \mathcal{S}$ için $\mathbb{P} ( X_{n+1} = j|X_n = 1)$ $n$'e bağlı değilse homojen olarak adlandırılır.

Olasılıkları hesaplamak için iki şeyi bilmemiz gerekir:

a) Geçiş matrisi (Transition Matrix) $P = (p_{ij} \hspace{0.5cm} i,j \in \mathcal{S})$ aşağıdaki gibi verilir: $$ P_{ij} = \mathbb{P}(X_1 = j| X_0 = i)$$
b) Başlangıç olasılık dağılımı $\lambda = (\lambda_i, i \in \mathcal{S})$

Homojenlik varsayımı gereği şunu yazabiliriz: $$\mathbb{P} (X_{n+1} = j | X_n  = i) = P_{ij}$$

Önermeler:
a)$\lambda$ vektörü bir olasılık dağılımıdır. $$ \lambda_i \geqslant 0 \hspace{0.5cm} \forall i \in \mathcal{S} \hspace{0.3cm} \text{ve} \sum_{i \in \mathcal{S}}\lambda_i = 1$$
b) $P = (p_{ij}\hspace{0.3cm}; i,j \in \mathcal{S})$ matrisi bir 'stochastic matris'tir.

   i) $P_{ij} \geqslant 0 \forall i,j \in \mathcal{S}$

   ii)$\sum_{j \in \mathcal{S}} P_{ij} = 1 \forall i \in \mathcal{S} $ ($P$'nin  satır toplamları $1$'e eşit.

Önermelerin kanıtları:
a) $\lambda_i$'ler bir olasılık olduğundan sıfırdan büyük eşit olmalılar. $$\sum_{i \in \mathcal{S}} \lambda_i = \sum_{i \in \mathcal{S} } \mathbb{P} (X_0 = i) = 1 \hspace {1.5cm} \square$$
b)$P_{ij}$'ler olasılık değerleri olduğundan dolayı sıfırdan büyük eşit olmalılar. $$ \sum_{j \in \mathcal{S}}P_{i,j} = \sum_{i \in \mathcal{S}}\mathbb{P} (X_1 = j |X_0 = i) = \mathbb{P}(X_1 \in \mathcal{S} | X_0 = i) = 1 \hspace{1.5cm} \square$$

Haftanın Makalesi (II): "Statistical Modeling: The Two Cultures"

Bu hafta istatistik ve veri analizi üzerinden iki bakış açısını inceleyen bir makale 'Haftanın Makalesi'nin konusu. Makale için, yazarının bir süre akademide istatistikle uğraştıktan sonra ara verip on yılın üzerinde dışarıda 'gerçek dünya problemleri' üzerine kafa yorup danışmanlık yaptığı, ardından bölüme geri döndüğünde karşılaştığı duruma bir tepki niteliği yazdığı bir yazı demek daha doğru olur belki de. 2001 gibi yakın bir zamanda yayınlandığında belki dönemin istatistikçileri ve belki alternatif olarak bilgisayar bilimcilerini ilgilendiren bir konuya değiniyordu ama günümüzdeki gelişmeleri göz önüne aldığımızda artık hemen hemen tüm bilim alanlarının dert ettiği bir konuya parmak basıyor: model'den yola çıkarak mı yoksa sadece veriden yola çıkarak mı analiz yapacağız?

Makale, başlığında görüldüğü üzere iki tip istatistiksel modelleme kültürü tartışması üzerinden ilerliyor. Birincisi 'Veri Modelleme' (Data Modelling) kültürü. Bu kültürdeki temel yöntem, elimizdeki verinin belirli parametrelere, belirleyici değişkenlere ve rastgele hatayı içeren bir modelden elde edilmiş bağımsız örnekler olduğunu varsayarak ve bu modelin belirli bir model ailesinden olduğu bilgisiyle başlayıp bir takım sonuçlar elde etmek; bu sonuçlardan da bu veriyi oluşturan doğadaki sürecin mekanizmasına dair fikir yürütme. Örneğin veriyi üreten sürecin doğrusal olduğunu varsayan doğrusal ya da lojistik regresyon gibi... İkincisi 'Algoritmik Modelleme' (Algorithmic Modelling) kültürü. Bunda da doğada bir takım girdilere karşı elde edilen çıktıların üretilme mekanizmalarının oldukça karmaşık ve çoğu zaman bilinemeyecek kara kutular olduğunu varsayıp, probleme algoritma perspektifinden yaklaşmak temel yöntem. Çıktıları en iyi üreten ve çalışma mekanizmaları çoğu zaman net bir şekilde yorumlanamayan tipte modelleme şeklinde düşünülebilir. Örneğin günümüzde sıkça duyduğumuz 'yapay sinir ağları' ya da 'karar ağaçları' tipi yapay öğrenme (machine learning) yöntemleri gibi...

Yazar ilk tipten modellemenin çoğu zaman doğadaki mekanizmalarla alakasız ve sonuçları kuşkulu çıkarımlara neden olduğunu ve bu yaklaşımının görüntü işleme, ses tanıma, doğrusal olmayan süreçlerin verileri gibi alanlar için oldukça eksik kaldığını dile getiriyor. Bunun için danışmanlık yaptığı işlerde uğraştığı üç örnek problem üzerinden 'algoritmik modelleme' ile nasıl yaklaşımlar getirdiğini ve bu yaklaşımların standart veri modelleme yaklaşımlarına göre açık ara farklı olduğunu gösteriyor.

Yazarın 'algoritmik modelleme' dediği kültürün tekniklerini çeşitli 'yapay öğrenme' yönemleri oluşturuyor. Günümüzde bu yöntemler elimizin altındaki bilgisayarların işlem gücünün müthiş artışı, özellikle yapay sinir ağlarını eğitmek için oldukça efektif yöntemlerin geliştirilmiş olması ve birçok kanalda 'büyük veri' akışı sebebiyle neredeyse karşı konulamaz bir güce erişmiş durumdalar. Fizik gibi 'veri modelleme' kültürü üzerine inşa edilmiş ve üretilen modelin Ockham'ın Usturası üstrubu gereği yorumlanabilme ölçütü üzerinden değerlendirildiği bir alanda dahi yavaş yavaş kendisine uygulama alanları bulabiliyor. (Durumun geldiği noktayı daha iyi görmek adına geçen sene Science'ın yayınladığı kapak konusu aydınlatıcı olabilir. ) Kısacası yazarın yaklaşın 15 yıl önce vardığı sonuçların en azından şu anda fazlasıyla doğrulandığı ve mevcut "kültür trendini" belirlediği açıkça görülüyor. Elbette bu tip yöntemler oldukça yeniler ve bir  takım darboğazlara da sahipler; 'algoritmik kültürün' hızlı yükselişiyle birlikte zaman hangi kültürün baskın çıkacağını gösterecek.

Makaleyi okumak için: Statistical Modelling: Two Cultures (Statist. Sci. Volume 16, Issue 3 (2001), 199-231.)