Probability (Part 1)

Discrete random variable : ตัวแปรที่ได้มาโดยการนับเอา จากการสุ่ม มีลักษณะที่แยกออกจากกันได้

• จำนวนครั้งในการออกหัว เวลาโยนเหรียญ
• จำนวนลูกบอลสีฟ้าในขวดโหล (มีลูกบอลหลายสีในขวดโหล)

แต่ไม่ใช่ทุกค่าที่สามารถนับได้ ! บางทีก็ต้องวัดเอา

Continuous random variable : ตัวแปรที่ได้มาโดยการวัด (ค่า ขนาด) ที่สามารถแยกออกเป็นช่วงๆได้ มีเรื่องของความละเอียดไปเกี่ยวข้องกับข้อมูล

• ส่วนสูงของนักเรียนในห้อง
• เวลาที่ใช้ในการเดินทางจากที่หนึ่งไปอีกที่หนึ่ง

Probability mass function : (PMF) ใข้กับ discrete variable. โดยปกติแล้วจะใช้สัญลักษณ์   P และมักใส่ตัวแปรไว้ในฟังก์ชั่นนี้ นั่นก็คือความน่าจะเป็นที่จะเกิดขึ้นสำหรับตัวแปรนั้นๆ เช่น P(x); ซึ่ง P(x) ก็จะเป็นคนละตัวกับ P(y)

• P(x) = 1 หมายความว่า โอกาสทีจะสุ่มได้ x คือ 100%
• P(x) = 0 หมายความว่า โอกาสทีจะสุ่มได้ x คือไม่มีทางเกิดขึ้นเลย
• P(x) สามารถเขียนได้อีกแบบว่า P(\text{x} = x)
• x \sim P(\text{x}) ก็คือความหมายเดียวกัน เหมือนข้อข้างบน เพียงแค่เอาตัวแปรมาก่อน ไม่ได้หมายความว่าเป็นค่าประมาณ

Joint Probability: ความน่าจะเป็นสำหรับตัวแปรหลายตัว P( \text{x} = x, \text{y} = y) หรือสามารถเขียนได้อีกรูปดังนี้ P( x, y)

PMF ต้องมีคุณสมบัติดังนี้

• โดเมนของ P ต้องประกอบไปด้วยค่าทุกตัวที่มีอยู่ใน \text{x}
• \forall x \in \text{x}, 0 \leq P(x) \leq 1. 0 คือไม่มีทางเกิดขึ้น และไม่มีอะไรที่จะน้อยไปกว่านี้ได้อีกแล้ว ส่วน 1 คือการันตีเลยว่าเกิดขึ้นแน่นอน ไม่มีทางเป็นอื่น ไม่มีอะไรจะมากไปกว่า 1 อีกแล้ว
• \sum_{x \in \text{x}}P(x) = 1. คุณสมบัตินี้เรียกว่า normalized ถ้าไม่มีคุณสบบัตินี้ เราอาจมีปัญหาเรื่องผลรวมของ P(x) ที่มากกว่า 1

ยกตัวอย่างความน่าจะเป็นของ x ในเซตที่มี k ตัวอย่าง. เราสามารถทำให้ x มีความน่าจะเป็นเท่าๆกับตัวเลือกอื่นๆอย่างแบบสม่ำเสมอ ( uniform distribution ) โดยการทำให้ Probability mass function ให้เป็น

P(\text{x} = x_{i}) = \dfrac{1}{k}

สำหรับทุกตัวของ i. และความน่าจะเป็นนี้ ถ้านับความน่าจะเป็นของทุกตัว ก็จะเข้ากับคุณสมบัติของ PMF ในข้อที่ว่า

\sum_{i}P(\text{x} = x_{i}) = \sum_{i}\frac{1}{k}=\frac{k}{k} = 1

และกล่าวได้ว่าการกระจายนี้เป็น normalized.

Probability Density Functions: (PDF) ใช้กับ continuous random variables. ใช้ p เป็นชื่อสูตรสมการ มีคุณสมบัติดังนี้

• โดเมนของ p ต้องประกอบไปด้วยค่าทุกตัวที่มีอยู่ใน \text{x}
• \forall x \in \text{x}, p(x) \geq 0 . ตรงนี้ไม่จำเป็นที่ p(x) \leq 1
• \int p(x)dx = 1

p(x) ไม่ได้บอกค่าความน่าจะเป็นของ x โดยตรง แต่เป็ํนการบอกความน่าจะเป็นเพียงช่วงหนึ่งของ x. ซึ่งช่วงนั้นมีขนาดเพียง \delta x เท่านั้น เขียนออกมาได้เป็น p(x)dx ถ้าเราจะหา probability mass ในช่วงใดๆช่วงหนึ่ง หรือจะพูดว่าเราต้องการหาความน่าจะเป็นของ x ในเซต \mathbb{S} ก็สามารถทำได้โดยการอินทริเกรต p(x) จากเซตนั้นๆ. ถ้า x อยู่ในช่วง [a,b] ก็จะเขียนได้ว่า \int_{[a,b]}p(x)dx

ยกตัวอย่างของ pdf.

จากกราฟ อาจเล่าเป็นเรื่องราวได้ว่า เรามีนัดคุยกับลูกค้า บอกเขาว่าเราสามารถรอได้แค่ 20 นาที แต่เราไปไม่ทัน เลยไปรอเอาตั้งแต่นาทีที่ 5 ไปจนถึง 20 เมื่อครบ 20 นาทีแล้วเราก็ออกจากร้าน (พอออกจากร้านแล้ว ความน่าจะเป็น = 0). โจทย์คือ ความน่าจะเป็นที่เราจะได้คุยกับลูกค้าเป็นเท่าใด ?

อย่างแรกเลย พื้นที่ทั้งหมด ตั้งแต่ 0 ถึง 20 นาที ต้องมีค่าเท่ากับ 1 ตามสูตร \int p(x)dx = 1 แต่ p(x) ในที่นี้เป็นค่าคงที่ c ดังนั้น ความน่าจะเป็น สำหรับนาทีที่ 5 ถึง 20 ก็จะมีค่าเท่ากับ

\begin{aligned}\int_{0}^{20}p(x)dx &=1 \\ \int_{0}^{20}c dx &=1 \\ c(20 - 0)&=1 \\ c&=\frac{1}{20}\\ c &=0.05\end{aligned}

f(x) = c = 0.05

และนั่นก็คือถ้าเราจะหาความน่าจะเป็นตั้งแต่นาทีที่ 5 เป็นต้นไป ก็จะได้

P(X \gt 5) = (20 - 5) \times 0.05 = 0.75

เพื่อไม่เป็นการหลุด ว่าพื้นที่สีเขียวจะไม่ไปโผล่ที่ไหนอีกนอกจาก 0 กับ 20 เราจะเขียนได้ว่า u(x;a,b) = 0 สำหรับ x \notin [a,b]. แต่ในเคสของ x \in [a,b] ก็จะได้ว่า u(x;a,b) = \frac{1}{b-a} และยังอิทิเกรตทั้งหมดได้ 1 อีกด้วย. ทั้งหมดนี้สามารถเขียนใหม่ได้เป็น \text{x} \sim U(a,b) คือเขียนแบบเอาตัวแปรมาก่อน

Marginal Distributions: มีสองแบบ แบบที่เป็นตารางกับแบบที่เป็นกราฟ.
ถ้าข้อมูลเป็นแบบ discrete ก็จะถูกเก็บไว้เป็นตาราง เช่น ถ้าเราเก็บข้อมูลเวลาที่นักเรียนใช้ไปกับการอ่านหนังสือ เป็นนาที และคะแนนที่นักเรียนได้จากผลสอบ สามารถบันทึกได้ดังนี้

% Correct \ Time (minutes)	0 - 20	21 - 40	41 - 60	> 60	Total
80- 100	0%	2%	8%	10%	20%
60- 79	0%	10%	15%	5%	30%
40- 59	1%	2%	16%	16%	35%
20- 39	5%	1%	4%	0%	10%
0- 19	1%	0%	0%	4%	5%
Total	7%	15%	43%	35%	100%

ถ้าถามว่า มีนักเรียนกี่คน ที่ใช้เวลาอ่านหนังสือประมาณ 41 - 60 นาที แล้วได้คะแนนมากกว่า 80% ขึ้นไป ก็สามารบอกได้ว่ามีทั้งหมด 8% ตามตาราง การดูแบบนี้เรียกว่า Joint Distribution. ส่วนในคอลัมน์ Total (ทั้งขอบขวาสุด และขอบล่างสุด)เขียนไว้ที่ขอบๆ หรือเขียนไว้ที่ margin ของกระดาษ เลยเรียกว่า Marginal Distribution (อันนี้ไม่ใช่มุขนะ ). ยกตัวอย่างการอ่านเช่น 35% ของนักเรียนใช้เวลาอ่านหนังสือมากกว่าหนึ่งชั่วโมง. 10% ได้คะแนนระหว่าง 20-39 คะแนน เขียนเป็นสูตรได้ว่า

\forall x \in \text{x}, P(\text{x} = x) = \sum_{y}P(\text{x} = x, \text{y} = y)

\forall y \in \text{y}, P(\text{y} = y) = \sum_{x}P(\text{x} = x, \text{y} = y)

แต่ถ้าข้อมูลเป็นแบบ continuous ก็จะถูกพร๊อตเป็นกราฟ

สำหรับ continuous variable แล้วก็เปลียนจาก Sum ไปเป็นการอินทิเกรตดังนี้

p(x) = \int p(x,y)dy

Conditional Probability: ถ้าเราสนใจเหตุการณ์ Y ที่มีส่วนเกี่ยวข้องกับเหตุการณ์ X ที่เกิดขึ้น  นี่เรียกว่า conditional probability.

ยกตัวอย่างถ้าเรามีลูกเต๋ามาตรฐาน 2 ลูก (ยังไม่ใช่ Conditional Probability) แล้ถามว่า โอกาสของการโยนลูกเต๋าแล้วได้ผลออกมาเป็นเลข 1 ทั้งสองลูก มีค่าเป็นเท่าใด?
ก็สามารถอธิบายได้ว่า เหตุการณ์ทั้งหมดเกิดได้ 36 รูปแบบ แต่เหตุการณ์ที่จะออก 1 กับ 1 มี 1 ใน 36 นั่นก็คือ คำตอบของคำถามนี้คือ 1/36.

คราวนี้ถามใหม่ โอกาสจะเกิด 1 กับ 1 ม่ีค่าเท่าใด ถ้าให้เหตุการณ์เหล่านั้นเกิดจาก ผลของลูกเต๋าที่ทอยออกมาแล้วได้เลขเหมือนกัน ?
ลูกเต๋าที่ทอยออกมาแล้วได้เลขเหมือนกันก็คือ 1,1 - 2,2 - 3,3 -.... 6,6 ซึ่งก็มีทั้งหมด 6 แบบ โอกาสที่จะเกิด 1 กับ 1 ก็คือ 1/6

เราเขียนความน่าจะเป็นของ \text{y} = y ถ้ากำหนดให้ \text{x} = x  (เหตุการณ์ของ x ว่าคือเหตุการณ์อะไร) จะเขียนได้ว่า P(y = y | x = x). เขียนเป็นสูตรได้ดังนี้

p(\text{y}= y| \text{x} = x) = \dfrac{P(\text{y} = y , \text{x} = x)}{P(\text{x} = x)}

จากคอมมอนเซนต์ เหตุการณ์ y จะเกิดขึ้นไม่ได้เลย ถ้าไม่มีเหตุการณ์ x เกิดขึ้นก่อน. ก็จะไปตรงกับสูตรที่ว่า ถ้ามีมีเหตุการณ์ x เกิดขึ้น (มีค่าเท่ากับ 0) สมการก็ไม่มีความหมาย เหมือนกับการหารด้วย P(\text{x} = x) = 0 ก็หาค่าไม่ได้เช่นกัน

ตัวอย่างที่ 1 : ถ้ามีการจับไพ่สองใบจากสำรับ (มี 52 ใบ) จับครั้งแรกได้หัวใจมาหนึ่งใบ ณ ตอนนี้สถาณะของสถานการณ์เปลี่ยนไปจากเดิมแล้ว คือไพ่ในกองจะเหลือ 51 ใบ และมีหัวใจเหลืออยู่ในสำรับ 12 ใบ. ต่อมาเราต้องการที่จะจับให้ได้หัวใจอีกใบหนึ่งจากที่เหลือในกองไพ่ conditional probability สำหรับการจับครั้งทีสองสามารถเขียนได้ว่า

P(Draw \space second \space heart \space | \space First \space card \space a \space heart) = \frac{12}{51}

ตัวอย่างที่ 2 : มีนักเรียนคนหนึ่งสมัครเข้าเรียน เขามีโอกาสที่จะได้เข้า(สอบติด)อยู่ที่ 80% . ทางมหาวิทยาลัยสามรถจัดเตรียมหอพักให้ได้แค่ 60% ของนักเรียนทั้งหมดที่สามารถสอบเข้าได้ โอกาสที่นักเรียนคนนี้จะสามารถสอบติด และได้หอพัก เขียนได้ว่า

P(Dormitory \space Housing | Accepted) = \frac{P(Dormitory \space Housing \space and \space Accepted )}{P(Accepted)}

0.60 = \frac{P(Dormitory \space Housing \space and \space Accepted )}{0.80}

P(Dormitory \space Housing \space and \space Accepted) = (0.60) \times (0.80) = 0.48

Chain Rule ของ Conditional Probability. : ทุกๆ Joint probability ที่มีหลายตัวแปร สามารถเขียนในรูปของ Conditional ได้ ลองพิจารณา P(A,B,C) ดังต่อไปนี้

\begin{aligned}P(A|B)&=\frac{P(A,B)}{P(B)}\\ \text{Let}\space B&=B,C \\P(A|B, C)&=\frac{P(A,B,C)}{P(B,C)}\\P(A|B, C)P(B,C)&=P(A,B,C) \\\color{green}P(B|C)&=\color{green}\frac{P(B,C)}{P(C)}\\\color{green}P(B|C)P(C)&=\color{green}P(B,C)\\\therefore \space P(A,B,C)&=P(A|B, C)P(B|C)P(C)\end{aligned}

เขียนให้อยู่ในรูปทั่วไปได้ว่า

P(\text{A}_{n},...,\text{A}_{1}) = P (A_{n}|A_{n-1},...,A_{1}).P (A_{n-1},...,A_{1})

ถ้ากระจายออกไปจนครบ ก็จะได้

P \Bigg( \displaystyle\bigcap_{k=1}^{n} A_k \Bigg) = \prod_{k=1}^nP\Bigg( A_k \Bigg | \bigcap_{j=1}^{k-1}A_j \Bigg)

ถ้ามี 4 ตัวแปร การใช้ Chain Rule ก็จะได้ดังต่อไปนี้

P(A_4,A_3,A_2,A_1) = P(A_4|A_3,A_2,A_1).P(A_3|A_2,A_1).P(A_2|A_1).P(A_1)

Independence :
ถ้าสองเหตุการณ์ไม่มีผลต่อกันและกัน สองเหตุการณ์นั้นเรียกได้ว่า Independence. อย่างเช่น ทอยลูกเต๋า 1 ลูก ครั้งแรก ได้เลข 5 ซึ่งเลข 5 นี้มีโอกาสเกิดขึ้นเป็น 1/6. คราวนี้มาลองทอยอีกครั้ง แล้วถามว่า โอกาสที่จะได้เลข 5 อีกรอบ มีเท่าไหร่ ? คำตอบก็คือ 1/6 เหมือนเดิม. คือเหตุการณ์แรก (การทอยครั้งแรก) ไม่มีผลกระทบต่อความน่าจะเป็นของการทอยครั้งที่สอง (เหตุการณ์อื่น) ซึ่งก็ยังได้ค่าความน่าจะเป็นเหมือนเดิม ไม่มีการเปลี่ยนแปลงใดๆทั้งสิ้น. ไม่เหมือนกับการสุ่มไพ่จากสำรับสองครั้ง(โดยไม่เอาใบแรกที่สุ่มออกมา กลับเข้าไปใส่ไว้ในกองอีก) ซึ่งทำให้ความน่าจะเป็นครั้งแรก กับครั้งที่สอง มีค่าไม่เท่ากัน แบบนี้ไม่เรียกว่า Independence.

ถ้าเหตุการณ์ A ไม่มีผลกระทบต่อเหตุการณ์ B ดังนั้น

P(A|B) = P(A)

เราสามารถใช้สมการนี้ไปเช็กได้ว่า เหตุการณ์สองอย่างมัน independence กันหรือไม่ ถ้าเหตุการณ์สองเหตุการนั้นเป็นแบบ P(A|B) = P(A) ดังนั้น A กับ B ก็ไม่มีส่วนเกี่ยวข้องซึ่งกันและกันแน่นอน

วิธีการคำนวณหาค่าความน่าจะเป็นสำหรับเหตุการณ์สองอย่างที่ไม่เกี่ยวข้องกัน จะได้

P(A|B) = \dfrac{P(A \cap B)}{P(B)}

ถ้า A กับ B มีความสัมพันธ์กันแบบ independent ดังนั้น P(A|B) = P(A) ซึ่งก็คือ

P(A) = \dfrac{P(A \cap B)}{P(B)}

หรือ

P(A \cap B) = P(A) \times P(B)

ถ้า A และ B เป็น independence สามารถเขียนเป็นสัญลักษณ์ได้ A \perp B

Conditional Independence:
ถ้า R กับ B มีความสัมพันธ์กันแบบ independence และมี Condition Y เข้ามาเกี่ยวข้อง แต่การมาของ Y พอนำไปจับกับ R แล้วไม่ได้บอกข้อมูลอะไรเกี่ยวกับ B เลย. และในทางตรงข้าม พอเอา Y ไปจับกับ B ก็ไม่ได้บอกความน่าจะเป็นเกี่ยวกับ R เช่นกัน เราเรียกสถานการณ์แบบนี้ว่า Conditional Independence. พูดอีกแบบคือ P(R|Y) ไม่ได้มีส่วนให้ P(B|Y) มีการเปลี่ยนแปลงแต่อย่างใด ยกตัวอย่างดังภาพข้างล่าง

สองรูปนี้คือตัวอย่างของ Conditional independence . แต่ละช่องคือความน่าจะเป็นของสีนั้นๆ R = Red , B = Blue และ Y = Yellow. สีม่วงคือความน่าจะเป็นที่เป็นได้ทั้งสีแดง และน้ำเงิน (เหมือนมีสองชั้นทับกันอยู่). จากรูปทั้งสอง R กับ B เป็น conditional independence ที่เกี่ยวเนื่องกับ Y เขียนได้ว่า Pr(R \cap B | Y)  หมายความว่า (จากรูปทางขวา) ถ้าเราบอกว่า มีโอกาสการเกิดของสีม่วง (ฟ้ากับแดง พร้อมกัน) ภายใต้เหตุการณ์สีเหลือง มีค่าเท่ากับ 2 / 12. ก็แสดงว่าโอกาสของการเกิดสีฟ้าภายใต้เหตุการณ์สีเหลือง กับ(คูณ) เหตุการณ์ของสีแดงที่เกิดภายใต้สีเหลือง ก็ต้องมีค่าเท่ากับ 2 / 12 เช่นกัน

P(R \cap B | Y) = \dfrac{P(R\space\cap \space B \space \cap \space Y)}{P(Y)}

P(R \cap B | Y) = \LARGE{\frac{ \frac{2}{49} }{ \frac{12}{49}}} \large = \frac{2}{49} . \frac{49}{12} = \frac{2}{\cancel{49}} . \frac{\cancel{49}}{12} = \frac{1}{6}

แต่เรารู้ว่าถ้า Pr(R \cap B | Y) เป็น conditional independence ดังนัั้นการหา Pr(R | Y) กับ Pr(B | Y) ก็สามารถแยกกันได้

P(R \cap B | Y) = P(R | Y).P(B | Y)

\large = \frac{4}{12}.\frac{6}{12} = \frac{\cancel{4}^1}{\cancel{12}^2}.\frac{\cancel{6}^1}{\cancel{12}^3} = \frac{1}{6}

เขียนในรูปทั่วไปได้ดังนี้

\forall x\in \text{x}, y \in \text{y}, z \in \text{z}, p(\text{x} = x , \text{y} = y | \text{z} = z ) = p(\text{x} = x | \text{z} = z)p(\text{y} = y | \text{z} = z)

References:

https://ocw.mit.edu/courses/sloan-school-of-management/15-063-communicating-with-data-summer-2003/lecture-notes/lecture6.pdf
http://www.henry.k12.ga.us/ugh/apstat/chapternotes/7supplement.html
https://www.youtube.com/watch?v=JGeTcRfKgBo
https://en.wikipedia.org/wiki/Conditional_independence
https://www.khanacademy.org/math/ap-statistics/analyzing-categorical-ap/distributions-two-way-tables/v/marginal-distribution-and-conditional-distribution