Probability (Part 2)
Expectation, Variance, and Covariance.
Slot Machine คือเครื่องเล่นการพนันชนิดหนึ่ง กติกาคือกดปุ่มเล่น แล้วนั่งลุ้นดูที่หน้าจอว่าได้รูปภาพอะไรบ้าง ถ้าได้ครบตามรูปแบบที่ตู้บอก ก็จะได้รางวัลตามนั้น เช่นตู้แรกจากทางซ้ายมือ ถ้าได้เลข 7 สามตัว ก็จะได้ 60 เท่า ของเงินที่ลงไปในตานั้นๆ เช่นถ้าเล่นเกมส์ละ 10$ แล้วกดได้ 777 ก็จะได้ไปเลย 600$ หรือประมาณ 18,000 กว่าบาทกลมๆ น่าสนใจไหม? แต่ก่อนอื่น มีคำถามน่าคิดอยู่สองข้อคือ
- แต่ละตาที่ลงพนันไป โอกาสที่จะได้เงินหรือเสียเงินเป็นเท่าไหร่โดยเฉลี่ย ? (Expectation)
- โอกาสที่จะแจ็คพอตแล้วได้เงินหลายร้อยเท่านั้น มีความเป็นไปได้มากน้อยขนาดไหน ? (Variance)
โพสนี้เราจะไปค้นหาความจริงเบื้องหลังของเรื่องพวกนี้กัน. แต่การที่จะเอากฏพวกนี้มาคำนวนหาค่าจริงๆ เราต้องอาศัยข้อมูลที่มากกว่าที่เห็นโชว์บนหน้าจอของแต่ละตู้ ซึ่งคนผลิตไม่ได้บอกเอาไว้ ซึ่งเขาก็ไม่อยากให้เรารู้อยู่แล้ว อย่างไรก็ตาม ในที่นี้เราจะใช้ค่าสมมุติค่าความน่าจะเป็นที่คิดว่าไม่น่าห่างจากความเป็นจริงไปมากนัก กฏที่เราตั้งขึ้นมานี้จะได้ว่า แต่ละเกมส์มีการลงเงินไว้ที่ 1$, ถ้าได้เพชร 3 อันพร้อมกัน ก็จะได้ $20. ถ้าได้เพชร 2 อัน แล้วได้เชอร์รี่ 1 อัน (ลำดับไม่สำคัญ) ก็จะได้ $15 ดังภาพ
= $20 
(สลับตำแหน่งกันได้ทุกตัว) = $15 = $10 
= $5 ซึ่งแต่ละความน่าเป็นของแต่ละรูปสรุปได้ในตารางข้างล่าง
| รูปภาพ | | | |  |
|---|---|---|---|---|
| ความน่าจะเป็น | 0.1 | 0.2 | 0.2 | 0.5 |
พอกดเล่นแต่ละเกมปุ๊ปก็รูปภาพก็จะหมุนประมาณนี้
แต่ละช่องไม่มีความเกี่ยวเนื่องกัน หมายถึงถ้าช่องแรกได้เลมอน ช่องที่สองก็มีโอกาสเกิดเลมอนที่ 20% เหมือนกับช่องแรก เราเรียกความสัมพันธ์แบบนี้ว่า Conditional Indenpendent
ความน่าจะเป็นของการเกิดเหตุการณ์
ให้ d = diamond, เพชร x 3 คิดได้ดังนี้
\begin{aligned}P(d,d,d) &=P(d)\times P(d)\times P(d) \\ &=0.1\times 0.1\times 0.1 \\ \space &= 0.001\end{aligned}
ให้ c = cherry, เพชร 2 อัน เชอร์รี่ 1 อันแบบไม่สนใจตำแหน่ง สามารถเขียนได้ดังนี้
\begin{aligned}\space &=P(d,d,c)\times P(d,c,d)\times P(c,d,d) \\\space &=(0.1 \times 0.1 \times 0.2) + (0.1 \times 0.2 \times 0.1) + (0.2 \times 0.1 \times 0.1) \\\space &=0.002 + 0.002+ 0.002 \\\space &=0.006\end{aligned}
และความน่าจะเป็นที่ไม่ได้อะไรเลย
\begin{aligned} P(losing)&=1 - P(d,d,d) - P(d,d,c (any\space order)) - P(c,c,c) - P(l,l,l) \\ \space &= 1 - 0.001 - 0.006 - 0.008 - 0.008 \\ \space &= 0.977 \end{aligned}
สรุปออกมาเป็นตารางก็จะได้
| Combination | None | Lemons | Cherries | Diamond/cherry | Diamond |
|---|---|---|---|---|---|
| Probability | 0.977 | 0.008 | 0.008 | 0.006 | 0.001 |
คราวนี้เราจะลองมาคิดจากเงิน 1$ ในแต่ละเกมส์ทีเล่นไป
| Combination | None | Lemons | Cherries | Diamond/cherry | Diamond |
|---|---|---|---|---|---|
| Probability | 0.977 | 0.008 | 0.008 | 0.006 | 0.001 |
| Gain | -$1 | $4 | $9 | $14 | $19 |
และโอกาสที่จะได้เงิน หรือเสียเงิน ก็จะสามารถเขียนได้อีกว่า
| Combination | None | Lemons | Cherries | Diamond/cherry | Diamond |
|---|---|---|---|---|---|
| Probability | 0.977 | 0.008 | 0.008 | 0.006 | 0.001 |
| Gain | -$1 | $4 | $9 | $14 | $19 |
| -0.977 | 0.032 | 0.072 | 0.084 | 0.019 |
ผลรวมของการเล่นแต่ละครั้งคือ
= -0.977 + 0.032 + 0.072 + 0.084 + 0.019 = -0.77
หรือจะพูดอีกอย่างคือ สมมุติคุณลงทุนไปร้อยเหรียญ กดไปร้อยครั้ง ซึ่งแต่ละครั้งอีกได้บ้างเสียบ้าง แต่สิ่งที่ความหวังไว้เลยคือ พอจบทั้งหมดร้อยเกมส์ คุณจะเหลือเงินอยู่ประมาณ $33 ขาดทุนไป $77
ถ้าเราแทนที่ของค่าเงินที่ลงไปกับการพนันในแต่ละตาด้วยฟังก์ชั่นใดๆ
\Bbb{E}_{x \sim p}[f(x)] = \sum_{x}P(x)f(x)
และถ้าเป็น continuous variables ก็คำนวณโดยใช้อินทริเกตแทน
\Bbb{E}_{x \sim p}[f(x)] = \int p(x)f(x)dx
Expectations เป็นสมการเชิงเส้น ซึ่งก็เขียนได้อีกว่า
\Bbb{E}_{x}[\alpha f(x) + \beta g(x)] = \alpha\Bbb{E}_{x}[f(x)] + \beta \Bbb{E}_{x}[g(x)]
Expectation บอกเราได้แค่ค่าเฉลี่ยของการได้เสียในแต่ละเกมส์ แต่ไม่ได้บอกความกระจายหรือการกระจุกตัวของโอกาสการได้เสียของเกมส์โดยรวม ค่าความระจายนี้เรียกว่า Variance. แต่ก่อนอื่น เราสามารถเขียน
Var(\text{X}) = \Bbb{E}(\text{X} - \mu)^2
\Bbb{E}(\text{X} - \mu)^2 = \sum(x-\mu)^2P(\text{X} = x)
จากตัวอย่างเรื่อง slot machine สามารถคำนวนได้ดังนี้
| Combination | None | Lemons | Cherries | Diamond/cherry | Diamond |
|---|---|---|---|---|---|
| Probability | 0.977 | 0.008 | 0.008 | 0.006 | 0.001 |
| Gain | -$1 | $4 | $9 | $14 | $19 |
| -0.977 | 0.032 | 0.072 | 0.084 | 0.019 | |
| Average | -0.77 | ||||
\begin{aligned}Var(\text{X}) &=\sum(x-\mu)^2P(\text{X} = x) \\\space &=0.0516833 + 0.1820232 + 0.7636232 + 1.3089174 + 0.3908529 \\\space &=2.6971\end{aligned}
นั่นก็คือ expectation สำหรับเกมส์นี้คือ -0.77 (มีโอกาสเสีย 77%) และมี variance 2.6971 (ซึ่งก็ไม่สูงมาก หมายความว่าโอกาสที่เกมส์จะสวิงไปจุดแจ็คพอตค่อนข้างมีน้อยมากๆ ไม่กระจายไปตกแจ็กพอต) ยิ่ง variance มีค่าน้อยเท่าใด โอกาสการเกิดขึ้นของเหตุการณ์ก็จะใกล้เคียงกับจุด expectation เท่านั้น. ส่วน Standard deviation ก็คือรูทของ Variance นั่นเอง
\sigma = \sqrt{Var(\text{X})}
ส่วน Covariance ก็คล้ายๆกับ Variance เพียงแต่ว่าเป็นความสัมพันธ์กันระหว่างฟังก์ชั่นความน่าจะเป็นของสองฟังก์ชั่นที่มีต่อระบบเดียวกัน อ่านเรื่องของ Variance และ Covariance เพ่ิ่มเติมได้ที่เครื่องมือจำเป็นสำหรับ PCA (สังเกตุในเรื่องของเครื่องหมาย)
Covariance สำหรับความน่าจะเป็นเขียนได้ว่า
Cov(f(x),g(y))=\Bbb{E}[(f(x) - \Bbb{E}[f(x)])(g(y) - \Bbb{E}[g(y)])]
Probability Distributions : การแจกแจงความน่าจะเป็น.
คือสมการในทางคณิตศาสตร์ที่เขียนออกมาเพื่อจะแสดงผลลัพท์โดยรวม ของความน่าจะเป็นทั้งหมดในการทดลอง(ทดสอบ สุ่ม)
ใน Machine learning มี Probability distribution หลายๆตัวที่เข้ามามีบทบาทเช่น
- Bernoulli Distribution
- Multinoulli Distribution
- Gussian Distribution
- Exponential and Laplace Distribution
- The Dirac Distribution and Empricial Distribution
- Mixtures of Distribution
Bernoulli Distribution
คือ Probability distribution ของการสุ่มแล้วได้ผลลัพท์เป็นอย่างใดอย่างหนึ่งจากสองอย่าง เช่น 0 กับ 1. โยนเหรียญแล้วได้หัวหรือก้อย. โยนลูกเต๋าหนึ่งลูกแล้วได้แต้มคู่หรือคี่ , สูงหรือต่ำ ฯลฯ
เราจะแทนความน่าจะเป็นที่จะสุ่มได้ 1 ให้เป็น
\begin{aligned}P(x=1) &=p \\P(x=0) &=q \\p + q &=1 \\p &=1 - q \\\end{aligned}
ถ้าผลลัพท์ของการสุ่มคือ
f(k;p)=\begin{cases}p &\text{if} \space k=1, \\ 1-p &\text{if} \space k=0.\end{cases}
สิ่งที่เรากำลังจะหาคือ เราจะรวมสมาการที่แยก
พิจารณาเหรียญพิเศษเหรียญหนึ่ง ด้านหนึ่งสีเขียว อีกด้านสีน้ำเงิน ถ้าเราโยนเหรียญสามรอบ ความน่าจะเป็นเป็นดังนี้
กำหนดให้
| Power of | Power of | ||
|---|---|---|---|
| 0 | 3 | 0 | |
| 1 | 2 | 1 | |
| 2 | 1 | 2 | |
| 3 | 0 | 3 |
จากตาราง ตัวเลขยกกำลังของ p กับ q มีความสัมพันธ์กัน ยิ่งจำนวนสีเขียวมากขึ้นเท่าไหร่ ค่าของ p ก็จะยิ่งมากขึ้นและค่าของ q ก็จะยิ่งลดลง ดูเหมือนเริ่มเป็นเพทเทิร์นอะไรบางอย่างขึ่้นมา
ตัวเลขที่หายไปคืออะไร ?
ก่อนจะลงรายละเอียดไปมากกว่านี้ เรามาดูคำตอบกันก่อน นั่นก็คือ Combination ในทางคณิตศาสตร์ คือการบอกว่าถ้ามีจำนวนทั้งหมด
\dbinom{n}{r} = \dfrac{n!}{r!(n-r)!}
C(n,r) = \raisebox{0.5em}{n}C_r = _nC_r = \dbinom{n}{r}
ลักษณะของ factorial (!)
\begin{aligned}-1!&=\text{Never exists}\\===&=========\\ 0!&=1 \\ 1!&=1 \times 0! \space (=1) \\ 2!&=2 \times 1! \space (=2)\\ 3!&=3 \times 2! \space (=6)\\...\\ n! &=n \times (n-1)!\end{aligned}
นั่นก็คือ ถ้าเรามีการโยนเหรียญ 3 ครั้ง(
ถ้าเราเลือกมาเหรียญเดียว(r=1 วิธีที่จะออกสีเขียวเหรียญเดียว) จะมีโอกาสเท่ากับ \space = \dfrac{3!}{1!(3-1)!} = \dfrac{6}{1\times 2} = 3 วิธีดังนี้
ถ้าเราเลือกมาสองเหรียญ(r=2 วิธีที่จะออกสีเขียวสองเหรียญ) จะมีโอกาสเท่ากับ \space = \dfrac{3!}{2!(3-2)!} = \dfrac{6}{2\times 1} = 3 วิธีดังนี้
โดยสรุปแล้ว ในสมการของ Bernoulli ที่เขียนว่า
f(k;p)=\begin{cases}p &\text{if} \space k=1, \\ 1-p &\text{if} \space k=0.\end{cases}
จึงสามารถเขียนใหม่ได้ในรูปที่ว่า ในการทดลองเพียงครั้งเดียว(Bernoulli distribution ทำการทดลอง(สุ่ม)เพียงครั้งเดียว) ก็คือการทดสอบความน่าจะเป็นของ
\begin{aligned}P(\text{X}=r) &=\dbinom{n}{r}\times p^r \times q^{n-r}\\\space &=\binom{1}{r}\times p^r \times q^{1-r}\\ \because \binom{1}{0}&=1\\\text{and} \space \space \binom{1}{1}&=1 \\ \therefore \binom{1}{0}&=\binom{1}{1}\\\therefore &=p^r \times q^{1-r}\\ \space &=p^r \times (1-p)^{1-r}\\ \end{aligned}
Bernoulli Distribution จึงสามารถเขียนในรูปสมการเดียวจบได้ว่า
คราวนี้มาถึงรายละเอียดว่าทำไมอยู่ดีๆเราจึงแทนที่ ? ในสมการ
การเลือกเหรียญทั้งหมดจะเกิดขึ้นได้ ครั้งแรก 3 รูปแบบ ไม่ว่าจะเป็น เหรียญที่ 1 หรือ 2 หรือ 3 ก็ได้ไม่สำคัญ พอเลือก ครั้งแรกเสร็จ ครั้งที่สอง ก็จะเหลือเหรียญอยู่ในกระเป๋า 2 เหรียญ ดังนั้น ครั้งที่สอง ก็อาจเกิดขึ้นได้ 2 แบบ และครั้งสุดท้าย ก็จะเหลือเหรียญอยู่เพียงเหรียญเดียว ก็เท่ากับว่าหลังจากรอบที่สองแล้ว รอบสุดท้ายก็มีได้เพียงแค่รูปแบบเดียว คือการจับเหรียญสุดท้าย ดังนั้นความน่าจะเป็นทั้งหมดก็จะได้
เมื่อพิจารณาดูแพทเทิร์นแล้ว จะเห็นว่า การเลือกครั้งแรก โอกาสความน่าจะเป็นเท่ากับจำนวนเหรียญทั้งหมด และครั้งถัดไป ก็จะเท่ากับจำนวณเหรียญที่เหลือ ดังนั้น จำนวนการเลือกเหรียญ
\dfrac{n!}{(n-r)!}
เช่นการเลือก 1 ครั้งก็จะเท่ากับ
คำถามถัดมาคือ แล้วเราจะไปกรอกพวกที่เหมือนๆกันแต่สลับตำแหน่งออกจากลิสทั้งหมดได้ยังไง เช่นในตัวอย่าง จาก 6 ให้เหลือแค่ 3 ที่ไม่ซ้ำกัน? ลองนึกถึงความหมายของ
\dfrac{n!}{(n-r)!} \times \dfrac{1}{r!} = \dfrac{n!}{(n-r)!r!}
อธิบายได้ดังภาพ
สมมุติเรามีเหรียญทั้งหมด 4 เหรียญ ความน่าจะเป็นทั้งหมดคือ
จากหัวข้อแรกๆ สูตรของ Expectation
\begin{aligned}\sum xP(\text{X}=x) &=0q + 1p \\ \space &=p \\\Bbb{E}_x[x] &=p\end{aligned}
ส่วน Variance ก็เขียนได้ว่า
\begin{aligned}Var(\text{X}) &=\sum(x-\mu)^2P(\text{X}=x)\\\space &=[(0 - p)^2.q]+[(1-p)^2.p]\\\space &=[p^2q]+[q^2p]\\\space &=pq(p+q)\\\space &=pq \\\therefore &=p(1-p)\end{aligned}
สำหรับ Distribution ที่เหลือ จะยกยอดไปไว้ที่ Part 3 เพื่อไม่ให้โพสนี้ยาวเกินไปและง่ายต่อการค้นหา.
References:
https://en.wikipedia.org/wiki/Binomial_distribution
https://en.wikipedia.org/wiki/Bernoulli_distribution
https://www.mathsisfun.com/combinatorics/combinations-permutations.html
https://en.wikipedia.org/wiki/Factorial
https://www.mathsisfun.com/data/binomial-distribution.html
http://www.deeplearningbook.org/contents/prob.htmlin acknowledgement of slot machine icons:
Comments
Post a Comment