# Assessing Data That Fits a Hypothesis Too Well

# Objective

當我們面臨的問題是如何評估當數據「過於完美」地符合某個假設時，這是否反而代表著數據存在問題（例如資料操控、記錄錯誤或其他非隨機因素的干擾）。具體來說，我們希望檢查觀察到的數據變異性是否顯著低於（或高於）理論上根據該假設所預期的變異性。若數據變異性過小（例如計算出的 \\(\chi^2\\) 值遠小於自由度 \\(df\\)），則可能提示資料受到不自然控制；相反地，變異性過大也可能代表異常情形。

# Derivation

## 1. 高斯（正態）單個樣本的機率密度函數

假設 \\(X \sim N(\mu,\sigma^2)\\)，則其機率密度函數為

\\[
f(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\Bigl(-\frac{(x-\mu)^2}{2\sigma^2}\Bigr)
\\]

## 2. 單個樣本的似然函數

固定 \\(x\\) 後，將 \\(f(x;\mu,\sigma^2)\\) 視為 \\(\sigma^2\\) 的函數，則

\\[
L(\sigma^2 \mid x) \propto \frac{1}{\sqrt{\sigma^2}} \exp\Bigl(-\frac{(x-\mu)^2}{2\sigma^2}\Bigr)
\\]

## 3. 多個樣本的聯合似然函數

對於獨立樣本 \\(x_1, x_2, \dots, x_n\\)，聯合似然為

\\[
L(\mu,\sigma^2 \mid x_1,\dots,x_n) \propto \left(\frac{1}{\sigma^2}\right)^{n/2} \exp\Bigl(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2\Bigr)
\\]
令

\\[
\chi^2 = \sum_{i=1}^{n} (x_i-\mu)^2,
\\]
並記 \\(df\\) 為自由度（例如 \\(n-1\\) 或根據估計參數數目調整），則

\\[
L(\sigma^2) \propto \left(\frac{1}{\sigma^2}\right)^{df/2} \exp\Bigl(-\frac{\chi^2}{2\sigma^2}\Bigr)
\\]

## 4. 最大似然估計與最大似然值

透過對對數似然函數 \\( \ell(\sigma^2) = -\frac{df}{2}\ln(\sigma^2) - \frac{\chi^2}{2\sigma^2} + C \\) 求導並令其為零，可得最大似然估計為

\\[
s^2 = \frac{\chi^2}{df}
\\]
當 \\(\sigma^2 = s^2\\) 時，似然函數達到最大值，其最大似然值為

\\[
L_{\text{max}} = L\Bigl(\sigma^2=s^2\Bigr) \propto \left(\frac{df}{\chi^2}\right)^{df/2} \exp\Bigl(-\frac{df}{2}\Bigr)
\\]

## 5. 對數似然比（支持度）的推導

令候選值下的似然為 \\(L_{\text{obs}} = L(\sigma^2=v_0)\\)。選取 \\(v_0=1\\) 表示在標準化情況下，理論變異數為 1（即預期 \\(\chi^2/df=1\\)），則

\\[
L_{\text{obs}} \propto \exp\Bigl(-\frac{\chi^2}{2}\Bigr)
\\]
取對數後，

\\[
\log L_{\text{obs}} = -\frac{\chi^2}{2} + C_1,
\\]

\\[
\log L_{\text{max}} = \frac{df}{2}\log\Bigl(\frac{df}{\chi^2}\Bigr) - \frac{df}{2} + C_2,
\\]
其中 \\(C_1\\) 與 \\(C_2\\) 為常數，會互相抵消。因而對數似然比（支持度）定義為

\\[
S = \log\Bigl(\frac{L_{\text{max}}}{L_{\text{obs}}}\Bigr) = \frac{df}{2}\log\Bigl(\frac{df}{\chi^2}\Bigr) - \frac{df}{2} + \frac{\chi^2}{2}
\\]
整理得

\\[
S = \frac{df}{2}\left[-\log\Bigl(\frac{\chi^2}{df}\Bigr) + \frac{\chi^2}{df} - 1\right]
\\]
令 \\(r = \frac{\chi^2}{df}\\) 則

\\[
S = \frac{df}{2}\left[-\log r + r - 1\right]
\\]

# Interpretation

- 當 \\(r = 1\\)（即 \\(\chi^2 = df\\)）時，\\(S=0\\)，表示數據與理論預期完全吻合。
- 當 \\(r < 1\\)（數據變異性過小，即過於「完美」）時，\\(-\log r\\) 的項變大，使得 \\(S\\) 變大；  
- 當 \\(r > 1\\)（數據變異性過大）時，\\(r-1\\) 項使得 \\(S\\) 同樣變大。

因此，無論是數據變異性（ \\(\chi^2\\)）過小或過大，\\(S\\) 值都會偏大，這提示資料可能存在異常。

# References

1. Cahusac, P. M. B. (2021). *Evidence Based Statistics: An Introduction to the Evidential Approach – from Likelihood Principle to Statistical Practice*. John Wiley & Sons, Inc.
2. Edwards, A. W. F. (1992). *Likelihood*. Baltimore: John Hopkins University Press.