> 想来想去还是从这学期最开始写吧…… ## 常用分布 - 泊松分布 $P(\lambda):P(X=k)=\frac{\lambda^{k}}{k!}e^{-\lambda }\quad(k=0,1,2,\dots)$ - 正态分布 $N(\mu,\sigma^{2}):p(x)=\frac{1}{\sqrt{ 2\pi }\sigma}e^{-\frac{1}{2}\cdot \frac{(x-\mu)^{2}}{\sigma^{2}}}$ - 指数分布 $Exp(\lambda):p(x)=\lambda e^{-\lambda x}$ - 伽马分布 $Ga(\alpha,\lambda):p(x)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$，其中 $\Gamma(\alpha)=\int_{0}^{\infty} x^{\alpha-1}e^{-x} \, dx$ - 卡方分布 $\chi^{2}(n)\sim Ga\left( \frac{n}{2},\frac{1}{2} \right)$ - 贝塔分布 $Be(a,b):p(x)=\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$，其中 $B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma (a+b)}$ ## 常用分布性质 - $Exp(\lambda)\sim Ga(1,\lambda),\quad \chi^{2}(n)\sim Ga\left( \frac{n}{2},\frac{1}{2} \right)$ - $\Gamma(1)=1,\Gamma\left( \frac{1}{2} \right)=\sqrt{ \pi },\Gamma(n+1)=n!$ - $x_{i}\sim N(0,1)\implies\sum_{i=1}^{n}x_{i}^{2}\sim \chi^{2}(n)$ - $x_{i}\sim Exp(\lambda)\implies \sum_{i=1}^{n}x_{i}\sim Ga(n,\lambda)$ - $x_{i}\sim \chi^{2}(k)\implies \sum_{i=1}^{n}x_{i}\sim Ga\left( \frac{nk}{2},\frac{1}{2} \right)$ - $x_{i}\sim P(\lambda)\implies \sum_{i=1}^{n}x_{i}\sim P(n\lambda)$ ## 统计量及其分布很多问题都可以转化成对概率分布模型中的参数估计问题，例如测量某种东西的长度，可以认为是估计正态分布模型的均值问题。 ### 总体与样本 - **总体**：大量的、具备偶然因素的样本母集，通常认为总体 $X$ 服从某种分布，例如 $X\sim N(\mu,\sigma^{2})$。 - **样本**：从总体中多次抽取单一元素得到的数据集，通常认为满足均匀、独立两个假设，其分布可以近似认为和总体一致（i.i.d），通常记为 $\{x_{i}\}$。记 $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$ 为样本均值，记 $s_{n}^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}$ 为样本方差，记 $s^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}$ 为无偏方差。无偏方差在分布上相较于样本方差有更好的优势，因此更多使用无偏方差进行计算。均值与方差的分布如下： - 若总体 $X\sim N(\mu, \sigma^{2})$，则 $\bar{x}\sim N\left( \mu,\frac{\sigma^{2}}{n} \right)$。 - 若总体 $X$ 不是正态分布，但是 $E(X)=\mu,\quad Var(X)=\sigma^{2}$ 存在，则在 $n$ 较大的时候可以认为 $\bar{x} \dot{\sim}N\left( \mu,\frac{\sigma^{2}}{n} \right)$，即 $\bar{x}$ 可以被近似认为服从正态分布。（由中心极限定理可证） ### 次序统计量记 $x_{(i)}$ 为 $\{ x_{i} \}$ 中第 $i$ 小的样本，称为次序统计量。定义 $$ F_{n}(x)=\begin{cases} 0,\quad x TODO：五数概括、箱线图 ### 三大抽样分布在参数估计和检验中会频繁使用到以正态分布推导得到的三类分布。 #### 卡方分布若 $X\sim \chi ^{2}(n)\sim Ga\left( \frac{n}{2}, \frac{1}{2} \right)$，则 $p(x)=\frac{\left( \frac{1}{2} \right)^{n/2}}{\Gamma\left( \frac{n}{2} \right)}x^{\frac{n}{2}-1}e^{-\frac{1}{2}x}$。卡方分布是一种偏态分布，$n$ 越大越偏向于中央分布。性质 1：$\chi ^{2}(n)$ 可由 $n$ 个标准正态分布样本的平方和得到。性质 2：若总体 $X\sim N(\mu,\sigma ^{2})$，对于 $\bar{x}$ 和 $s^{2}$ 具有如下性质： 1. $\bar{x}$ 与 $s^{2}$ 相互独立。 2. $\bar{x}\sim N\left( \mu, \frac{\sigma^{2}}{n} \right)$，当 $n$ 变大时样本均值的方差变小，均值始终不变。 3. $\frac{(n-1)s^{2}}{\sigma ^{2}}\sim \chi ^{2}(n-1)$，该性质仅对无偏方差具有简洁形式。证明从略。 #### F 分布 F 分布可由卡方分布导出。$F\sim F(m,n)\sim\frac{\chi^{2}(m)/m}{\chi^{2}(n)/n}$，密度函数相当冗长。性质 1：$\frac{1}{F}\sim F(n,m)$。性质 2：$F_{\alpha}(m,n)=\frac{1}{F_{1-\alpha}(n,m)}$。 #### t 分布 t 分布也由卡方分布导出。$t\sim t(n)\sim\frac{N(0,1)}{\sqrt{ \chi^{2}(n)/n }}$，密度函数冗长。t 分布常用于大样本统计，可用于替代缺少方差数据的正态分布的均值估计。性质：$t=\frac{\sqrt{ n }(\bar{x}-\mu)}{s}\sim t(n-1)$，即缺少方差数据的正态分布的样本集，可提取出 t 分布的统计量。 ### 充分统计量通常称由样本集计算得到的量 $f(\mathbf{X})$ 为样本统计量，其中 $\mathbf{X_{n\times 1}}$ 为样本向量，存储 $n$ 个样本数据。若有一些统计量可以存储分布参数的全部信息，则称此类统计量为充分统计量。形式化的定义：记总体分布函数为 $F(x;\theta)$，统计量 $T=T(\mathbf{X})$ 称为充分统计量需满足 $F(\mathbf{X}|T)$ 不包含参数 $\theta$。直接计算 $F(\mathbf{X}|T)$ 相当困难，常使用下述定理判定 $T$ 是否为充分统计量。 **因子分解定理：** 若概率密度函数（或分布列）满足 $p(\mathbf{X};\theta)=g(T,\theta)\cdot h(\mathbf{X})$，即可以被拆分成两个函数（将样本和参数、统计量分离），则 $T$ 为充分统计量。直观上理解，如果对于任意的 $\mathbf{X}$，都可以通过不包含参数的固定流程得到其概率密度函数，说明此时 $T$ 已包含了有关 $\theta$ 的一切信息，符合充分统计量的定义。 ## 参数估计如果将需要求解的量定义为某种分布的参数，那么就可以通过样本集估计参数。参数估计分为传统估计与贝叶斯估计两种类型，主要分歧在于可以使用什么信息去估计未知参数。可以估计参数的信息一般包含以下三种： - 总体信息：即总体服从的分布模型，通常需要大量的经验规律总结得到。例如对长度的测量结果通常服从正态分布，齿轮的磨损时间通常服从威布尔分布。 - 样本信息：即可以从样本集中获取到的信息，例如均值 $\bar{x}$ 和无偏方差 $s^{2}$。 - 先验信息：即在此次抽取样本前可以知道的信息，包含过往的参数估计信息。贝叶斯估计与传统估计的区别在于，传统估计不会利用过往的参数估计信息，而贝叶斯估计中会将未知参数视为随机变量，利用过往的估计做更精确的估计。课程的主要内容为传统估计方法。 ### 点估计记 $\mathbf{X}=(x_{1},x_{2},x_{3},\dots,x_{m})^{T}$ 为样本集，$x_{i}$ 为第 $i$ 个样本的量。记 $\hat{\theta}=\hat{\theta}(\mathbf{X})$ 为 $\theta$ 的估计值。此种估计称为 **点估计**，简称 **估计**。点估计的方式可以是任意的，为了区分不同点估计方式（即不同的 $\hat{\theta}$ 函数的好坏），我们通常引入下列标准。 **无偏性**：如果 $E(\hat{\theta})=\theta$，则称估计是 **无偏的**。无偏性是最基础的评判估计好坏的标准。 **有效性**：对于两个无偏估计 $\hat{\theta_{1}}$ 和 $\hat{\theta_{2}}$，如果 $Var(\hat{\theta_{1}})0, \lim_{ n \to \infty } P(|\hat{\theta_{n}}-\theta |>\varepsilon)=0 $$ 相合性的原始判别办法相对麻烦，通常采用以下定理做判断： **判别 1**：设 $\{ \hat{\theta _{n}} \}$ 为 $\theta$ 的参数估计序列，如果满足 $$ \lim_{ n \to \infty } E(\hat{\theta_{n}})=\theta,\quad \lim_{ n \to \infty } Var(\hat{\theta _{n}})=0 $$ 则 $\hat{\theta_{n}}$ 是 $\theta$ 的相合估计。 **判别 2**：若 $\hat{\theta_{n_{1}}}, \hat{\theta_{n_{2}}},\dots,\hat{\theta_{nk}}$ 为 $\theta_{1},\theta_{2},\dots,\theta _k$ 的相合估计，$\eta=\eta(\theta_{1},\theta_{2},\dots\theta_{k})$ 为连续函数，则 $\hat{\eta}$ 也为 $\eta$ 的相合估计。 --- 点估计的方法很多，最常见的包括 **矩估计**，**最大似然估计**，**最小方差无偏估计**。 #### 矩估计 - **原点矩**：记 $\nu_{k}=E(X^{k})$ 为分布 $X$ 的 $k$ 阶原点矩。 - **中心矩**：记 $\mu_{k}=E[X-E(x)]^{k}$ 为分布 $X$ 的 $k$ 阶中心矩，这里的中心指的是分布的期望。 - **样本原点矩**：记 $a_{k}=\frac{1}{n}\sum_{i=1}^{n}x_{i}^{k}$ 为样本集 $\mathbf{X}$ 的 $k$ 阶原点矩。 - **样本中心矩**：记 $m_{k}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^{k}$ 为样本集 $\mathbf{X}$ 的 $k$ 阶中心矩，这里的中心指的是样本集的均值。矩估计满足以下原则： - 用样本矩代替分布矩 - 用样本矩的函数代替分布矩的函数 - 用频率代替概率例如，如果参数 $\theta=\theta(\nu_{k},\mu_{k})$，则 $\theta$ 的矩估计 $\hat{\theta}=\hat{\theta}(a_{k}, m_{k})$。 #### 最大似然估计（MLE）最大似然估计的核心思想为，求出让当前样本集出现概率最大的 $\hat{\theta}$ 作为参数 $\theta$ 的估计。具体而言，记 $L(\mathbf{X};\theta)=p(\mathbf{X};\theta)$ 为 **似然函数**，取极大值点 $\hat{\theta}$ 作为参数的估计。对于服从 i.i.d 的样本集 $\mathbf{X}$，其似然函数通常为累乘式，可以通过取对数求导的方式求出其极大值点。 **注意**，在求解极值点的过程中要注意 $L(\theta)$ 的定义域。例如，对于均匀分布 $X\sim U(0,\theta)$，有 $p(x)=\frac{1}{\theta}$，其似然函数 $L(\theta)=\frac{1}{\theta ^{n}}(\theta\geq x_{(n)})$，则其极大值点 $\hat{\theta}=x_{(n)}$，不是 $\hat{\theta} \to + \infty$。最大似然估计具有 **不变性**，即如果 $\hat{\theta}$ 为 $\theta$ 的最大似然估计，则对任意函数 $g(\theta)$，都有其最大似然估计 $\hat{g(\theta)}=g(\hat{\theta})$。最大似然估计通常具有 **渐进正态性**。 **渐近正态性**：若对于 $\{ \hat{\theta _n} \}$，存在趋于 $0$ 的非负常数序列 $\{ \sigma_{n}(\theta) \}$，且 $\frac{\hat{\theta_{n}}-\theta}{\sigma_{n}(\theta)}\xrightarrow{d}N(0,1)$，则称其服从 **渐进正态分布**，$\{ \sigma_{n}(\theta) \}$ 称为 **渐进方差**。渐进正态性可以用来评估不同相合估计的收敛速度，渐进方差收敛越快的相合分布收敛的也越快。 #### 最小方差无偏估计对于任意参数估计 $\hat{\theta}$，可以记 $\text{MSE}(\theta)=E(\hat{\theta}-\theta)^{2}$ 为均方误差。均方误差可以通过典型方法拆分： $$ \begin{aligned} \text{MSE}(\theta) & =E(\hat{\theta}-\theta)^{2} \\ & =E[(\hat{\theta}-E(\hat{\theta}))+(E(\hat{\theta})-\theta)]^{2} \\ & =E[\hat{\theta}-E(\hat{\theta})]^{2}+E[E(\hat{\theta})-\theta]^{2}+2E[(\hat{\theta}-E(\hat{\theta}))(E(\hat{\theta})-\theta)] \\ & =Var(\hat{\theta})+[E(\hat{\theta})-\theta]^{2} \end{aligned} $$ 即均方误差可以被分为 $\hat{\theta}$ 的方差和期望差两部分。当 $\hat{\theta}$ 是无偏估计时，均方误差变为单纯的方差。 **一致最小均方误差估计**：从参数估计的函数中划分出一个估计族，满足 $\hat{\theta}$ 在其中。若对于参数估计族中的任意估计 $\tilde{\theta}$，有 $\forall\theta \in\Theta \quad\text{MSE}_{\theta}(\hat{\theta})\leq \text{MSE}_{\theta}(\tilde{\theta})$，则称 $\hat{\theta}$ 为一致最小均方误差估计。实际上，如果不指定一个估计族，无法找出一致最小均方误差估计，因为总可以取 $\tilde{\theta}_{\theta}=\theta$，使得我们的 $\hat{\theta}$ 不满足条件。因此通常会要求参数估计具有某种特征，由此划分估计族。最常用的特征即为无偏性。 **一致最小方差无偏估计**：设 $\hat{\theta}$ 为 $\theta$ 的无偏估计，若对于任意的其余无偏估计 $\tilde{\theta}$ 有 $Var(\hat{\theta})\leq Var(\tilde{\theta})$，则称 $\hat{\theta}$ 为一致最小方差无偏估计，记为 $\text{UMVUE}$。上述定义的判定依旧复杂，实际使用中常使用判别定理。 **UMVUE 判别**：记 $\mathbf{X}$ 为样本集，$\hat{\theta}$ 为 $\theta$ 的无偏估计。若对于任意满足 $E(\varphi(\mathbf{X}))=0,Var(\varphi(\mathbf{X}))<\infty$ 的统计量 $\varphi(\mathbf{X})$，均有 $Cov_{\theta}(\hat{\theta},\varphi)=0,\quad\theta \in\Theta$，则 $\hat{\theta}$ 为 $\text{UMVUE}$。（即 $\text{UMVUE}$ 应当与所有 $0$ 的无偏估计不相关） **例子**：设 $\mathbf{X}$ 为分布 $Exp\left( \frac{1}{\theta} \right)$ 的样本，$T=\sum_{i=1}^{n}x_{i}$ 为 $\theta$ 的充分统计量，$\overline{x}=\frac{T}{n}$ 为参数 $\theta$ 的无偏估计。想要证明 $\overline{x}$ 为 $\text{UMVUE}$，可设任意 $0$ 的无偏估计 $\varphi(\mathbf{X})$，有： $$ E(\varphi(\mathbf{X}))=\int_{0}^{\infty} \int_{0}^{\infty} \dots \int_{0}^{\infty} \varphi(x_{1},x_{2},\dots,x_{n})\prod_{i=1}^{n} \left( \frac{1}{\theta}\cdot e^{-x_{i}/\theta} \right) \, dx_{n} \, \dots \, dx_{1} =0 $$ 化简： $$ \int_{0}^{\infty} \int_{0}^{\infty} \dots \int_{0}^{\infty} \varphi(x_{1},x_{2},\dots,x_{n})\cdot e^{-\frac{\sum_{i=1}^{n} x_{i}}{\theta}} \, dx_{n} \, \dots \, dx_{1} =0 $$ 对 $\theta$ 求导： $$ \int_{0}^{\infty} \int_{0}^{\infty} \dots \int_{0}^{\infty} \varphi(x_{1},x_{2},\dots,x_{n})\cdot \left( \frac{1}{\theta ^{2}}\sum_{i=1}^{n} x_{i} \right) \cdot e^{-\frac{\sum_{i=1}^{n} x_{i}}{\theta}} \, dx_{n} \, \dots \, dx_{1} =0 $$ 即： $$ \int_{0}^{\infty} \int_{0}^{\infty} \dots \int_{0}^{\infty} \varphi(x_{1},x_{2},\dots,x_{n})\cdot \left( \frac{n\overline{x}}{\theta ^{2}}\right) \cdot e^{-\frac{\sum_{i=1}^{n} x_{i}}{\theta}} \, dx_{n} \, \dots \, dx_{1} =0 $$ 即： $$ Cov(\hat{\theta},\varphi)=E(\hat{\theta}\cdot\varphi)-E(\hat{\theta})E(\varphi)=0-0=0 $$ 因此 $\hat{\theta}$ 为 $\text{UMVUE}$。 ## 区间估计之前对于参数的估计均为点估计，即求出参数可能的单点值。这种单点值的正确性无法保证（$P(\theta=\hat{\theta})\equiv 0$），因此提出 **区间估计**，用于估计真实参数值 $\theta$ 落于计算得到的区间 $[\theta _{L},\theta_{R}]$ 中的概率。该区间也称为 **置信区间**。区间估计的精度使用 **显著性水平** $\alpha$ 控制（$\alpha \in(0,1)$），通常要求 $P(\theta_{L}\leq\theta\leq\theta_{R})=1-\alpha$，并希望区间长度 $\theta_{R}-\theta_{L}$ 尽可能小。 ### 枢轴量法求解区间估计常使用 **枢轴量法**： 1. 记 $\mathbf{X}$ 为样本，$G=G(\mathbf{X};\theta)$ 为样本统计量。当 $G$ 的分布不依赖 $\theta$ 计算时，称 $G$ 为 **枢轴统计量**。 2. 令 $P(c\leq G\leq d)=1-\alpha$，求解使得 $d-c$ 最小的 $d$ 和 $c$。 3. 将不等式 $c\leq G\leq d$ 化简为 $\theta_{L}\leq\theta\leq\theta_{R}$，即可求得区间估计。求解单边估计的方式与上述相仿，只需要将步骤 2 中的 $c\leq G\leq d$ 换为 $c\leq G$ 或 $G\leq d$。 ### 常用枢轴量与区间估计 #### 二项分布记号：总体 $X\sim b(1,p)$，$\mathbf{X}_{n\times 1}$ 为样本集。 > 求 $p$ 二项分布难以求出枢轴量，但是当 $n$ 极大时，有 $\bar{x}\dot{\sim}N\left( p,\frac{p(1-p)}{n} \right)$，忽略高阶小量之后可求得置信区间为 $\left[ \bar{x}-u_{1-\frac{\alpha}{2}}\sqrt{ \frac{\bar{x}(1-\bar{x})}{n} }, \bar{x}+u_{1-\frac{\alpha}{2}}\sqrt{ \frac{\bar{x}(1-\bar{x})}{n} }\right]$。 #### 单正态分布记号：总体 $X\sim N(\mu,\sigma ^{2})$， $\mathbf{X}_{m\times 1}$ 为样本集。 > 已知 $\sigma ^{2}$，求 $\mu$ 1. $\bar{x}\sim N\left( \mu,\frac{\sigma ^{2}}{n} \right)$，因此有枢轴量 $\frac{\sqrt{ n }(\bar{x}-\mu)}{\sigma}\sim N(0,1)$ 与所求参数 $\mu$ 无关。 2. 令 $P(c\leq\frac{\sqrt{ n }(\bar{x}-\mu)}{\sigma}\leq d)=1-\alpha$，由于正态分布是向中间靠拢的对称分布，因此可取 $c=-u_{1-\frac{\alpha}{2}},d=u_{1-\frac{\alpha}{2}}$。 3. 置信区间为 $\left[ \bar{x}-u_{1-\frac{\alpha}{2}}\frac{\sigma}{\sqrt{ n }},\bar{x}+u_{1-\frac{\alpha}{2}}\frac{\sigma}{\sqrt{ n }} \right]$。 > 未知 $\sigma ^{2}$，求 $\mu$ 1. 枢轴量 $\frac{\sqrt{ n }(\bar{x}-\mu)}{s}\sim t(n-1)$。 2. 令 $P(c\leq\frac{\sqrt{ n }(\bar{x}-\mu)}{s}\leq d)=1-\alpha$，得 $c=-t_{1-\frac{\alpha}{2}},d=t_{1-\frac{\alpha}{2}}$。 3. 置信区间为 $\left[ \bar{x}-t_{1-\frac{\alpha}{2}}\frac{s}{\sqrt{ n }},\bar{x}+t_{1-\frac{\alpha}{2}}\frac{s}{\sqrt{ n }} \right]$。 > 未知 $\mu$，求 $\sigma ^{2}$ 1. 枢轴量 $\frac{(n-1)s^{2}}{\sigma ^{2}}\sim \chi ^{2}(n-1)$。 2. 令 $P\left( c\leq\frac{(n-1)s^{2}}{\sigma ^{2}}\leq d \right)=1-\alpha$，由于卡方分布为偏态分布，难以求出最短区间长度，因此通常限制置信区间两侧的概率分布均匀，取 $c=\chi ^{2}_{\frac{\alpha}{2}},d=\chi ^{2}_{1-\frac{\alpha}{2}}$。 3. 置信区间为 $[\frac{(n-1)s^{2}}{\chi ^{2}_{1-\frac{\alpha}{2}}},\frac{(n-1)s^{2}}{\chi ^{2}_{\frac{\alpha}{2}}}]$。 #### 双正态分布记号：总体 $X\sim N(\mu_{1},\sigma_{1} ^{2}),\ Y\sim N(\mu_{2},\sigma ^{2}_{2})$， $\mathbf{X}_{m\times 1},\ \mathbf{Y}_{n\times 1}$ 为样本集。 > 已知 $\sigma_{1}^{2},\ \sigma_{2}^{2}$，求 $\mu_{1}-\mu_{2}$ 1. 统计量 $\bar{x}-\bar{y}\sim N\left( \mu_{1}-\mu_{2},\frac{\sigma ^{2}_{1}}{m}+ \frac{\sigma ^{2}_{2}}{n}\right)$，枢轴量 $\frac{(\bar{x}-\bar{y})- (\mu_{1}-\mu_{2}) }{\sqrt{ \frac{\sigma ^{2}_{1}}{m}+ \frac{\sigma ^{2}_{2}}{n} }} \sim N(0,1)$。 2. 与单正态分布的情况类似，置信区间为 $\left[ (\bar{x}-\bar{y})-u_{1-\frac{\alpha}{2}}\sqrt{ \frac{\sigma ^{2}_{1}}{m}+ \frac{\sigma ^{2}_{2}}{n} }, (\bar{x}-\bar{y})+u_{1-\frac{\alpha}{2}}\sqrt{ \frac{\sigma ^{2}_{1}}{m}+ \frac{\sigma ^{2}_{2}}{n} } \right]$。 > 已知 $\sigma^{2}_{1}=\sigma^{2}_{2}$，求 $\mu_{1}-\mu_{2}$ 1. 设 $\sigma^{2}_{1}=\sigma^{2}_{2}=\sigma^{2}$，统计量 $\bar{x}-\bar{y}\sim N\left( \mu_{1}-\mu_{2},\sigma^{2}\left( \frac{1}{m}+\frac{1}{n} \right) \right)$，记联合方差 $s_{w}^{2}=\frac{(m-1)s_{x}^{2}+(n-1)s^{2}_{y}}{m+n-2}$，枢轴量 $\frac{(\bar{x}-\bar{y})-(\mu_{1}-\mu_{2})}{s_{w}\sqrt{ \frac{1}{m}+\frac{1}{n} }}\sim t(m+n-2)$。 2. 与单正态分布的情况类似，置信区间为 $\left[ (\bar{x}-\bar{y})-\sqrt{\frac{1}{m}+\frac{1}{n}}s_{w}t_{1-\frac{\alpha}{2}}(m+n-2),(\bar{x}-\bar{y})+\sqrt{\frac{1}{m}+\frac{1}{n}}s_{w}t_{1-\frac{\alpha}{2}}(m+n-2) \right]$。 > 已知 $\frac{\sigma^{2}_{2}}{\sigma^{2}_{1}}=c$，求 $\mu_{1}-\mu_{2}$ 与上一种情况类似，记联合方差 $s_{w}^{2}=\frac{(m-1)s_{x}^{2}+(n-1)s^{2}_{y} / c}{m+n-2}$，置信区间为 $\left[ (\bar{x}-\bar{y})-\sqrt{\frac{1}{m}+\frac{c}{n}}s_{w}t_{1-\frac{\alpha}{2}}(m+n-2),(\bar{x}-\bar{y})+\sqrt{\frac{1}{m}+\frac{c}{n}}s_{w}t_{1-\frac{\alpha}{2}}(m+n-2) \right]$。 > 方差信息未知，但是 $m,\ n$ 极大，求 $\mu_{1}-\mu_{2}$ 当 $m,\,n$ 极大时，可用 $s_{x}^{2},\,s_{y}^{2}$ 近似代替 $\sigma^{2}_{1},\,\sigma^{2}_{2}$，即认为 $\frac{(\bar{x}-\bar{y})- (\mu_{1}-\mu_{2}) }{\sqrt{ \frac{s_{x}^{2}}{m}+ \frac{s _{y}^{2}}{n} }} \dot{\sim} N(0,1)$，置信区间为 $\left[ (\bar{x}-\bar{y})-u_{1-\frac{\alpha}{2}}\sqrt{ \frac{s_{x}^{2}}{m}+ \frac{s_{y}^{2}}{n} }, (\bar{x}-\bar{y})+u_{1-\frac{\alpha}{2}}\sqrt{ \frac{s_{x}^{2}}{m}+ \frac{s_{y}^{2}}{n} } \right]$。 > 一般情况下求 $\mu_{1}-\mu_{2}$ 当 $m,\,n$ 不大时，应当使用以下近似公式。记 $s_{0}^{2}=\frac{s_{x}^{2}}{m}+\frac{s_{y}^{2}}{n}$，$l=\frac{s_{0}^{4}}{\frac{s_{x}^{4}}{m^{2}(m-1)}+\frac{s_{y}^{4}}{n^{2}(n-1)}}$，当 $l$ 不为整数时，应当选择与其最接近的整数作为取值。置信区间为 $\left[ (\bar{x}-\bar{y})-s_{0}t_{1-\frac{\alpha}{2}}(l),\, (\bar{x}-\bar{y})+s_{0}t_{1-\frac{\alpha}{2}}(l)\right]$。 > 求 $\frac{\sigma^{2}_{1}}{\sigma^{2}_{2}}$ 由卡方分布的性质，有 $\frac{(m-1)s_{x}^{2}}{\sigma^{2}_{1}}\sim \chi ^{2}(m-1),\,\frac{(n-1)s_{y}^{2}}{\sigma^{2}_{2}}\sim \chi ^{2}(n-1)$，则有 $\frac{s_{x}^{2} / \sigma^{2}_{1}}{s_{y}^{2} / \sigma^{2}_{2}}\sim F(m-1,n-1)$。记该枢轴量为 $F=\frac{s_{x}^{2}}{s_{y}^{2}}\cdot\frac{\sigma^{2}_{2}}{\sigma^{2}_{1}}$，置信区间为 $\left[ \frac{s_{x}^{2}}{s_{y}^{2}} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}(m-1,n-1)},\ \frac{s_{x}^{2}}{s_{y}^{2}} \cdot \frac{1}{F_{\frac{\alpha}{2}}(m-1,n-1)} \right]$。利用 $F_{\frac{\alpha}{2}}(m-1,n-1)=\frac{1}{F_{1-\frac{\alpha}{2}}(n-1,m-1)}$，也可写为 $\left[ \frac{s_{x}^{2}}{s_{y}^{2}} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}(m-1,n-1)},\ \frac{s_{x}^{2}}{s_{y}^{2}} \cdot F_{1-\frac{\alpha}{2}}(n-1,m-1) \right]$。 ### 区间估计汇总 | 场景 | 条件 | 待估参数 | 枢轴量 | 分布 | 置信区间 | | :--- | :-------------------------------- | :------------------------------ | :----------------------------------------------------------------------------------------- | :---------------- | :--------------------------------------------------------------------------------------------------------------------------------------- | | 单正态 | 已知 $\sigma^2$ | $\mu$ | $\frac{\sqrt{n}(\bar{x}-\mu)}{\sigma}$ | $N(0,1)$ | $\bar{x}\pm u_{1-\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}$ | | 单正态 | 未知 $\sigma^2$ | $\mu$ | $\frac{\sqrt{n}(\bar{x}-\mu)}{s}$ | $t(n-1)$ | $\bar{x}\pm t_{1-\frac{\alpha}{2}}(n-1)\frac{s}{\sqrt{n}}$ | | 单正态 | 未知 $\mu$ | $\sigma^2$ | $\frac{(n-1)s^2}{\sigma^2}$ | $\chi^2(n-1)$ | $\left[\frac{(n-1)s^2}{\chi^2_{1-\frac{\alpha}{2}}},\ \frac{(n-1)s^2}{\chi^2_{\frac{\alpha}{2}}}\right]$ | | 双正态 | 已知 $\sigma_1^2,\sigma_2^2$ | $\mu_1-\mu_2$ | $\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}}$ | $N(0,1)$ | $(\bar{x}-\bar{y})\pm u_{1-\frac{\alpha}{2}}\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}$ | | 双正态 | $\sigma_1^2=\sigma_2^2$ | $\mu_1-\mu_2$ | $\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{s_w\sqrt{\frac{1}{m}+\frac{1}{n}}}$ | $t(m+n-2)$ | $(\bar{x}-\bar{y})\pm t_{1-\frac{\alpha}{2}}(m+n-2)\,s_w\sqrt{\frac{1}{m}+\frac{1}{n}}$ | | 双正态 | $\frac{\sigma_2^2}{\sigma_1^2}=c$ | $\mu_1-\mu_2$ | $\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{s_w\sqrt{\frac{1}{m}+\frac{c}{n}}}$ | $t(m+n-2)$ | $(\bar{x}-\bar{y})\pm t_{1-\frac{\alpha}{2}}(m+n-2)\,s_w\sqrt{\frac{1}{m}+\frac{c}{n}}$ | | 双正态 | 方差未知，$m,n$ 极大 | $\mu_1-\mu_2$ | $\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}}}$ | $\dot\sim N(0,1)$ | $(\bar{x}-\bar{y})\pm u_{1-\frac{\alpha}{2}}\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}}$ | | 双正态 | 一般情况（Welch） | $\mu_1-\mu_2$ | $\frac{(\bar{x}-\bar{y})-(\mu_1-\mu_2)}{s_0}$ | $\approx t(l)$ | $(\bar{x}-\bar{y})\pm t_{1-\frac{\alpha}{2}}(l)\,s_0$ | | 均匀分布 | $X\sim U(0,\theta)$ | $\theta$ | $\frac{X_{(n)}}{\theta}$ | CDF $t^n$ | $[x_{(n)},\ x_{(n)}/\sqrt[n]{\alpha}]$ | | 双正态 | — | $\frac{\sigma_1^2}{\sigma_2^2}$ | $\frac{s_x^2}{s_y^2}\cdot\frac{\sigma_2^2}{\sigma_1^2}$ | $F(m-1,n-1)$ | $\left[\frac{s_x^2}{s_y^2}\frac{1}{F_{1-\frac{\alpha}{2}}(m-1,n-1)},\ \frac{s_x^2}{s_y^2}\frac{1}{F_{\frac{\alpha}{2}}(m-1,n-1)}\right]$ | > 其中 $s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$（或按方差比调整），$s_0^2=\frac{s_x^2}{m}+\frac{s_y^2}{n}$，$l=\frac{s_0^4}{\frac{s_x^4}{m^2(m-1)}+\frac{s_y^4}{n^2(n-1)}}$（Welch 自由度，非整数时取最接近的整数）。 ## 假设检验很多统计问题可以转化为有关参数的命题，因此出现了假设检验方法。记总体 $X$ 服从含参数 $\theta$ 的分布 $X(\theta)$，样本集为 $\mathbf{X}$，将有关参数 $\theta$ 的命题记为 **原假设** $H_{0}$，其否命题记为 **备择假设** $H_{1}$，总体记为： $$ H_{0}\quad \text{vs} \quad H_{1} $$ 记使得 $H_{0}$ 成立的 $\theta$ 构成参数空间 $\Theta_{0}$，使得 $H_{1}$ 成立的 $\theta$ 构成参数空间 $\Theta_{1}$，记为： $$ H_{0}:\theta \in \Theta_{0}\quad \text{vs} \quad H_{1}:\theta \in \Theta_{1} $$ 实际上，我们只能从样本集 $\mathbf{X}$ 中推测参数 $\theta$，为了判定（或者在一定水平上判定）$H_{0}$ 是否成立，引入 **拒绝域** 的概念，若样本集 $\mathbf{X}$ 属于拒绝域 $W$，则认为 $H_{0}$ 不成立，否则认为 $H_{0}$ 成立。记为： $$ H_{0}:\mathbf{X} \in W\quad \text{vs} \quad \mathbf{X} \in \overline {W} $$ 为了衡量拒绝域选择是否恰当，引入 **第一/二类错误**。 - 第一类错误：$\alpha=\alpha(\theta)=P_{\theta}(\mathbf{X}\in W)\quad (\theta \in\Theta_{0})$ - 第二类错误：$\beta=\beta(\theta)=P_{\theta}(\mathbf{X}\in \overline{W})\quad (\theta \in\Theta_{1})$ 第一类错误即 **拒真错误**，第二类错误即 **取伪错误**。一般来讲，降低 $\alpha$ 会增加 $\beta$，因此通常只关注一侧的大小，即限制 $\alpha$ 在一个较小值（比如 $0.05$）即可。如果对于给定的拒绝域 $W$ 和给定的第一类错误概率 $\alpha$，有 $P_{\theta}(\mathbf{X}\in W)<\alpha$ 对于任何 $\theta \in\Theta_{0}$ 成立，则称该拒绝域构成的检测是一个 **显著性水平为 $\alpha$ 的假设检验**。通常对样本集 $\mathbf{X}$ 做计算，得到统计量 $u_{0}=u(\mathbf{X})$，用 $u$ 的大小作为 $W$ 的判定依据。因此可以将 **简单的** 假设检验化为以下四种情形（其中的 $u_{0}$ 表示分界点）： $$ \begin{align} & H_{0}:u\leq u_{0}\quad \text{vs} \quad H_{1}:u>u_{0} \\ & H_{0}:u> u_{0}\quad \text{vs} \quad H_{1}:u\leq u_{0} \\ & H_{0}:|u|\leq u_{0}\quad \text{vs} \quad H_{1}:|u|>u_{0} \\ & H_{0}:|u|> u_{0}\quad \text{vs} \quad H_{1}:|u|\leq u_{0} \\ \end{align} $$ 以上述第一种假设检验形式为例，给定 $\alpha$ 后有两种方式应用。 > 计算拒绝域 $W$，判定样本集 $\mathbf{X}$ 的统计量 $u=u(\mathbf{X})$ 是否属于拒绝域 1. 解不等式 $P(u>c)=\alpha$ 得到临界值 $c$，拒绝域 $W=\{ u> c \}$。 2. 若 $u=u(\mathbf{X})\in W$，则拒绝原假设 $H_{0}$，否则接收原假设 $H_{0}$。 > 计算 $p$ 值，与 $\alpha$ 作比较 1. 记 $p=P(u> u(\mathbf{X}))$ 为 $p$ 值。 2. 若 $p\leq\alpha$，则拒绝原假设 $H_{0}$，否则接收原假设 $H_{0}$。 $p$ 值的直观理解为：可以拒绝 $H_{0}$ 的最小 $a$ 值。上述流程的合理性并不显然，需要加以论述：由第一种方式可以得到拒绝域 $W=\{ u> c \}$。 - 假设 $p\leq\alpha$，则有 $P(u> u(\mathbf{X}))\leq P(u> c)$，则有 $u(\mathbf{X})>c$，落入拒绝域。 - 假设 $p>\alpha$，则有 $P(u>u(\mathbf{X}))>P(u>c)$，则有 $u(\mathbf{X})\leq c$，没有落入拒绝域。其余假设检验形式的证明同理。 > 常用假设检验的统计量与拒绝域 **① 单正态 — 已知 $\sigma^{2}$，关于 $\mu$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu\leq\mu_{0}$ | $\mu>\mu_{0}$ | $u=\frac{\sqrt{n}(\bar{x}-\mu_{0})}{\sigma}$ | $u\geq u_{1-\alpha}$ | | $\mu\geq\mu_{0}$ | $\mu<\mu_{0}$ | 同上 | $u\leq-u_{1-\alpha}$ | | $\mu=\mu_{0}$ | $\mu\neq\mu_{0}$ | 同上 | $\lvert u\rvert\geq u_{1-\frac{\alpha}{2}}$ | **② 单正态 — 未知 $\sigma^{2}$，关于 $\mu$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu\leq\mu_{0}$ | $\mu>\mu_{0}$ | $t=\frac{\sqrt{n}(\bar{x}-\mu_{0})}{s}$ | $t\geq t_{1-\alpha}(n-1)$ | | $\mu\geq\mu_{0}$ | $\mu<\mu_{0}$ | 同上 | $t\leq-t_{1-\alpha}(n-1)$ | | $\mu=\mu_{0}$ | $\mu\neq\mu_{0}$ | 同上 | $\lvert t\rvert\geq t_{1-\frac{\alpha}{2}}(n-1)$ | **③ 双正态 — 已知 $\sigma_{1}^{2},\sigma_{2}^{2}$，关于 $\mu_{1}-\mu_{2}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu_{1}\leq\mu_{2}$ | $\mu_{1}>\mu_{2}$ | $u=\frac{\bar{x}-\bar{y}}{\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}}$ | $u\geq u_{1-\alpha}$ | | $\mu_{1}\geq\mu_{2}$ | $\mu_{1}<\mu_{2}$ | 同上 | $u\leq-u_{1-\alpha}$ | | $\mu_{1}=\mu_{2}$ | $\mu_{1}\neq\mu_{2}$ | 同上 | $\lvert u\rvert\geq u_{1-\frac{\alpha}{2}}$ | **④ 双正态 — $\sigma_{1}^{2}=\sigma_{2}^{2}$，关于 $\mu_{1}-\mu_{2}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu_{1}\leq\mu_{2}$ | $\mu_{1}>\mu_{2}$ | $t=\frac{\bar{x}-\bar{y}}{s_{w}\sqrt{\frac{1}{m}+\frac{1}{n}}}$ | $t\geq t_{1-\alpha}(m+n-2)$ | | $\mu_{1}\geq\mu_{2}$ | $\mu_{1}<\mu_{2}$ | 同上 | $t\leq-t_{1-\alpha}(m+n-2)$ | | $\mu_{1}=\mu_{2}$ | $\mu_{1}\neq\mu_{2}$ | 同上 | $\lvert t\rvert\geq t_{1-\frac{\alpha}{2}}(m+n-2)$ | **⑤ 双正态 — $m,n$ 充分大，关于 $\mu_{1}-\mu_{2}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu_{1}\leq\mu_{2}$ | $\mu_{1}>\mu_{2}$ | $u=\frac{\bar{x}-\bar{y}}{\sqrt{\frac{s_{x}^{2}}{m}+\frac{s_{y}^{2}}{n}}}$ | $u\geq u_{1-\alpha}$ | | $\mu_{1}\geq\mu_{2}$ | $\mu_{1}<\mu_{2}$ | 同上 | $u\leq-u_{1-\alpha}$ | | $\mu_{1}=\mu_{2}$ | $\mu_{1}\neq\mu_{2}$ | 同上 | $\lvert u\rvert\geq u_{1-\frac{\alpha}{2}}$ | **⑥ 双正态 — 近似检验（Welch），关于 $\mu_{1}-\mu_{2}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\mu_{1}\leq\mu_{2}$ | $\mu_{1}>\mu_{2}$ | $t=\frac{\bar{x}-\bar{y}}{s_{0}}$ | $t\geq t_{1-\alpha}(l)$ | | $\mu_{1}\geq\mu_{2}$ | $\mu_{1}<\mu_{2}$ | 同上 | $t\leq-t_{1-\alpha}(l)$ | | $\mu_{1}=\mu_{2}$ | $\mu_{1}\neq\mu_{2}$ | 同上 | $\lvert t\rvert\geq t_{1-\frac{\alpha}{2}}(l)$ | **⑦ 单正态 — 未知 $\mu$，关于 $\sigma^{2}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\sigma^{2}\leq\sigma_{0}^{2}$ | $\sigma^{2}>\sigma_{0}^{2}$ | $\chi^{2}=\frac{(n-1)s^{2}}{\sigma_{0}^{2}}$ | $\chi^{2}\geq\chi^{2}_{1-\alpha}(n-1)$ | | $\sigma^{2}\geq\sigma_{0}^{2}$ | $\sigma^{2}<\sigma_{0}^{2}$ | 同上 | $\chi^{2}\leq\chi^{2}_{\alpha}(n-1)$ | | $\sigma^{2}=\sigma_{0}^{2}$ | $\sigma^{2}\neq\sigma_{0}^{2}$ | 同上 | $\chi^{2}\leq\chi^{2}_{\frac{\alpha}{2}}(n-1)$ 或 $\chi^{2}\geq\chi^{2}_{1-\frac{\alpha}{2}}(n-1)$ | **⑧ 双正态 — 未知 $\mu_{1},\mu_{2}$，关于 $\frac{\sigma_{1}^{2}}{\sigma_{2}^{2}}$ 的检验** | $H_{0}$ | $H_{1}$ | 检验统计量 | 拒绝域 | | :--- | :--- | :--- | :--- | | $\sigma_{1}^{2}\leq\sigma_{2}^{2}$ | $\sigma_{1}^{2}>\sigma_{2}^{2}$ | $F=\frac{s_{x}^{2}}{s_{y}^{2}}$ | $F\geq F_{1-\alpha}(m-1,n-1)$ | | $\sigma_{1}^{2}\geq\sigma_{2}^{2}$ | $\sigma_{1}^{2}<\sigma_{2}^{2}$ | 同上 | $F\leq F_{\alpha}(m-1,n-1)$ | | $\sigma_{1}^{2}=\sigma_{2}^{2}$ | $\sigma_{1}^{2}\neq\sigma_{2}^{2}$ | 同上 | $F\leq F_{\frac{\alpha}{2}}(m-1,n-1)$ 或 $F\geq F_{1-\frac{\alpha}{2}}(m-1,n-1)$ | > 其中 $s_{w}^{2}=\frac{(m-1)s_{x}^{2}+(n-1)s_{y}^{2}}{m+n-2}$，$s_{0}^{2}=\frac{s_{x}^{2}}{m}+\frac{s_{y}^{2}}{n}$，$l=\frac{s_{0}^{4}}{\frac{s_{x}^{4}}{m^{2}(m-1)}+\frac{s_{y}^{4}}{n^{2}(n-1)}}$（Welch 自由度，非整数时取最接近的整数）。