概率统计A
概率论(第1章—第6章)
一、随机事件的概率
1.1 随机事件与样本空间
基本定义
试验：各种各样的科学试验或对某一事物的某种特性的观察。
随机试验：有如下特点的试验（用E表示）：
- 可在相同的条件下重复进行
- 试验的可能结果不止一个，但能明确所有可能的结果
- 试验前不能预知出现哪种结果、
样本空间：随机试验E 所有可能的结果组成的集合，记为S 或者$\Omega$.
基本事件：随机试验的每一个可能结果；常记为e ；是样本空间的元素； S = {e}.
随机事件 ：是在随机试验中可能发生也可能不发生的事情；样本空间的子集，常记为 A ,B ,…
必然事件：所有样本点所组成的事件，S， 每次试验必定发生的事件
不可能事件：每次试验必定不发生的事情，不包含任何样本点的事件 , 记为$\varnothing$
随机事件的关系和运算
$AB$或$A\cap B$——事件A 与事件B 的积事件
A - B 差事件
$A+B$或$A\cup B$——事件A 与事件B 的和事件
事件A 与事件B 互斥(互不相容) ——AB=$\varnothing$
事件A 与事件B 互相对立（互逆）——AB=$\varnothing$ 且 $A\cup B=S$ 即：$B=\overline A$
1.2 概率的定义及其性质
古典概率模型
设 E 是一随机试验，如果它具有下列条件：
- q 基本事件的个数有限 S = {e1 ,e2 ,…,en }
- q每个基本事件发生的可能性大小相同
- P(e1 ) = P(e2 ) =…= P(en )
则称 E 为 古典概型
几何概型
设样本空间是一个有限区域S （如：线段， 平面有界区域，空间有界区域等等。） ，做随机试验：向区域S内投一质点M，若质点M 落入S内任何子区域A中的概率与区域A 的度 量成正比，而与A 的位置和形状无关，则称此试验为几何型随机试验，简称几何概型
统计
设在 n 次试验中，事件 A 发生了$n_A$次， 则称 $f_n(A)=\frac{n_A}{n}$为事件A 在这 n 次试验中发生的频率。$f_n(A)$定义为概率P(A)
频率的性质
- $0<=f_n(A)<=1$——非负性
- $f_n(S)=1$——规范性
- 事件 A, B互斥，则 $f_n(A\cup B)=f_n(A)+f_n(B)$——可加性
1.3 概率的公理化定义及概率的性质
1.事件域
则F为事件域
2.概率的公理化定义
3.概率的性质
- $P(\varnothing)=0$
- 有限可加性：设A1, A2…An为两两互斥事件
- $P(\overline A)=1-P(A)$
- 若$A\subset B,则P(B-A)=P(B)-P(A) $ 且$P(A)<=P(B)$
- 加法公式：对任意两个事件A, B, 有
1.4 条件概率与概率的乘法公式
条件概率定义
条件概率的常用性质
概率的乘法公式
概率的乘法公式的推广结果
1.5 全概率公式与Bayes (贝叶斯）公式
全概率公式
$\rightarrow$ 
Bayes公式！！！
1.6 事件的独立性
定义
设A与B是两个随机事件，如果成立==P(AB)=P(A)*P(B)== ， 则称事件A与B依概率==相互独立==，简称独立
几个定理和性质
特殊事件的相互独立的性质
- 若P(A)=0 或 P(A)=1，则对任意事件B， 有A与B独立；
- 反之，若对任意事件B，A与B独立， 则 P(A)=0 或 P(A)=1。
几个相互独立的定理
四对事件，任何一对相互独立，则其它三对也相互独立：$A, \overline B; \overline A, B; \overline A, \overline B; A, B$ 。
P(A)>0 P(B)>0 则“事件 A 与 事件 B 相互独立”和 “事件 A 与 事件 B 互斥” ==不能同时成立==, 相互独立的时候一定有==交集==。即：P(A)*P(B)>0
三事件 A, B, C 相互独立是指下面的关系式同时成立：
注：
1) 不能由关系式(1)推出关系式(2), 反之亦然
2)仅满足(1)式时,称 A, B, C 两两独立
3)A, B, C 相互独立 $\Rightarrow$ A, B, C 两两独立
n 个事件 A1, A2, …, An 相互独立是指下面的关系式同时成立：
独立的性质
！！！很常用$P(A+B)=1-P(\overline A \overline B)$
二、随机变量及其分布
2.1 随机变量概念/分类
- 离散型：随机变量的取值只有有限个或可列个
- 连续性随机变量
- 非离散非连续随机变量
2.2 随机变量的分布函数
定义
分布函数的性质
2.3 离散型随机变量及其概率分布
离散型随机变量的概念
若随机变量 X 的可能取值是有限多个或无穷可列多个，则称 X 为离散型随机变量
离散型随机变量X的分布律
表示方法
(1)公式法
(2)列表法或矩阵法 
分布律的基本性质
2.4 常见的离散型随机变量的分布
(1) 0 – 1 分布
分布律
贝努利试验与0、1分布
(2) 二项分布 B(n, p) （伯努利分布）
此处，类似的用二项式定理可以用于解决一些求期望的问题
二项分布中最可能出现次数的定义与推导
泊松定理
一般在$n>=10,且p<=0.1时可以这样近似$
(3) 超几何分布
(4) Poisson 分布
三个分布的关系
超几何分布的极限分布是二项分布， 二项分布的极限分布是 Poisson 分布
2.5 连续型随机变量
连续型随机变量的概念（与概率密度函数绑定）
f ( x )（概率密度函数）的基本性质
f ( $x_0$ ) 描述了X 在 x0 附近单位长度的区间内取值的概率。
对于连续型随机变量X , ==P ( X = a) = 0== 这里 a 可以是随机变量 X 的一个==可能的取值==，但==概率为1 (零) 的事件未必发生 (不发生)==。
2.6 常见的连续性随机变量的分布
(1) 均匀分布
类似几何概型
(2) 指数分布
2.7 正态分布
定义
欧拉-泊松积分推导正态分布公式
f (x) 的性质
一种重要的正态分布：N (0,1) — 标准正态分布
几个重要结论
$\Phi(0)=\frac 1 2$
$\Phi(-x)=1-\Phi(x)$
$P(|X|<a)=2\Phi(a)-1$ （$即2(\Phi(a)-{1\over 2})$）
一般的正态分布！！！！重要
$X—N(\mu,\sigma^2)$ $\Rightarrow$ 
$\Rightarrow$ 
$\alpha$分位点
$其他分布的\alpha分位点与这个定义一致$
分位点的性质: (0 < α < 1)
三、二维随机变量
3.1二维随机变量及其分布
一.二维随机变量及其分布函数
1.二维随机变量的定义
2.分布函数的定义
3.分布函数的性质
重要结论 $\Rightarrow$ 
注：可以证明:凡满足上述性质1-4的二元函数 F(x,y) 必定是某个二维随机变量的分布函数
4.二维随机变量的分类
- 二维离散型随机变量及其分布：分布律、分布函数
- 二维连续型随机变量及其分布：分布密度、分布函数
注：对于二维随机变量，==$F(X>a,Y>c)\neq 1-F(a,c)$== ！！！
$F(X>a,Y>c)= 1-(F(a)+F(c)-F(a,c))$
二.二维离散型随机变量及其分布
概念
若二维随机变量 ( X, Y ) 所取的可能值是==有限对或无限可列多对==,则称 ( X, Y ) 为二维离散型随机变量
分布律
联合分布函数
三.二维连续型随机变量及其分布
联合概率密度
定义
性质
常见的连续型二维随机变量的分布
二维均匀分布
二维正态分布
若二维随机变量( X ,Y ) 的联合密度为
3.2二维随机变量的边缘分布函数
定义
计算
3.3 二维离散型随机变量的边缘分布律
二维离散型随机变量的边缘分布律
(1) 二维离散型随机变量的边缘分布律的概念及求法
(2) 离散型二维随机向量的边缘分布的表格表示
3.4二维连续型随机变量边缘概率密度函数
二维连续型随机变量的边缘密度的计算公式
已知联合概率密度可以求得边缘概率密度； 反之则不能确定，或者不能唯一确定
常见二维随机变量边缘分布函数性质
3.5 条件分布
一 、离散型随机变量的条件分布律
二、二维连续型随机变量的条件分布函数和条件密度函数
１、条件分布函数
公式
3.6 随机变量的独立性
定义
二维离散型随机变量( X, Y ) 相互独立
二维连续型随机变量 ( X, Y ) 相互独立
正态分布两个变量相互独立$<=>\rho=0$
判断连续型二维随机变量相互独立的两个结论
四、随机变量的函数的分布
4.1离散型随机变量函数的分布
1.一维离散型随机变量函数的分布
2.二维离散型随机变量函数的分布
关于二项分布和泊松分布有如下的重要结论
4.2一维连续型随机变量函数的分布
已知随机变量 X 的概率密度函数 f (x) (或分布函数),求 Y = g( X ) 的概率密度函数或分布函数, 其中y = g( x )为连续函数
两个例子
4.3二维连续型随机变量函数的分布
问题：已知二维随机变量( X ,Y )的密度函数， g(x,y)为已知的二元函数，Z = g( X ,Y ) 求：Z 的密度函数
在本节中，我们重点讨论两种特殊的函数关系： (a) Z = X+Y (b) Z = max{ X,Y } 和 Z = min{ X,Y }, 其中 X 与 Y 相互独立.
(1) 和的分布：Z = X + Y （可以推广至差的分布）
遇到$Z=kX+mY,|kX+mY|$ 的情况，先求出$f(x,y)$，再根据线性规划的思想方法根据公式$fZ(z)=\int{-\infty}^{+\infty}f(x,z-x)dx$ 分类讨论计算出概率密度
独立正态随机变量之和的情形
(2) 平方和的分布： Z = X$^2$+Y$^2$
(3) 极值分布：即极大值，极小值的分布
X，Y相互独立情况下 最常见，求概率密度一般从概率分布函数入手
对于连续型随机变量， 设 X ,Y 相互独立, X ~ F$_X$ (x), Y ~ F$_Y$ (y), M = max{ X ,Y }, N = min{ X ,Y }, 求 M , N 的分布函数.
MAX(X,Y)
MIN(X,Y)
推广
另一种计算方法
五、随机变量的数字特征
5.1 随机变量的数学期望
数学期望的定义
常见随机变量的数学期望
超几何分布：$X—H(n,N,M)$ 取n次 一共N件产品，其中有M件次品
$EX=n*{M \over N}$
$DX=n{M \over N}(1-{M \over N})*\frac {N-n}{N-1}$ 很类似二项分布
一般随机变量函数的数学期望
几个重要的随机变量函数的数学期望——包括：原点矩，中心矩，协方差，相关系数
数学期望的性质
5.2 方差
方差的概念，定义
常用的计算方差的公式 （很常用）
$D(X)=E(X^2)-E^2(x)$
方差的性质
常见随机变量的方差
标准化随机变量
仅知随机变量的期望与方差并不能确定其分布
但若已知分布的类型，及期望和方差，常能确定分布
5.4 协方差和相关系数
协方差和相关系数的定义
协方差和相关系数的计算
利用==函数的期望==或==方差==计算协方差
协方差和相关系数的性质
5.5 矩、协方差矩阵
1.矩的概念来源和矩的定义
2.说明
(1)以上数字特征都是随机变量函数的数学期望 ;
(2) 随机变量 X 的数学期望 E(X) 是 X 的一阶原点矩,方差为二阶中心矩 , 协方差 Cov(X,Y) 是 X 与 Y 的二阶混合中心矩;
(3) 在实际应用中,高于 4 阶的矩很少使用. 三阶中心矩$E{|X - E(X)|^3 }$主要用来衡量随机变量的分布==是否有偏==. 四阶中心矩 $E{|X - E(X)|^4 }$主要用来衡量随机变量的==分布==在==均值附近的陡峭程度==如何.
3.协方差矩阵
协方差矩阵的应用
协方差矩阵可用来表示多维正态随机变量的概率密度，从而可通过协方差矩阵达到对多维正态随机变量的研究。
4.二维正态随机变量的概率密度函数表示形式
5.n维正态随机变量的定义
6.n 维正态随机变量的性质
六、大数定律与中心极限定理
6.1切比雪夫 (Chebyshev )不等式
定义
非常重要！！！可用于证很多极限
注：Chebyshev 不等式对于 $\epsilon^2<\sigma^2$无实际意义
6.2 大数定律
切比雪夫（Chebyshev） 大数定律
切比雪夫大数定律推论的意义
具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望. 当 n 足够大时，算术平均值几乎就是一个常数, 可以用算术平均值近似地代替数学期望.
伯努利（Bernoulli） 大数定律
伯努利（Bernoulli） 大数定律的意义
辛钦大数定律（即上面的切比雪夫大数定律的推论）
6.1、6.2做题模式：利用切比雪夫不等式，证明辛奇大数定律或者切比雪夫大数定律
6.3 中心极限定理
定义
定理1 独立同分布的中心极限定理
这里的$Y_n也可以写成Y^*$
类似之前的标准向量$X^*$
定理2 德莫佛 — 拉普拉斯定理 （DeMoivre-Laplace ）
数理统计(第7章—第9章)
七、数理统计的基本概念
7.1 基本概念
总体和个体
总体 —— 研究对象全体元素组成的集合——在实际中通常指所研究的对象的某个(或某些)数量指标的全体,它是随机变量，可记为X
总体—— 随机变量X。X 的==分布函数==和==数字特征==称为总体的==分布函数==和==数字特征==。
个体 —— 组成总体的每一个元素。即总体的==每个数量指标==,可以看作随机变量 X 的==某个取值==。
样本与样本值
随机抽样 —— 从客观存在的总体中,按照==机会均等==的原则随机的抽取一些个体进行观测的过程
样本观测值—— 从一总体X中,随机的抽取n个个体(有放回的抽取),得到n个观测值$x_1,x_2…x_n$ 称它们为总体 X 的一个容量为n 的样本观测 值,或称==样本的一个实现==。
7.2 样本矩与统计量
统计量定义
常用的统计量
(1)-(4)样本矩
(5)顺序统计量
经验分布函数
注意：样本方差和样本中心矩不同 （还需理解）
这里的$S_n^2$其实就是样本二阶中心矩$B_2$，也是前面方差的定义式
而$S^2$则是样本方差
7.3 统计量的分布
统计中常用分布
(1) 正态总体样本的线性函数的分布
定义
(2) $\chi^2(n)$ 分布 ( n为自由度 )！！！！
定义
$\chi^2(n)$ 分布的性质
(3) t 分布！！！！
t 分布的性质
$\alpha $分位点
两个相关定理
(4) F 分布！！！！
定义
F 分布的性质
八、参数估计
统计推断的基本问题
8.1参数的点估计
矩估计法
==总体分布类型未知==
先根据概率密度$f(x,\theta)$，求出$EX,EX^2,DX…$等总体矩（但是为了求出$\theta$，需要让求出的结果包含$\theta$)
再根据求得的总体矩和$\theta$的关系，利用样本矩反推出$\theta$
极大似然估计法
极大似然估计法是在==总体的分布类型已知==的条件下所使用的一种参数估计方法。
求未知参数的极大似然估计值(量)的方法
极大似然估计值的不变性原理
8.2点估计量的优良性
1.无偏估计
无偏性
例题
2.最小方差无偏估计
有效性
3.一致(或相合)估计
一致性
8.3区间估计与置信区间
置信区间基本概念与求法
置信区间的意义
置信区间的定义
几点说明
graph LR A[α降低]-->B[置信区间长度增大] A-->C[估计精度高] A-->D[之前拒绝的现在不一定拒绝]
求置信区间的步骤
置信区间常用公式
(一) 一个正态总体$X—N ( \mu ,\sigma ^2)$的情形
(二) 单侧置信区间
九、假设检验
9.1 假设检验的基本概念
何为假设检验?
假设是指施加于一个或多个总体的概率分布或参数的判断. 所作的假设可以是正确的, 也可以是错误的.
为判断所作的假设是否正确, 从总体中抽取样本, 根据样本的取值, 按一定的原则进行检验, 然后, 作出接受或拒绝所作假设的决定.
假设检验的内容
假设检验的理论依据
假设检验所以可行，其理论背景为实际推断原理，即“小概率原理”
假设检验的两类错误
希望所用的检验方法尽量少犯错误,但不能完全排除犯错误的可能性.理想的检验方法应使犯两类错误的概率都很小,但在样本的容量给定的情形下, 不可能使两者都很小,降低一个, 往往使另一个增大.
假设检验的指导思想是控制犯第一类错误的概率不超过$\alpha$,然后, 若有必要,通过增大样本容量的方法,减少 $\beta$
概念
拒绝 H0的概率为$\alpha$ , $\alpha$又称为显著性水 平, $\alpha$越小,犯第一类错误的概率越小
$H_0$：原假设或零假设
原假设的对立面$H_1$：备择假设——备择假设可以为单侧或双侧
假设检验的步骤
9.2 正态总体的参数检验
关于$\mu$ 的检验($\sigma^2$已知)
关于$\mu$ 的检验($\sigma^2$未知)
关于$\sigma^2$的检验($\mu$ 未知)
关于$\sigma^2$的检验($\mu$ 已知)
随机过程(第10章—第12章)
十、随机过程的基本概念
随机变量$X(t)—>$对于每一个t来说的
随机变量族——随机过程${N(t),t\in [0,+\infty]}$
10.1随机过程的定义
随机过程定义
例子
对定义的理解
固定t——随机变量——n维分布
固定e——样本函数
随机过程分类
10.2随机过程的概率分布
单个随机过程有限维分布
两个随机过程有限维联合分布及独立性
10.3随机过程的数字特征
均值、均方值、方差和均方差是刻划随机过程在各个状态的统计特性的； 过程的任何两个不同状态的统计特性的。
这五个数字特征之间，具有如下关系：
十一、平稳过程
11.1 严平稳过程
定义
严平稳过程的一维、二维分布函数的性质
严平稳过程的等价条件
严平稳过程的数字特征的性质
11.2 广义平稳过程
广义平稳过程的定义
广义平稳过程的数字特征的性质
严平稳过程与广义平稳过程的关系
两个平稳过程的关系
广义平稳过程通常简称为平稳过程
11.3正态平稳过程
正态过程，正态序列
正态平稳过程
11.4遍历过程(历经过程)
一.时间均值和时间相关函数
二. 各态遍历性
经典例题
十二、马尔可夫链
马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程
12.1马尔可夫链的定义
12.2参数离散的齐次马尔可夫链
一、转移概率矩阵
