lec1
Bayesian statistics
joint probability, P(x,y) 用逗号隔开，它和P(y,x)是对称的。它代表了同时发生x和y的概率。
如果x和y是independent，则P(x,y)=P(x)*P(y)
P(x,y)等于P(xy|)✖️P(y)或者P(y|x)✖️P(x)
P(x|y)是conditional probability，代表了在发生y的时候，发生x的概率。
贝叶斯公式
P(x|y) = joint probability of x,y divided by P(y), 也就是P(x,y)/P(y), 或者说 【P(y|x) ✖️P(x)】/ P(y)
P(x)和P(y)都是marginal probability，它代表了无论另一个condition是什么情况，它会发生的概率。计算方法就是把所有另一个比如说y的condition的时候的P(x)加起来，比如下面的图
添加图片注释，不超过 140 字（可选）
prior probability和marginal probability类似，不过它是基于先验知识，比如根据历史数据对现在某个时间的假设。P(H) hypothesis。
posterior probability是指数据更新后的probability，后验概率
Likelihood
假设一系列的数据X
添加图片注释，不超过 140 字（可选）
他们的joint distribution就是所有的f(x|theta)相乘
添加图片注释，不超过 140 字（可选）
得到的结果就叫likelihood
添加图片注释，不超过 140 字（可选）
Prior
先验可以是基于theta的distribution
添加图片注释，不超过 140 字（可选）
Marginal distribution
本质上就是integrate积分了joint distribution
假设给定normal likelihood 和normal prior，相乘算出joint distribution，然后求出后验，后验往往是normal
known或者observed，是关于data的prior，
添加图片注释，不超过 140 字（可选）
elicited是关于parameter的prior，你相信的假设
添加图片注释，不超过 140 字（可选）
如果计算上面的joint，也就是h(x,theta)
添加图片注释，不超过 140 字（可选）
最终会得到
添加图片注释，不超过 140 字（可选）
由上面的公式，可以导出 后验theta|X 和X的分布
添加图片注释，不超过 140 字（可选）
画圈圈的两个的关系是w和1-w
后验theta的mean是下面公式左边的一坨，x和μ前面的系数是w 和1-w的关系
添加图片注释，不超过 140 字（可选）
如果w接近于1，数据的variance sigma^2 << 先验theta的variance tao^2，后验的mean则更接近于数据(observed)的x
如果w接近0，数据的variance sigma^2 >> 先验theta的variance tao^2, 后验的mean则更接近于先验(elicited)的μ
Distribution
discrete distribution 里有bernoulli和bionomial
bernoulli是单个事件，0或者1
binomial是多次发生bernolli
probability density function 是形容probability density的，y value 代表了density，它的积分是CDF
pdf用小写的f(x)
cumulative density function 是pdf的积分，y value代表了probability，最大y是1
CDF用大写的F(x)
PDF面积的一半，就是median，CDF 找y轴上的一半。
Q1 Q3是25和75th quantile, 也就是PDF面积的25%和75%
如果probability是discrete的，就是probability mass function
normal distribution
添加图片注释，不超过 140 字（可选）
logistic regression
添加图片注释，不超过 140 字（可选）
https://www.youtube.com/watch?v=EKm0spFxFG4www.youtube.com/watch?v=EKm0spFxFG4
beta1 x + beta 是log odds
所以也可以写成1/【1+exp(-log odds)】
添加图片注释，不超过 140 字（可选）
odds 是P/(1-P) 发生事件的P除以不发生的概率
log odds 是 ln(odds)
P/(1-P)中的P是P(1|X)，带入
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
b1代表着每次X有一个单位的增长，log odds就会增长b1