Document Preview:

Contents 3 Maximum likelihood and Bayesian estimation 3 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3.2 Maximum Likelihood Estimation . . . . . . . . . . . . . . . . . . . . . 4 3.2.1 The General Principle . . . . . . . . . . . . . . . . . . . . . . . 4 3.2.2 The Gaussian Case: Unknown ¹ . . . . . . . . . . . . . . . . . 7 3.2.3 The Gaussian Case: Unknown ¹ and § . . . . . . . . . . . . . 7 3.2.4 Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.3 Bayesian estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.3.1 The Class-Conditional Densities . . . . . . . . . . . . . . . . . 10 3.3.2 The Parameter Distribution . . . . . . . . . . . . . . . . . . . . 10 3.4 Bayesian Parameter Estimation: Gaussian Case . . . . . . . . . . . . . 11 3.4.1 The Univariate Case: p(¹jD) . . . . . . . . . . . . . . . . . . . 11 3.4.2 The Univariate Case: p(xjD) . . . . . . . . . . . . . . . . . . . 14 3.4.3 The Multivariate Case . . . . . . . . . . . . . . . . . . . . . . . 14 3.5 Bayesian Parameter Estimation: General Theory . . . . . . . . . . . . 16 Example 1: Recursive Bayes learning and maximum likelihood . . . . . 17 3.5.1 When do Maximum Likelihood and Bayes methods di®er? . . . 19 3.5.2 Non-informative Priors and Invariance . . . . . . . . . . . . . . 20 3.6 *Su±cient Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Theorem 3.1: Factorization . . . . . . . . . . . . . . . . . . . . . . . . 22 3.6.1 Su±cient Statistics and the Exponential Family . . . . . . . . . 24 3.7 Problems of Dimensionality . . . . . . . . . . . . . . . . . . . . . . . . 27 3.7.1 Accuracy, Dimension, and Training Sample Size . . . . . . . . . 27 3.7.2 Computational Complexity . . . . . . . . . . . . . . . . . . . . 28 3.7.3 Over¯tting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.8 *Expectation-Maximization (EM) . . . . . . . . . . . . . . . . . . . . . 32 Algorithm 1:…