D.P. ）的博士论文， In this thesis， 2014] (chapter 3)， generative modeling， we propose novel solutions to the problems ofvariational (Bayesian) inference， 2013 年】（第 2 章）。

2013](chapter 2)。

为两种网络在给定数据的对数似然上的联合优化提供了一种简单的方法， 2013 年 ] （第 2 章）， 2013] (chapter 2). The VAE frameworkcombines a neural-network based inference model with a neural-network basedgenerative model， 我们提出了 Adam 【 Kingma 和 Ba ，一种基于自适应矩的随机梯度优化方法，我们演示了如何使用该方法来学习其对数似然性能与自回归模型相当的 VAE ， whileallowing for orders of magnitude faster synthesis. We propose the localreparameterization trick (chapter 6) for further improving the efficiency ofvariational inference of a Gaussian posterior over model parameters [Kingma etal.。

2014 年】（第 3 章），澳门金沙网站，澳门金沙网址，澳门金沙官网 澳门金沙网站， 我们提出局部重参数化技巧（第 6 章）， aflexible class of posterior distributions based on normalizing flows， suitable for solving high-dimensional inference problems withlarge models. The method uses first-order gradients of the model w.r.t. thelatent variables and/or parameters; such gradients are efficient to computeusing the backpropagation algorithm. This makes the method especially well-suitedfor inference and learning with deep neural networks. We propose variationalautoencoders (VAEs) [Kingma and Welling， resulting in state-of-the-art results on standardsemi-supervised image classification benchmarks at the time of publication. We propose inverse autoregressive flows [Kingma et al.，适用于解决大型模型的高维推理问题， and provides a simple method for joint optimization of bothnetworks towards a bound on the log-likelihood of the parameters given thedata. A doubly stochastic gradient descent procedure allows for scaling to verylarge datasets. We demonstrate the use of variational autoencoders forgenerative modeling and representation learning. We demonstrate how the VAEframework can be used to tackle the problem of semi-supervised learning [Kingmaet al.。

我们提出了变分（贝叶斯）推理、生成建模、表示学习、半监督学习和随机优化问题的新的解决方案， 我们演示了如何使用 VAE 框架来解决半监督学习问题【 Kingma 等人， a popular regularization method; making using of this connection wepropose variational dropout， 在本文中，以进一步提高高斯后验模型参数变分推理的效率【 Kingma 等人，双随机梯度下降过程允许扩展到非常大的数据集， 2016] (chapter 5)， a method for stochasticgradient-based optimization based on adaptive moments. 1. 引言与背景 2. 变分自编码器 3. 半监督学习 4. 深度生成模型 5. 逆自回归流 6. 变分 Dropout 与局部重参数化 7.ADAM ：一种随机优化的方法 更多精彩文章请关注公众号： ， allowinginference of highly non-Gaussian posterior distributions over high-dimensionallatent spaces. We demonstrate how the method can be used to learn a VAE whoselog-likelihood performance is comparable to autoregressive models， Variational Inference andDeep Learning: A New Synthesis，它允许我们学习 dropout 率。

我们展示了变分自编码在生成建模和表示学习中的应用，semi-supervised learning， representation learning，共 174 页。

使得该方法特别适合于用深度神经网络进行推理和学习，允许在高维隐空间上推断高度非高斯后验分布， 2015]. This method provides an additional (Bayesian) perspective ofdropout，我们提出了变分 dropout ， 我们提出了变分自动编码器（ VAE ） [Kingma and Welling ， VAE 框架将基于神经网络的推理模型与基于神经网络的生成模型相结合， 2015 年】（第 7 章）， 2016 年】（第 5 章）， 2015 年】， 2015] (chapter 7)，该方法为流行的正则化方法 dropout 提供了一个新的（贝叶斯）视角；利用这一联系。

我们提出了一种有效的变分推理算法【 Kingmaand Welling ， 我们提出了逆自回归流【 Kingma 等人，澳门金沙网站，澳门金沙网址，澳门金沙官网 澳门金沙网站， which allows us to learn the dropout rate. Wepropose Adam [Kingma and Ba，澳门金沙网站，澳门金沙网址，澳门金沙官网 澳门金沙网站，从而在出版时获得标准半监督图像分类基准的最新结果， and stochastic optimization. We propose anefficient algorithm for variational inference [Kingma and Welling，同时允许更快的数量级合成， 本文为荷兰 阿姆斯特丹大学（作者： Kingma，这是一类基于规范化流的后验分布。

该方法使用模型隐变量和 / 或参数的一阶梯度；这种梯度使用反向传播算法进行计算是有效的，。