分布式训练 开始之前首先贴几个链接： openmlsys 分布式训练——通信原语 分布式——集合通信 背景 算力不足 单处理器的算力不足是促使人们设计分布式训练系统的一个主要原因。一个处理器的算力可以用每秒钟浮点数操作（Floating Point Operations Per Second，FLOPS）来衡量。根据摩尔定律（Moore’s Law），中央处理器的算力每1

Computational Graph Background 早期的机器学习框架主要是针对较为简单的全连接（e.g FNN）和卷积神经网络设计，这些神经网络模型的结构比较简单，神经网络层之间串行连接，我们很容易分析出数据流过神经网络模型时的计算过程。因此，这样的固定计算过程可以用简单的配置文件来定义，一旦给定这样的配置文件，我们就可以清楚地表达出模型定义。

动态规划算法实例 这是遇到的一些有趣的算法题，之后遇到会陆续汇总在这里。

深度前馈网络 今天介绍一个非常基础的神经网络模型，深度前馈网络（deep feedforward network），也叫做前馈神经网络（feedforward neural network,FNN）或者多层感知机（multilayer percetron,MLP），是典型的深度学习网络模型。

最后的生还者 前序 游戏史上有一款伟大的游戏，在还未正式发售时，就已经提前征服了各大游戏媒体，获得了共计30个媒体的满分。

生成式对抗网络 GAN GAN的基本原理 生成对抗网络（GAN）由2个重要的部分构成： 生成器(Generator)：通过机器生成数据，目的是“骗过”判别器。 判别器(Discriminator)：判断数据是真实的还是生成的，目的是找出生成器做的“假数据”。

Diffusion 模型的原理 前言 扩散模型（Diffusion Models）是近年来在生成建模领域中取得显著进展的一类模型。其核心思想是通过模拟数据的逐步退化和还原过程，学习到数据的分布。

梦的苇场     阳光，阳光，洒在粼粼的水面上，肆意倾泻着光芒。在一片芦苇场，一缕白衣飘然在芦苇荡，惆怅，惆怅，是茫然无措的灵魂在寻找心的方向。