Keras架构的主要逻辑实现在/keras/engine/topology.py中，主要有两个基类Node()和Layer()，一个重要函数Input()。具体地，

• Layer()是一个计算层的抽象，完成网络中对Tensor的计算过程；
• Node()描述两个层之间连接关系的抽象，配合Layer()构建DAG；
• Input()实例化一个特殊的Layer(InputLayer)，将backend（TensorFlow或Theano）建立的Tensor对象转化为Keras Tensor对象。

阅读更多

本文主要记录使用TensorFlow训练模型中与试验管理相关的最佳实践，主要包括模型训练的大致代码框架、模型的保存与恢复、训练过程的监测、随机性的控制等。主要材料来自CS 20SI: Tensorflow for Deep Learning Research。

阅读更多

阅读更多

本文探索了参数标准化(Weight Normalization)这一技术在GAN中的应用。BN在mini-batch的层级上计算均值和方差，容易引入噪声，并不适用于GAN这种生成模型，而WN对参数进行重写，引入噪声更少。

阅读更多

深层网络在图片分类问题上表现优异，但网络结构的设计上并没有统一的指导。进化是构建深度网络架构的一种方式。利用本文的自动化方法得出的深度网络结构，已经能在CIFAR-10上取得可以跟人工设计的网络相媲美的结果。

阅读更多

阅读更多

阅读更多

基于动态图的深度学习框架如Pytorch,DyNet提供了更为灵活的结构和数据维度的选择，但要求开发者自行将数据批量化，才能最大限度地发挥框架的并行计算优势。

阅读更多

本文讨论LSTM网络的Pytorch实现，兼论Pytorch库的代码组织方式和架构设计。

阅读更多

阅读更多