机器学习的问题中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据也希望模型可以进行正确的识别。 发生过拟合的原因，主要有以下两个： 模型拥有大量参数、表现力强。训练数据少。 那么如何来抑制过拟合 正则化是有效方法之一，它不仅可以有效降低高方差，还有利于降低偏差。何为 继续阅读

在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。本节将介绍权重初始值的推荐值，并通过实验确认神经网络的学习是否会快速进行。 可以将权重初始值设为0吗 后面我们会介绍抑制过拟合、提高泛化能力的技巧 —— 权值衰减。 权值衰减就是一种以减小权重参数的值为目的进行学习的方法。 如果想减小权重的值，一开始就将初始值设为较小的值才是正途。实际上在这之前的权重初始值都是像0. 继续阅读

超参数指的是，比如各层的神经元数量、batch大小、参数更新时的学习率或权值衰减等。如果这些超参数没有设置合适的值，模型的性能就会很差。 那么如何能够高效地寻找超参数的值的方法 验证数据 之前我们使用的数据集分成了训练数据和测试数据，训练数据用于学习测试数据用于评估泛化能力。 下面要对超参数设置各种各样的值以进行验证。这里要注意的是不能使用测试数据评估超参数的性能。这一点非常重要，但也容易被忽视。为什么不能使用测试数据评估超参数的性能&# 继续阅读

什么是大小端？ 大小端是指数据存储或者传输时的字节序， 具体分为大端和小端 大端（Big-Endian）模式：是指数据的低位（就是权值较小的后面那几位）保存在内存的高地址中，而数据的高位，保存在内存的低地址中；地址由小向大增加，而数据从高位往低位放。 小端（Little-Endian）模式：是指数据的 继续阅读