分享好友 人工智能首页 频道列表

keras channels_last、preprocess_input、全连接层Dense、SGD优化器、模型及编译

keras教程  2023-02-09 19:2310120

channels_last 和 channels_first

keras中 channels_last 和 channels_first 用来设定数据的维度顺序(image_data_format)。

对2D数据来说,"channels_last"假定维度顺序为 (rows,cols,channels), 而"channels_first"假定维度顺序为(channels, rows, cols)。

对3D数据而言,"channels_last"假定(conv_dim1, conv_dim2, conv_dim3, channels),"channels_first"则是(channels, conv_dim1, conv_dim2, conv_dim3)。

可通过 keras.backend.image_data_format() 来获取当前的维度顺序,一般默认顺序是 channels_last。


preprocess_input(img)

keras中 preprocess_input() 函数完成数据预处理的工作,数据预处理能够提高算法的运行效果。常用的预处理包括数据归一化和白化(whitening)。

深度学习中数据归一化的常用方法:

1. 简单缩放Simple Rescaling)

简单缩放方法是通过对数据各个维度上的值进行重新调节,使得数据整体上分布在[0,1]或[-1,1]区间。

2. 逐样本均值消减(Per-example mean subtraction)

逐样本均值消减,也称为移除直流分量(remove DC),具体操作是把每个样本都减去所有样本的统计平均值,这种归一化方法在图像领域常见。

3. 特征标准化(Feature Standardization)

特征标准化指的是(独立地)使得数据的每一个维度具有零均值和单位方差,具体操作是首先计算每一个维度上数据的均值(使用全体数据计算),之后在每一个维度上都减去该均值。下一步便是在数据的每一维度上除以该维度上数据的标准差。 

白化,又称漂白或者球化;是对原始数据执行变换,使得转换后的数据的协方差矩阵为单位阵。

图像中相邻像素之间具有很强的相关性,因此输入是冗余的。白化的目的就是降低输入的冗余性。

经白化处理后的数据集满足两个条件:一是特征相关性较低;二是特征具有相同的方差。

白化算法的实现过程:第一步操作是PCA,求出新特征空间中的新坐标,第二步是对新的坐标进行方差归一化操作。

keras中preprocess_input()函数的作用是对样本执行 逐样本均值消减 的归一化,即在每个维度上减去样本的均值,对于维度顺序是channels_last的数据,keras中每个维度上的操作如下:

x[..., 0] -= 103.939
x[..., 1] -= 116.779
x[..., 2] -= 123.68

全连接层Dense类

keras在core模块中定义了一系列常用的网络层,包括全连接,激活层等。Dense层是全连接层。

keras.layers.core.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
参数:
  1.     units:大于0的整数,代表该层的输出维度。例如units=4,表示该层的输出是4个类别
  2.     activation:激活函数,为预定义的激活函数名(参考激活函数),或逐元素(element-wise)的Theano函数,例如activation='softmax'。如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x),默认不使用
  3.     use_bias: 布尔值,是否使用偏置项,默认为True
  4.     kernel_initializer:权值初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器。默认使用均匀分布初始化方法初始化,参数从[-limit, limit]的均匀分布产生。
  5.     bias_initializer:偏置向量初始化方法,为预定义初始化方法名的字符串,或用于初始化偏置向量的初始化器。默认初始化为0
  6.     kernel_regularizer:施加在权重上的正则项,为Regularizer对象,默认不使用
  7.     bias_regularizer:施加在偏置向量上的正则项,为Regularizer对象,默认不使用
  8.     activity_regularizer:施加在输出上的正则项,为Regularizer对象,默认不使用
  9.     kernel_constraints:施加在权重上的约束项,为Constraints对象,默认不使用
  10.     bias_constraints:施加在偏置上的约束项,为Constraints对象,默认不使用

SGD优化器

优化器按照一定规则不断调整优化参数,是模型必须设定的参数之一。

常用的SGD优化器:

keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降法,支持动量参数,支持学习衰减率,支持Nesterov动量。

参数

  1.     lr:大或等于0的浮点数,学习率
  2.     momentum:大或等于0的浮点数,动量参数
  3.     decay:大或等于0的浮点数,每次更新后的学习率衰减值
  4.     nesterov:布尔值,确定是否使用Nesterov动量

Model模型

Model是keras定义的一个类,用来生成模型,又被称为函数式(Funcitional)模型,Keras函数式模型接口是用户定义多输出模型、非循环有向模型或具有共享层的模型等复杂模型的途径,是最广泛的一类模型。

Model典型使用:

# This returns a tensor
inputs = Input(shape=(784,))

# a layer instance is callable on a tensor, and returns a tensor
x = Dense(64, activation='relu')(inputs)
x = Dense(64, activation='relu')(x)
predictions = Dense(10, activation='softmax')(x)

# This creates a model that includes
# the Input layer and three Dense layers
model = Model(inputs=inputs, outputs=predictions)


模型编译

定义完模型之后需要进一步编译模型,使用model.compile()函数。

compile(self, optimizer, loss, metrics=None, loss_weights=None,
                sample_weight_mode=None, weighted_metrics=None,
                target_tensors=None, **kwargs)
  1. optimizer:优化器,为预定义优化器名或优化器对象,如SGD
  2. loss:损失函数,为预定义损失函数名或一个目标函数,如loss='categorical_crossentropy'
  3. metrics:列表,包含评估模型在训练和测试时的性能的指标,典型用法是metrics=['accuracy']如果要在多输出模型中为不同的输出指定不同的指标,可向该参数传递一个字典,例如metrics={'ouput_a': 'accuracy'}
  4. sample_weight_mode:如果你需要按时间步为样本赋权(2D权矩阵),将该值设为“temporal”。默认为“None”,代表按样本赋权(1D权)。如果模型有多个输出,可以向该参数传入指定sample_weight_mode的字典或列表。在下面fit函数的解释中有相关的参考内容。
  5. weighted_metrics: metrics列表,在训练和测试过程中,这些metrics将由sample_weight或clss_weight计算并赋权
  6. target_tensors: 默认情况下,Keras将为模型的目标创建一个占位符,该占位符在训练过程中将被目标数据代替。如果你想使用自己的目标张量(相应的,Keras将不会在训练时期望为这些目标张量载入外部的numpy数据),你可以通过该参数手动指定。目标张量可以是一个单独的张量(对应于单输出模型),也可以是一个张量列表,或者一个name->tensor的张量字典。
  7. kwargs:使用TensorFlow作为后端请忽略该参数,若使用Theano/CNTK作为后端,kwargs的值将会传递给 K.function。如果使用TensorFlow为后端,这里的值会被传给tf.Session.run,当为参数传入非法值时会抛出异常
【Tips】如果只是载入模型并利用其predict,可以不用进行compile。在Keras中,compile主要完成损失函数和优化器的一些配置,是为训练服务的。predict会在内部进行符号函数的编译工作(通过调用_make_predict_function生成函数)。


查看更多关于【keras教程】的文章

展开全文
相关推荐
反对 0
举报 0
图文资讯
热门推荐
优选好物
更多热点专题
更多推荐文章
Keras2.2 predict和fit_generator的区别
查看keras文档中,predict函数原型:predict(self, x, batch_size=32, verbose=0)说明:只使用batch_size=32,也就是说每次将batch_size=32的数据通过PCI总线传到GPU,然后进行预测。在一些问题中,batch_size=32明显是非常小的。而通过PCI传数据是非常耗时的

0评论2023-02-09861

keras模块学习之-激活函数(activations)--笔记
本笔记由博客园-圆柱模板 博主整理笔记发布,转载需注明,谢谢合作!   每一个神经网络层都需要一个激活函数,例如一下样例代码:           from keras.layers.core import Activation, Densemodel.add(Dense(64))model.add(Activation('tanh'))或把

0评论2023-02-09550

keras: 在构建LSTM模型时,使用变长序列的方法
众所周知,LSTM的一大优势就是其能够处理变长序列。而在使用keras搭建模型时,如果直接使用LSTM层作为网络输入的第一层,需要指定输入的大小。如果需要使用变长序列,那么,只需要在LSTM层前加一个Masking层,或者embedding层即可。from keras.layers import

0评论2023-02-09679

将keras的h5模型转换为tensorflow的pb模型 keras 调用h5模型
h5_to_pb.pyfrom keras.models import load_modelimport tensorflow as tfimport os import os.path as ospfrom keras import backend as K#路径参数input_path = 'input path'weight_file = 'weight.h5'weight_file_path = osp.join(input_path,weight_file

0评论2023-02-09773

Keras MAE和MSE source code
def mean_squared_error(y_true, y_pred):if not K.is_tensor(y_pred):y_pred = K.constant(y_pred)y_true = K.cast(y_true, y_pred.dtype)return K.mean(K.square(y_pred - y_true), axis=-1)def mean_absolute_error(y_true, y_pred):if not K.is_tensor(y_

0评论2023-02-09801

Keras网络层之“关于Keras的层(Layer)” keras的embedding层
关于Keras的“层”(Layer)所有的Keras层对象都有如下方法:layer.get_weights():返回层的权重(numpy array)layer.set_weights(weights):从numpy array中将权重加载到该层中,要求numpy array的形状与layer.get_weights()的形状相同layer.get_config():返回

0评论2023-02-09888

Keras分类问题 keras 分类模型
#-*- coding: utf-8 -*-#使用神经网络算法预测销量高低import pandas as pd#参数初始化inputfile = 'data/sales_data.xls'data = pd.read_excel(inputfile, index_col = u'序号') #导入数据#数据是类别标签,要将它转换为数据#用1来表示“好”、“是”、“高

0评论2023-02-09923

tf.keras遇见的坑:Output tensors to a Model must be the output of a TensorFlow `Layer`
经过网上查找,找到了问题所在:在使用keras编程模式是,中间插入了tf.reshape()方法便遇到此问题。 解决办法:对于遇到相同问题的任何人,可以使用keras的Lambda层来包装张量流操作,这是我所做的:embed1 = keras.layers.Embedding(10000, 32)(inputs) # e

0评论2023-02-09963

更多推荐