分享好友 人工智能首页 频道列表

Pytorch中的数学函数 pytorch详解

pytorch教程  2023-02-09 19:218230

log_softmax

log(softmax(X))

function:torch.nn.functional.log_softmax(x, dim=None)

nn:torch.nn.LogSoftmax(dim=None)

(对于神经网络nn,上式是定义,在feed的时候读入的参数和nn.functional是类似的)

Pytorch中的数学函数

如:

Pytorch中的数学函数

nll_loss

The negative log likelihood loss

function:torch.nn.functional.nll_loss(input, target, weight=None, size_average=True, ignore_index=-100, reduce=None, reduction='elementwise_mean')

nn:torch.nn.NLLLoss(weight=None, size_average=True, ignore_index=-100, reduce=None, reduction='elementwise_mean')

Pytorch中的数学函数

如:

function:

Pytorch中的数学函数

nn:

Pytorch中的数学函数

这里的3是batch_size,5是class_num,target就是标签,[1, 0, 4]代表这个batch里的三个标签

注:log_softmax + nll_loss 就相当于 CrossEntropyLoss

CrossEntropyLoss

一般地,对于分类问题,当model模块计算好每个类别对应的概率后,可以直接接上一个CrossEntropyLoss就行了

Pytorch中的数学函数

如:

Pytorch中的数学函数

注意输入中的target是可以直接用label的index,不用转化为one-hot向量的,nn.CrossEntropyLoss()会自动帮你转化

建议直接参考:

https://pytorch.org/docs/stable/nn.html?highlight=nn%20crossentropy

MSELoss

Pytorch中的数学函数

如:

Pytorch中的数学函数

 

参考:

https://pytorch.org/docs/master/nn.html

查看更多关于【pytorch教程】的文章

展开全文
相关推荐
反对 0
举报 0
图文资讯
热门推荐
优选好物
更多热点专题
更多推荐文章
Pytorch-基础入门之ANN pytorch零基础入门
在这部分中来介绍下ANN的Pytorch,这里的ANN具有三个隐含层。这一块的话与上一篇逻辑斯蒂回归使用的是相同的数据集MNIST。第一部分:构造模型# Import Librariesimport torchimport torch.nn as nnfrom torch.autograd import Variable# Create ANN Modelclas

0评论2023-03-08379

解说pytorch中的model=model.to(device) pytorch基础教程
这篇文章主要介绍了pytorch中的model=model.to(device)使用说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教这代表将模型加载到指定设备上。其中,device=torch.device("cpu")代表的使用cpu,而device=torch.device("c

0评论2023-02-09935

Faster-RCNN Pytorch实现的minibatch包装
实际上faster-rcnn对于输入的图片是有resize操作的,在resize的图片基础上提取feature map,而后generate一定数量的RoI。我想首先去掉这个resize的操作,对每张图都是在原始图片基础上进行识别,所以要找到它到底在哪里resize了图片。直接搜 grep 'resize' ./

0评论2023-02-09876

pytorch Gradient Clipping
梯度裁剪(Gradient Clipping)import torch.nn as nnoutputs = model(data)loss= loss_fn(outputs, target)optimizer.zero_grad()loss.backward()nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)optimizer.step()nn.utils.clip_gra

0评论2023-02-09654

更多推荐