59 双向循环神经网络【动手学深度学习v2】
创始人
2024-05-25 03:51:20
0

59 双向循环神经网络【动手学深度学习v2】

深度学习学习笔记
学习视频:https://www.bilibili.com/video/BV12X4y1c71W/?spm_id_from=autoNext&vd_source=75dce036dc8244310435eaf03de4e330

核心思想:取决于过去和未来的上下文,来预测当前的词。前面的RNN,GRU和LSTM是根据前面的一些词预测下一个词,如果是完型填空则要看未来的词。
在这里插入图片描述
双向RNN
一个隐藏层其实时有两个,首先输出进去,state给到下一个时间单元,X2输入隐藏状态给到X1,然后合并两个隐藏状态。
实现将序列反过来,输入反向输进去拿到输出,然后输出再返回来,再更新下一个做concat。
在这里插入图片描述
Ht是由Ht+1得到,Ht-1得到一个Ht,然后两个concat一下,给到输出层。
在这里插入图片描述
双向不适合做推理,几乎不能用在预测下一个词上面,因为你要得到的输出,是既要看到它之后的信息,又要看到它之前的信息,而在它之前是没有之后的信息。不能用来预测未来。
双向RNN最主要的作用是对一个句子做特征提取,比如做翻译时、改写时。
在这里插入图片描述
在这里插入图片描述

QA:

  1. 双向RNN,反向初始hidden state也是0
  2. LSTM 区分C 和 H,H是0-1之间数据,C 没有数值限制可以存一些信息。

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...