模态:某种类型的信息和/或存储信息的表示形式
媒介:用于存储或传达信息的手段或工具
实体链接技术可以增强对多模态数据的分类、检索和识别等能力
模态知识互补
模态实体消歧
模态语义搜索
补全知识图谱
利用知识图谱增强多模态任务
多模态关系预测与推理
多模态知识问答
场景图与知识图谱的融合
多模态推荐系统
- 现有的语言模型难以捕捉低频实体信息
- 知识图谱增强语言预训练
- 有助于知识驱动的下游任务
- 关系抽取(Relation Extraction)
- 实体分类(Entity Typing)
ERNIE
利用大规模语料和知识图谱实现，以Wikipedia等作为文本语料输入，WikiData作为知识图谱输入
- 底层模型对于文本进行建模
- 高层模型对于知识信息进行整合
knowBert
WKLM
弱监督
- 无法进行终身学习
- 模型产生的是耦合的表示
K-Adapter
- 图谱表示空间难以和语言表示空间融合
- 需要实体链接组件
KEPLER
添加类似于TransE的预训练机制来增强对应文本的表示
基于Wikipedia和Wikidata数据集，对于每一个三元组，采用基于BERT的方法来对每个实体进行编码
事理知识图谱是一个事理逻辑知识库，描述了事件之间的演化规律和模式
事理图谱是一个有向有环图,节点代表事件，有向边代表事件之间的顺承、因果、条件和上下位等逻辑关系
事件是具有一定抽象程度的泛化事件，表示为抽象、语义完备的谓词性词或词组，也可以表示为可变长度的、结构化的(主体，事件词，客体)多元组
其中必然包含一个事件词，标志事件的发生;而主体和客体都可以在不同的应用场景下被省略
- 顺承关系(Sequential)：两个事件在时间上相继发生的偏序关系
- 两个前后顺承的事件之间存在一个介于0到1之间的转移概率,表示从一个事件按时序顺承关系演化到下一事件的置信度
- 因果关系(Causal)：两个事件之间，前一事件(原因)导致后一事件(结果)的发生
- 满足发生时间上的偏序约束
- 因果关系是顺承关系的子集;因果事件对之间存在一一个介于0到1之间的因果强度值，表示该因果关系的置信度
- 条件关系：前一个事件的发生是后一个事件发生的条件
- 上下位关系：名词性、动词性
- 传统的机器学习/深度学习：依赖大量的标记数据训练模型，只能在训练过的类别上进行预测
- 低资源学习
- 少样本学习:长尾数据/数据量不足
- 零样本学习:无训练样本
元关系学习(Meta Relation Learning):在只有少量关系样本的情况实现知识图谱推理
基本思想:在Meta-Learning阶段挖掘关系自身的Meta Knowledge (rel-meta),在预测阶段利用rel-meta对关系预测模型进行fine-tune,从而提升模型在少样本情况下的预测效果;
对抗关系学习(Adversarial Relation Learning):利用对抗关系学习提升长尾部分的关系补全和关系抽取的效能
ZSRC：基于逻辑引导和规则学习的零样本关系抽取
ZSGAN：零样本学习&迁移学习
在无样本的情况下实现知识图谱推理
LAN：零样本学习&辅助信息
在无样本的情况下实现知识图谱推理(实体无样本)
使用图神经网络等模型或注意力等机制，对实体周围的实体及关系特征进行聚合表示，得到每一个实体的表示，从而泛化到新实体
Transfer、Reasoning、Explanation
GCNZ：基于知识图谱及图神经网络的零样本图像分类
CNN模块(上) :抽取图片特征，得到一个D维的特征分类器
GCN模块(下) :以图片类别的词向量及类别间的层次结构(图)作为输入，为每个类别预测D维的特征分类器，用于分类该类别的测试样本
知识增强的零样本学习
KG+LAN
