基于孪生BERT网络的科技文献类目映射 - 何贤敏, 李茂西, 何彦青.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２１０３２３
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
８
):
１７５１ １７６０
,
２０２１
收稿日期
:
２０２１
－
０４
－
０１
;
修回日期
:
２０２１
－
０６
－
０９
基金项目
:
国家自然科学基金项目
(
６１６６２０３１
);
中国科学技术信息研究所重点工作项目
(
ZD２０２０Ｇ１８
)
Thisworkwassu
pp
ortedb
y
the NationalNaturalScienceFoundationofChina
(
６１６６２０３１
)
andtheFundoftheInstituteof
ScientificandTechnicalInformationofChina
(
ZD２０２０Ｇ１８
)
．
通信作者
:
李茂西
(
mosesli＠
j
xnu．edu．cn
)
基于孪生
BERT
网络的科技文献类目映射
何 贤 敏
１
李 茂 西
１
何 彦 青
２
１
(
江西师范大学计算机信息工程学院
南昌
３３００２２
)
２
(
中国科学技术信息研究所
北京
１０００３８
)
(
xianminhe＠
j
xnu．edu．cn
)
SiameseBERTＧNetworksBasedClassification Ma
pp
in
g
ofScientificand
Technolo
g
icalLiterature
HeXianmin
１
,
LiMaoxi
１
,
andHeYan
q
in
g
２
１
(
Schoolo
f
Com
p
uterIn
f
ormationandEn
g
ineerin
g
,
Jian
g
xiNormalUniversit
y
,
Nanchan
g
３３００２２
)
２
(
Instituteo
f
Scienti
f
icandTechnicalIn
f
ormationo
f
China
,
Bei
j
in
g
１０００３８
)
Abstract International
p
atentclassification
(
IPC
)
and Chineselibrar
y
classification
(
CLC
),
as
im
p
ortantclassificationmarks
,
p
la
y
anim
p
ortantroleintheor
g
anizationandmana
g
ementof
p
atent
informationand
j
ournalliteratureres
p
ectivel
y
．Howtoaccuratel
y
establishthema
pp
in
g
relationshi
p
betweentwoclassificationsisof
g
reatsi
g
nificancetotherealizationofcrossＧbrowsin
g
andretrievalof
p
atentinformationand
j
ournalresources．Inthe
p
a
p
er
,
asiamesenetworkbasedonBERT
p
reＧtrainin
g
contextuallan
g
ua
g
emodelis
p
ro
p
osedtoestablishthema
pp
in
g
relationshi
p
betweenIPCandCLC．A
siamesenetwork modelisusedtoabstractthedescri
p
tiontextsoftwoclassificationcate
g
ories
res
p
ectivel
y
,
andthesentencevectorsofthesamedimensionarecalculatedb
y
avera
g
e
p
oolin
g
the
wordre
p
resentationafterabstraction
,
andthesimilarit
y
scorebetweensentencesiscalculatedbased
oncosinesimilarit
y
tocom
p
leteclassificationma
pp
in
g
．Thema
pp
in
g
cor
p
usbetweenIPCcate
g
or
y
and
CLCcate
g
or
y
ismanuall
y
annotated．Theex
p
erimentalresultsonthecor
p
usshowthatthe
p
ro
p
osed
methodissi
g
nificantl
y
betterthantheruleＧbased methodandotherdee
p
neuralnetwork methods
,
suchasSiaＧMulti
,
BiＧTextCNN
,
BiＧLSTM etc．Therelevantcode
,
models
,
and manualannotation
cor
p
usare
p
ublicl
y
released．
Ke
y
words international
p
atentclassification
;
Chineselibrar
y
classification
;
siameseBERTＧnetworks
;
classificationma
pp
in
g
;
contrastiveloss
摘
要
国际专利分类法
(
international
p
atentclassification
,
IPC
)
和中国图书馆分类法
(
Chineselibrar
y
classification
,
CLC
)
作为重要分类标识
,
分别在 专利信 息和期 刊文献 的组织 以 及管 理 中发 挥 着重 要 作
用
．
如何准确地建立它们之间的映射 关系对 实现专 利信息
、
期刊资 源交 叉 浏览 和 检索 有 着重 要 的意 义
．
提出了基于
BERT
预训练上下文 语 言模 型 的 孪 生 网 络 用 于 建 立
IPC
类 目 和
CLC
类 目 之 间 的 映 射 关
系
,
利用孪生网络模型分别抽象这
２
个分类法类目描述文本
,
通过平均池化抽象后的向量表示计算得到
它们相同维度的句子向 量
,
基 于 余 弦 相 似 度 计 算 句 子 之 间 的相 似度 得分
,
完 成 类 目映 射
．
在 人 工 标注
一定规模的
IPC
类目和
CLC
类目之间的映射语料库上进行实验验证
,
结果表明提出的方法显著优于基
于规则的方法和
SiaＧMulti
,
BiＧTextCNN
,
BiＧLSTM
等深度神经网络的方法
．
相关的代码
、
模型和人工标
注语料库已经公开发布
．
关键词
国际专利分类法
;
中国图书馆分类法
;
基于孪生
BERT
网络
;
类目映射
;
对比损失
中图法 分类号
TP３９１
① GitHub
开源地址
:
htt
p
s
:
∕∕
g
ithub．com∕iＧwannaＧto∕IPC２CLC∕
分类法是一种具 有 层级 结 构的 分 类体 系
,
根据
内容和属性不 同 进 行 组 织
．
虽 然 不 同 分 类 法 的 层 级
结构和编制原则差 异 很大
,
但其 编 制的 基 本原 理 和
目的是相同的
,
都是为 了 提高 检 索效 率 而编 制 的一
系列表达概念及概念关系的标识
．
因此
,
不同分类法
在概念表达上存在 一 定的 相 似性
,
所以 可 以建 立 它
们之间的映射关系
[
１
]
．
专利信息 作为一 种特殊 的科技 文献
,
通常使 用
国际 专 利 分 类 法
(
international
p
atentclassification
,
IPC
)
来对其进行组织和 管理
,
为了标 识专利 所属 的
领域和范畴
,
每份专利 文件会 标明适 当的
IPC
分类
号
．
如表
１
第
１
行给出 了
IPC
中
“
输入机 构
”
有关 的
专利信息分类号及其类 目 文字 描 述
,
其中
,
符号
“
|
”
的个数表示分 类 法 的 类 目 层 级 数
．
而 在 中 文 学 术 期
刊中
,
普遍使 用 中国 图 书馆 分 类 法
(
Chineselibrar
y
classification
,
CLC
)
来 标 识 文 献
,
如 表
１
第
２
行 给
出了
CLC
中
“
输入设 备
”
有关的 期刊分 类号及 其类
目文字描述
．
Table１ Exam
p
lesofIdentificationofPatentandJournal
Relatedto
“
In
p
utMechanisms
(
Devices
)”
表
１
对
“
输入机 构
(
设备
)”
有关专 利和期 刊的标 识示例
分类法 分类号 类目描述
IPC G０６C７∕００
|
物理
||
计算
;
推算
;
计 数
|||
数 字 计 算 机
||||
输入机构
CLC TP３３４．２
|
工业技术
||
自动化技术
、
计算机技术
|||
计算
技术
、
计算机技术
||||
电 子 数 字 计 算 机
|||||
外部设备
||||||
输入设备
建立
IPC
与
CLC
之间 的 类目 映 射对 实 现专 利
信息与期刊文献相互关联以及它们组织体系间交叉
浏览和检索有着重要的意义
,
因此
,
许多学者对此展
开了研究
．
基于规则的方法
[
２Ｇ６
]
大都是对
IPC
和
CLC
类目描述文本分别 提 取关 键 词集 或 特征 词 集
,
用于
替代原始类目的含 义
,
通过 计 算词 集 之间 的 相似 性
间接得出类目之间的相似度
,
从而建立映射关系
．
基
于传统机器学习的方法
[
７
]
将类目映射转化为分类问
题
,
利用分类算法建立
２
部分类法之间的映射关系
．
但是它们都忽略了
IPC
和
CLC
类目 描 述文 本 的语
义信息
,
导致映射的准确率不高
．
针对这个问题
,
本文提出基于
BERT
预训练上
下文 语 言 模 型 的 孪 生 网 络 将
IPC
类 目 描 述 文 本 和
CLC
类目描述文本完整地 输入到 映射模 型中
,
获取
IPC
和
CLC
类目描述文本的句子向量
,
通过计算句
子向量的余弦相似度
,
建立 起
２
部分 类 法之 间 的类
目映射关系
．
为了定量地验证所提模型的映射性 能
,
人工标注了
１０００
条
IPC
类 目 和
CLC
类 目 之 间的
映射语料库
,
在该语料库上使用
５
折交叉验证
,
实验
结果表明本 文 提 出 的基 于
BERT
模 型 的 孪生 网络
平均准确率可达
９４％
,
显著优于其他对比模型
．
概括
来说
,
本文的贡献主要有
３
个方面
:
１
)
提出基于
BERT
预训 练 上下 文 语言 模 型的
孪生网络对
IPC
和
CLC
进行类目映射
,
提高了
IPC
与
CLC
自动映射的准确率
;
２
)
构 建 了
１０００
条 高 质 量的
IPC
类 目 与
CLC
类目之间的映射 语料 库
,
该 语 料 库 覆 盖 了
IPC
的
８
大类别
,
能更准确地训练和测试模型的泛化能力
;
３
)
公开发布了相关代码
、
模型和人工标注的语
料库
①
,
供其他研究人员免费使用
．
１
相关工作
分类法之间的类目映射方法包括人工标注和自
动映射
,
人工标注尽管准确率得到一定的保障
,
但人
力成本高
,
主观性强
,
不利于构建
２
部分类法中大规
模类目之间的映射关系
．
随着计算机技术的发展
,
自
动映射方法取得了 很 大的 进 步
,
它们 大 致可 以 分为
４
种
:
基 于 同 现 的 方 法
[
３
]
、
基 于 类 目 相 似 度 的 方
法
[
４Ｇ５
]
、
基于交叉检索的方法
[
６
]
和基于传统机器学习
的方法
[
７
]
．
当一批文献或图书可以同时利用
２
部分类法的
分类号 来 进 行 标 识
,
说 明 标 识 同 一 文 献 或 图 书 的
２
个分类号之 间具 有一 定的 联系
．
基 于 同 现 的 方 法
利用这 种联 系 建立
２
部分 类 法之 间 的映 射
[
３
]
．
基 于
２５７１
计算机研究与发展
２０２１
,
５８
(
８
)
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论