暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

#gStore-weekly | gBuilder功能详解之非结构化标注中心

图谱学苑 2023-09-21
148


gBuilder提供了信息抽取模型进行非结构化数据的抽取功能,但在实际业务场景中,gBuilder内置的信息抽取模型并不能满足业务的需要。因此gBuilder提供了模型标注和训练功能,能够对现在平台已经提供的算法和模型进行重新训练。通过导入非结构化本文到系统中,然后对文本进行实体和关系的标注,再将标注好的数据导入到模型中进行训练,以更好的支撑用户的业务需求。

gBuilder 功能详解

PART1
1. 模型标注


1.1 标注标签

标注标签是用来管理需要标注的实体类型以及实体与实体间的关系,用户可以根据具体的业务需求和数据样本增加实体和关系,以用于模型训练。用户无权删除其他用户新建的标签,可以删除自己新增的标签,但是可以使用其他用户新增的标签来进行文本标注。


新增标签可选择增加实体或关系类型的标注,关系类型的标签可以选择关系的起始节点和目标节点,如果选择了起始节点和目标节点,那么在进行文本标注的时候系统会自动进行校验,不符合的起始节点和目标节点就不能标注为该关系。


PART2
2. 文本标注


2.1 导入文本

gBuilder支持导入TXT格式的样本文件,如果TXT文件过大也可以打包成ZIP文件导入系统,需要注意的是TXT文本中每一行为一个样本数据,通过换行符进行分隔,且样本文件编码须为UTF-8格式。系统也支持通过【新增文本】新增单条标注样本。


导入样本文件后,所有的文本都是【未标注】状态,用户选择需要标注的文本进行标注。标注完成后,文本改为【已标注】的状态。


2.2 实体标注

gBuilder支持通过选择文本,配置实体标签的方式来标注样本文件中的实体,标注的实体标签需要先在标签管理中进行新增。


首先选择需要标注的文件进入标注页面;


在标注页面,可以选择需要标注的文本,界面会弹出可以标注的实体标签,选中实体标签即可完成实体的标注;

标注完成后会在文本正下方显示标注的实体标签,也可以通过左上角的【删除】按钮,删除标注的内容;


2.3 关系标注

实体标注完成后,就可以进行实体与实体的关系标注,从起始节点拖动到目标节点就会出现一条连线关系;



点击关系连线,界面会出现【请选择关系】按钮,点击按钮会出现可以选择的关系列表;



接下来请选择关系标签,这里需要注意的是如果在新增关系标签的时候如果起始节点和目标节点不对应的话,会新增失败;

在标注界面的右侧会实时统计出标注的实体和关系信息,最后点击【提交】按钮,就可以对标注信息进行保存。


PART4
3. 导出标注样本


标注完成后可以点击【导出】按钮,直接导出已经标注完成样本;


导出的样本文件就包含了标注的文本信息、实体信息和关系信息;


该样本文件就可以直接通过模型中心的【训练】功能对模型进行重训练了。


若大家在实际项目中需要使用gBuilder,可添加以下二维码联系我们的运营同学,或发送邮件进行项目层面合作沟通。邮箱:tangjing@topkg.net





诚邀大家参加
·gStore-weekly技术文章征集活动·
  相关技术文章,包含但不限于以下内容:系统技术解析、案例分享、实践总结、开发心得、客户案例、使用技巧、学习笔记等。文章要求原创。
  入选周刊即送精美礼品~

欢迎关注北京大学王选计算机研究所数据管理实验室微信公众号“图谱学苑“
实验室官网:https://mod.wict.pku.edu.cn/
微信社区群:请回复“社区”获取

实验室开源产品图数据库gStore:
gStore官网:https://www.gstore.cn/
GitHub:https://github.com/pkumod/gStore
Gitee:https://gitee.com/PKUMOD/gStore

文章转载自图谱学苑,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论