语言技术平台(ltp)是哈工大社会计算与信息检索研究中心多年开发的高效、高精度的中文自然语言处理开源基础技术平台。该平台集成了词法分析(分词、词性标注、命名实体识别)、句法分析(依存句法分析)和语义分析(语义角色标注、语义依存分析)。
其中,句法分析、语义分析等多项关键技术多次在conll国际评测中获得第1名奖。此外,该平台还获得了2010年中国信息社会科学技术一等奖奖和2016年黑龙江省科技进步一等奖奖。国内外许多研究机构和知名企业通过签订协议、收费授权等方式使用平台。
在冯云龙,教授的指导下,哈尔滨工业大学scir本科生车万翔,等同学最近新一轮升级了ltp,推出了ltp 4.0版。此次升级的主要改进包括:
基于多任务学习框架的统一学习使六个任务共享语义信息,达到知识转移的效果。它不仅有效地提高了系统的运行效率,而且大大减少了模型的占用空间
基于预训练模型的统一表示有效地提高了每个任务的准确性
基于教师退火模型提取单个多任务模型进一步提高了系统的准确性
基于pytorch框架,提供了原生python调用接口,通过一键安装pip包管理系统,大大提高了系统的易用性
下表列出了新ltp和旧ltp在准确性、效率和型号大小方面的比较:
为了让模型小巧好用,这次发布的版本是基于哈工大讯飞联合实验室.后来发布的中文electra small预训练模型,基于不同预训练模型的版本会陆续发布,为用户提供更多准确性和效率平衡的选择。
测试环境如下:
python 3.7
ltp 4.0批量=1
centos 3 . 10 . 0-1062 . 9 . 1 . el 7 . x86 _ 64
英特尔至强处理器e5-2640 v4 @ 2.40ghz
注:速度数据来源于人民日报命名实体的测试数据,速度计算方法是所有任务依次执行的结果。另外,语义角色标注不同于新旧版本语义依赖中使用的语料库,不能直接比较(新版本语义依赖使用semeval 2016语料库,语义角色标注使用ctb语料库)。
招 聘
《人工智能技术评论》希望招募一名科技编辑/记者
办公地点:北京
职位:专注于追踪学术热点和采访人物
工作内容:
1.关注学术领域热点事件,及时跟踪报道;
2.采访人工智能领域的学者或r&d人员;
3.参加各种关于人工智能的学术会议,并汇报会议内容。
要求:
1.热爱人工智能学术研究内容擅长与学者或企业工程师打交道;
2.有一定的理工科背景,最好对人工智能技术有所了解;
3.英语能力强(工作涉及大量英语材料);
4.学习能力强,对人工智能的前沿技术有一定的了解,能够逐渐形成自己的观点。