commitments

README.md

@@ -1,20 +1,103 @@
-#### 从命令行创建一个新的仓库
+面向试验鉴定的命名实体识别任务
+军事装备试验鉴定是指通过规范化的组织形式和试验活动，对被试对象进行全面考核并作出评价结论的国家最高检验行为，涵盖方法、技术、器件、武器系统、平台系统、体系、训练演习等领域，涉及面广、专业性强。近年来，自然语言理解和人工智能技术飞速发展，日趋成为推动大数据建设的重要力量。试验鉴定由于试验目标的不同、被试对象的特点、武器系统的特性，有着自身较为特殊的语言形式，自然语言处理技术服务于该领域大数据建设的效果如何、基线在哪里，是各级都非常关注的问题。为此，我们以命名实体识别任务为切入点，逐步开展这方面的工作，以期通过评测的形式，促进交流、掌握基线、提升技术水平，遴选优秀技术为相关项目建设提供参考，共同推动试验鉴定领域大数据建设。
+1、任务定义
+输入：
+1.试验鉴定相关自然语言文本集合：D={d_1,⋯d_N },    d_i=〈w_i1,⋯w_in 〉
+2.预定义类别：C={c_1,⋯c_m}
+输出：
+实体提及和所属类别对的集合：{〈m_1,c_(m_1 ) 〉,〈m_2,c_(m_2 ) 〉,⋯〈m_p,c_(m_p ) 〉}
+其中m_i=〈d_i,b_i,e_i 〉是出现在文档d_i中的试验鉴定实体提及（mention），b_i和e_i分别表示m_i在d_i中的起止位置，c_(m_i )∈C表示所属的预定义类别。要求实体提及之间不重叠，即e_i<b_(i+1)。
+多次出现的实体，只标注一次。
+示例：
+输入：美国洛马公司在新墨西哥州白沙导弹靶场，完成“微型碰撞杀伤”拦截弹重新设计后的第二次飞行试验，进一步检验了拦截弹的敏捷性和气动性能，标志着其成熟度进一步提升。“微型碰撞杀伤”拦截弹采取直接碰撞杀伤技术，主要用于提高美国陆军应对火箭弹威胁的能力。
+输出：
+"entities": [
+{
+"label_type":"试验要素",
+"overlap":0,
+"start_pos":22,
+"end_pos":32
+},
+{
+"label_type":"性能指标",
+"overlap":0,
+"start_pos":57,
+"end_pos":59
+},
+{
+"label_type":"性能指标",
+"overlap":0,
+"start_pos":61,
+"end_pos":64
+},
+{
+"label_type":"系统组成",
+"overlap":0,
+"start_pos":92,
+"end_pos":99
+},
+{
+"label_type":"任务场景",
+"overlap":0,
+"start_pos":107,
+"end_pos":110
+},
+{
+"label_type":"任务场景",
+"overlap":0,
+"start_pos":113,
+"end_pos":117
+},
+]
 
-```bash
-touch README.md
-git init
-git add README.md
-git commit -m "first commit"
-git remote add origin https://git.osredm.com/pl3ox89en/CCKS2020Data.git
-git push -u origin master
+2、预定义类别
+预定义类别定义如下：
+1) 试验要素：试验鉴定工作的对象，如列为考核目标的武器装备（系统级）、技术、战术、人员、对象之间的能力等；支持完成试验鉴定所需的条件，如陪试品、参试装备、测试、测量、靶标、仿真等；装备的基本情况等。
+例如：RS-24弹道导弹、SPY-1D相控阵雷达、紫菀防空导弹（Aster）、F-35“闪电”II型联合攻击战斗机、“阿利·伯克”级Flight IIA型驱逐舰“约翰芬”号、协同通信与指挥、连续波测量雷达、电影经纬仪、无人机靶标等。
+2) 性能指标：试验要素在技术、使用等性能方面的定性、定量描述，如重量、射程、可靠性等。
+例如：测量精度、圆概率偏差、失效距离、准备时间、反激光毁伤、发射方式等。
+3) 系统组成：被试对象的组成部分，如子系统、部件、采用的技术等。
+例如：动能杀伤飞行器（KKV）、中波红外导引头、助推器、整流罩、箔条红外混合诱饵弹、碰撞杀伤技术、柔性摆动喷管技术、端羟基聚丁二烯、等。
+5) 任务场景：试验要素在发挥其实际效用和价值中涉及的信息，如人员、对抗目标、体系能力等。
+例如：法国海军、导弹预警、恐怖袭击、迫击炮威胁、排级作战等。
 
-```
 
-#### 从命令行推送已经创建的仓库
+3、数据集
+3.1 数据标注说明
+由于该领域特殊性及保密性，开放语料非常匮乏。军事科学院系统工程研究院组织对外军装备试验鉴定资料进行人工标注，通过独立标注、交叉检查、专家复核、修改迭代的方式，保证标注一致性。该数据集仅限CCKS竞赛评测用。
+3.2 数据示例
+{
+"originalText":"extron公司于当日宣布,成功试射了其研制的精确制导滑翔武器——G-CLAW,并命中移动目标.此次试验于2016年10月在尤马靶场进行.试验中,导弹从塞纳斯大篷车系列飞机上发射,通过将GPS半自动惯性导航系统转换为半主动激光传感器末端制导,以1米以内的圆概率误差分别命中静止和动态目标.G-CLAW 精确制导滑翔武器系统融合了3种引信模式,能够针对不同目标选择更好的模式.该武器采用模块化设计,以支持其与制导\传感和弹头效应等方面的新兴技术快速融合.",
+"entities":[
+{"label_type":"试验要素","overlap":0,"start_pos":24,"end_pos":39},
+{"label_type":"试验要素","overlap":0,"start_pos":44,"end_pos":47},
+{"label_type":"试验要素","overlap":0,"start_pos":77,"end_pos":86},
+{"label_type":"性能指标","overlap":0,"start_pos":128,"end_pos":132},
+{"label_type":"性能指标","overlap":0,"start_pos":137,"end_pos":138},
+{"label_type":"性能指标","overlap":0,"start_pos":140,"end_pos":143},
+{"label_type":"系统组成","overlap":0,"start_pos":94,"end_pos":105},
+{"label_type":"系统组成","overlap":0,"start_pos":109,"end_pos":116},
+{"label_type":"系统组成","overlap":0,"start_pos":193,"end_pos":197},
+{"label_type":"任务场景","overlap":0,"start_pos":167,"end_pos":170},
+{"label_type":"任务场景","overlap":0,"start_pos":176,"end_pos":179},
+{"label_type":"任务场景","overlap":0,"start_pos":204,"end_pos":213},
+{"label_type":"任务场景","overlap":0,"start_pos":218,"end_pos":221}
+]
+}
 
-```bash
-git remote add origin https://git.osredm.com/pl3ox89en/CCKS2020Data.git
-git push -u origin master
-
-```
+3.3数据集描述
+本次评测的训练数据有：
+	400条标注数据
+	4个类别的3398个实体词词表
+标注数据集统计如下表（最终结果以发布数据为准）
+　	文本	试验要素	性能指标	系统组成	任务场景	总数
+训练集	400	1188	854	694	662	3398
 
+4、评价指标
+本次任务，采用F1-Measure作为评测指标，具体定义如下：
+试验鉴定相关自然语言文本集合：D={d_1,⋯d_N },    d_i=〈w_i1,⋯w_in 〉
+预定义类别：C={c_1,c_2,c_3,c_4}
+对于任意一个预定义类别ci，设集合D中包含ci的实体数量为AP，对ci进行识别，正确识别结果数量为TP，错误识别结果数量为FP。
+精确率P定义为： P = TP/(TP+FP)
+召回率R定义为： R = TP/AP
+F1值定义为：F1=2*P*R/(P+R)