中文指代消解名词短语的识别

摘 要:指代消解技术是自动文章的关键,介绍了指代消解的研究方式,分析了中文指代消解目前研究现状,并且详细阐述了语料库和所使用的此类标记,同时提出了名词短语识别和标记符号,分析了中文名词短语的确定与英文的不同,对中文指代消解的前期语料的处理和后期应用作了很好的介绍。

关键词:指代消解;规则;名词短语

中***分类号:TP391.1

1 研究的背景及意义

1.1 自动文摘技术

指代是自然语言处理领域的常见现象,广泛的存在于自然语言的各种表达中。对于简化表达,衔接上下文起着重要作用。在语言学中,指代也称照应,英文单词是Anaphora,所指的对象或内容称为先行语(Antecedent)。确定照应语所指的先行语的过程称为指代消解[1](Anaphora Resolution)。指代消解是在一个篇幅内进行的。指代消解技术是信息抽取[2]IE(Information Extraction)评测的主要技术指标。伴随计算机技术在非数字化领域研究的兴起,指代消解被越来越多的应用在自动文摘,信息检索等领域。

2 中文指代消解基本知识

2.1 中文语料库的规范

中文指代消解所使用的语料库是由富士通研究开发中心和北京大学计算语言学研究所,根据人民日报1998年上半年的语料为对象,从1999年4月起制作出了最大的汉语标注语料库[3]。共有26个词类标记,包括:处所词s、名词n、时间词t、介词p、数词m、量词q、区别词b、词r、动词v、形容a、状态词z、副词d、连词c、助词u、方位词f、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w,并多加以下3类标记:

专有名词的分类标记即人名nr,地名ns,团体机关单位名称nt,其他专有名词nz;

语素的子类标记即名语素Ng,动语素Vg,形容语素Ag,时间语素Tg,副语素Dg等;动词和形容词的名词用法标记vn,an和副词用法标记vd,ad。合计约40个左右。抽取方法采用隐马尔可夫模型。

例如句子:“他去南京”根据单词出现的概率与词性和词性的连接概率,计算出所有切法的概率总值,概率值最大的为第一候选,这其中“他/r去/v南京/ns”的概率总值最大,是第一候选。

2.2 名词短语的识别

本文研究的主要内容是将代词替换为它所指代的照应词,所以在消解过程中需要对命名实体和代词进行标注,

根据本文特定的语料内容,只需要将源语料中动词(v)、含有动词意义的名词(vn)、名词(n)、时间词(t)和命名实体进行标注,所以利用ICTCLAS所标注出来的词性[4]和Perl编写的程序将分割文件中的代词和命名实体都标注成了“单词”的形式,例如名词“北京”就标记成为“北京”的形式存放于命名实体标记文件中。

在命名实体识别中,将命名实体分为“Human”、“Place”、“Organization”、“Time”、“Pronoun”和“General”,六种类型进行标识,分别表示“人物”、“地点”、“机构”、“时间”、“代词”和“一般名词”,其标注的方式与上述动词的标注方式是一样的,即张先生,指代消解就是把指代这类命名实体的代词进行消解。

指代消解最核心的问题是根据文章的两个名词和名词短语来判断是否存在指代关系[5]。名词短语是以名词为主体的短语,性质和作用与名词相同。例如:民俗风情、甲级联赛、社会风气等。

在计算机指代消解中,处理的关键名词短语包括:人名(Human Name)、地名(Place Name)、机构名(Organization Name)、时间(Time)、代词(Pronoun Name)和一般名词(General),分别用符号H、P、O、T、D和G 表示不同类型的先行词对应的照应语类型不同,如人称代词的先行语一般指代人名,绝对不会指代时间或者代词,如表1所示:

表1 基本名词成分分组情况

组别 词性符号

人名(Human Name) nr

地名(Place Name) ns

机构名(Organization Name) nt

时间(Time) Tg/t

代词(Pronoun Name) r

一般名词(General) an /Ng/n/nx/nz/vn

判断名词短语的方式步骤如下:

首先,根据上面的六种组别分类判断出句子中的名词短语;

其次,根据距离属性,判断相邻的短语如果组别相同,可以将两个短语合二为一;

最后,合并并列的名词性短语。如句子中出现“和”、“与”或“、”两侧的短语的类型一致,就将两侧短语连同连接词“和”、“与”或“、”一起合并为一个名词短语。字母B用来表示并列词如“和”、“与”、“、”,语料句子中的出现的其他成分均标记成字母Q。

根据上面的方式,对人民日报标注语料基本实现了指代消解的名词短语识别,识别结果举例如下:

19980118-01-001-007/m{灾情/n}G{惊动/v}Q{***/ns}P{。/w}Q{当天/t}T{下午/t}T{,/w}Q{江/nr泽民/nr}H{***/n}G{和/c(Ag-c-Ng-p-q-v)}B{李/nr鹏/nr}H{***/n}Q{打电话/l}Q{向/p(Ng-p-v)}Q{罹难者/n家属/n}G{和/c(Ag-c-Ng-p-q-v)}B{灾区/n 群众/n}G{表示/v}Q{亲切/ad}q{慰问/v。/w}Q。

3 中文指代消解的特点

汉语和英语两种语言之间存在差异,中文的指代消解,如果直接借鉴英文指代消解的处理方法是不科学的。如英语中的单复数信息、人名的性别信息等在汉语中都不明显。例如英文中的“they”,针对不同的语境,在汉语中可以翻译成“他们”、“她们”和“它们”三种。人名、地名、机构名等命名实体的自动识别,是人称代词消解中需要首先解决的问题,但是目前这一问题并未完全解决,这在一定程度上影响了先行语的辨识,同样也影响了人称代词的消解。词汇与句法知识在指代消解中起着非常重要的作用,

句法分析尚处在很不成熟的阶段,句子之间的语义关系,甚至常识性知识更不容易分析得到。因此,要运用这些知识指代消解是困难的,也是目前自然语言处理中研究得最多的问题之一。

参考文献:

[1]王厚峰.指代消解的基本方法和实现技术[J].中文信息学报,2002,16(6):9-17.

[2]孔芳,周国栋.指代消解综述[J].计算机工程,2010,36(8):33-36.

[3]段慧明,松井久仁於.大规模汉语标注语料库的制作与使用[J].语言文字应用2000,02:72-777.

[4]李国臣,罗云飞.采用优先选择策略的中文人称代词的指代消解[J].中文信息学报,2005,19(4):24-30.

[5]郭志立.人称代词指代主体的辨析及其在在要抽取中的应用[M].1998年中文信息处理国际会议论文集,北京:清华大学出版社,1998:310-315.

作者简介:韦丽红(1982-),女,黑龙江人,硕士,讲师,研究方向:语义web、文本挖掘、信息处理。

作者单位:呼伦贝尔学院 计算机科学与技术学院,内蒙古海拉尔 021008

转载请注明出处学文网 » 中文指代消解名词短语的识别

学习

缂丝之王 第12期

阅读(18)

本文为您介绍缂丝之王 第12期,内容包括缂丝的图怎么印上去的,哪里可以学到缂丝技术。“希望能成联壁。”据说在10月举行的香港苏富比2009年秋拍之前,一位香港的资深藏家对乾隆御制紫檀“水波云龙”纹宝座极为属意,视为必得之物,以致还未拍

学习

中国能够或应该“主宰世界秩序”吗

阅读(24)

2012年美国再次迎来了它的大选年,对中国崛起的担忧在美国大选主题中重新浮现。未来中国是否会取代美国主宰世界?以美国为主宰的世界秩序是否必然与中国发生冲突?文章指出,真正值得世界忧虑的并非所谓“中国威胁”,而是可能出现的“主宰真空”

学习

教你识别麝香真伪

阅读(29)

本文为您介绍教你识别麝香真伪,内容包括怎么区分真麝香和假麝香,辨别麝香的技巧。麝香又称麝脐香,为雄麝(亦称香獐)香囊中的分泌物,为四大动物香料之一。自古从来都猎麝取香,在冬、春季猎取雄麝,连腹皮割下麝香囊,阴干,称为“毛香”,挖取囊内颗粒

学习

“落落乾坤大布衣”

阅读(18)

于右任,1879年出生于陕西三原,17岁以第一名成绩考入县学,23岁中举人。早年加入同盟会,后成为重要决策人物之一。诗人,著名书法家。一、“牧羊儿”于右任,原名伯循,常以“牧羊儿”自称。他出身苦,生母赵太姐小时候就因家贫,被头插草标出

学习

不锈钢与低碳钢焊接裂纹的预防措施

阅读(16)

本文为您介绍不锈钢与低碳钢焊接裂纹的预防措施,内容包括不锈钢焊接如何防止冷裂纹,不锈钢焊接裂纹解决方案。[摘要]针对不锈钢与低碳钢焊接接头,易产生裂纹的问题进行剖析以及解决此问题所采取的方法和措施。[关键词]异种钢的焊接裂纹方

学习

天津七里海地区开展湿地生态旅游的SWOT分析

阅读(30)

本文为您介绍天津七里海地区开展湿地生态旅游的SWOT分析,内容包括天津七里海麒麟湿地,天津市七里海湿地旅游区规划设计。通过SWOT分析法对天津七里海湿地开展生态旅游的优势、劣势、机遇和威胁分别进行分析。七里海湿地优、劣势,机会与威

学习

促进科技成果转化办法

阅读(19)

本文为您介绍促进科技成果转化办法,内容包括促进科技成果转化条例解读,促进科技成果转化法全文2016。为促进科技成果转化为现实生产力,规范科技成果转化活动,加速科学技术进步,推动我县经济建设和社会发展,根据《中华人民共和国促进科技成果

学习

佛罗伦萨的空坟:但丁与马基雅维利

阅读(24)

本文为您介绍佛罗伦萨的空坟:但丁与马基雅维利,内容包括马基雅维利佛罗伦萨史译本当当网,马基雅维利是但丁的老师吗。佛罗伦萨城是一座巨碑:中世纪的千年从此结束,新的创世纪从此开始。上帝已经远遁,但圣十字教堂里诸神生气勃勃。伽理略墓

学习

近自然防护林营造

阅读(13)

本文为您介绍近自然防护林营造,内容包括营造灌木林和防护林,营造防护林的主要目的。上海金山区地处上海市区西南部,金山新城距市中心(人民广场)64km,南濒杭州湾,北连青浦、松江2区,东邻奉贤区,西与浙江省平湖、嘉善2市(县)接壤。金山区域内有

学习

关于城市主干道交叉口渠化设计的深入探讨

阅读(27)

本文为您介绍关于城市主干道交叉口渠化设计的深入探讨,内容包括城市快速路和主干路设计要点,主干路设计要求。【摘要】本文结合目前国内城市道路交通状况及对汽车制造业十二五发展规划分析等,预测交通流量的增长和如何通过交叉口的渠化设

学习

PPP模式在河南省公租房中的应用研究

阅读(20)

本文为您介绍PPP模式在河南省公租房中的应用研究,内容包括河南省ppp项目最新管理办法,河南省ppp项目名单。【摘要】公共租赁住房是一项专门针对“夹心层”的住房保障计划。由于资金来源极为单一和不足,其建设推广面临着较大的障碍。文章

学习

粗中有细的道光粉彩

阅读(24)

本文为您介绍粗中有细的道光粉彩,内容包括道光粉彩无双谱鉴别,道光官窑粉彩一路莲科碗。清代第八位皇帝清宣宗远不如他的祖父乾隆、高祖康熙那样声名显赫、战功昭著,很多人也许不知道他名叫爱新觉罗・F宁,而只听说过道光这个年号。道光年

学习

大禹、冉駹与羌族巫文化渊源

阅读(38)

本文为您介绍大禹、冉駹与羌族巫文化渊源,内容包括羌族大禹文化,羌族古代历史。【摘要】岷江上游为古史文献记载的大禹故里、大禹治水肇始地和古蜀人发祥地、冉駹古国核心区及今日羌族聚居区。大禹被道教法师和羌族巫师释比奉为巫师始祖

学习

浅析优衣库的品牌塑造

阅读(21)

本文为您介绍浅析优衣库的品牌塑造,内容包括优衣库品牌创新与重新定位,优衣库的品牌理念是什么。【摘要】民族品牌的塑造和推广是近年来国内企业发展所面临的突出问题。本文以优衣库的品牌塑造为研究对象,通过分析其品牌塑造的成功之道,与

学习

透析短语“粉身碎骨”

阅读(28)

【摘要】对“粉身碎骨”这个短语,在我们日常的用语中还是比较常见的,我们从多角度立体的对“粉身碎骨”进行分析,力求探究这个短语的深层次的内涵,准确的掌握“粉身碎骨”的用法,发现以前没有注意到的特殊用法和特别之处。【关键词】粉身碎骨

学习

《比况短语浅析》中的几个问题

阅读(29)

[作者]江苏省高邮市界首中学[内容]《中学语文教学》今年第2期,发表了内蒙古民族师院中文系王同志的文章《比况短语浅析》(以下简称《比况》),该文从“结构特点”、“句中功能”、“表义功能”三方面,对比况短语进行了阐述,这对人们理解和使用

学习

英汉语短语配合的共性和个性分析

阅读(17)

本文为您介绍英汉语短语配合的共性和个性分析,内容包括短语的英汉互译句子,实用英汉短语分类词典。英语和汉语中,词和词的相遇,会形成多种关系,主要是联合关系、组合关系、结合关系。源自不同语系的英语和汉语,形成这些关系的直接构成成分具

学习

浅谈张爱玲小说对家的审视与消解

阅读(25)

论文关键词:张爱玲家审视消解论文内容封建旧家庭孤独痛苦的生活经历影响和对封建家族制度下人性扭曲的深刻洞察以及冷酷决绝的笔锋,形成了具有苍凉意味的张氏家庭小说。张爱玲通过对父权的沉沦,亲情的迷失,子辈的备受摧残等的审视,消解了传统

学习

231个《考试大纲》动词短语详解(一)

阅读(24)

本文为您介绍231个《考试大纲》动词短语详解(一),内容包括中高考高频率动词词组大总结,十大动词考试必背。1.beabletodosth有能力做/能够做/成功做Althoughthefirewasextremelybig,twopassengerswerestillabletosurviveit.尽管火势很大,还

学习

阁楼上的疯女人:疯女人“发疯”之缘由与消解

阅读(18)

[摘要]在历时近一个世纪的社会变迁中,女性作家笔下的“疯女”们,她们所走的“疯狂”之路,展现了女性意识由传统向现代的嬗变和衍进过程。在这些“疯女”文本中,女性的疯狂源于传统父权文化的戕害;也来自女性自身的文化痼疾;同时,婚姻生活的缺失

学习

混酸消解同时测定土壤中19种微量元素

阅读(20)

本文为您介绍混酸消解同时测定土壤中19种微量元素,内容包括土壤消解两酸法,土壤酸解氮的测定。[摘要]本文利用HF-HNO3-HCl混酸消解体系结合ICP-MS同时检测了土壤中19种微量金属元素。标准偏差(RSD)均小于5%,检出限为0.004~0.095ng/mL,土壤标

学习

浅论双性的冲突与消解

阅读(21)

【论文关键词】:杨绛;张爱玲;双性;冲突;消解【论文摘要】:杨绛和张爱玲的作品是一种能使凡人心灵消闲共振的文化现实主义文学,她们在开拓人类精神世界时,关注了双性意识的一隅,她们对双性意识的理解与表述,互为补充,相得益彰:张爱玲强调一种双性