算法课程设计---中文分词程序设计与实现

《算法课程设计---中文分词程序设计与实现》由会员分享，可在线阅读，更多相关《算法课程设计---中文分词程序设计与实现（13页珍藏版）》请在毕设资料网上搜索。

1、 课 程 设 计 说 明 书 设计题目： 中文分词程序设计与实现 学院、系： 装备制造学院 专业班级： 计算机 09（1）班 学生姓名： 指导教师： 成 绩： 2012 年 3 月 2 日 目目 录录 一一 需求分析需求分析 随着国内互联网的迅猛发展，网络信息量急剧膨胀，如果完全由人工来整理如此 繁多的信息，那是难以想象的工作量，同时也不现实的，如何有效、快速、准确的从大 量的信息中找到我们所需要的信息，是摆在我们面前的一个重要和迫切的任务，为了解 决这个难题，人们采用了中文分词技术，通过分词技术，就可以使得对海量信患的整理 更准确更合理，使得检索结果更准确，效率也会大幅度地提高。所谓中文分词

2、，就是把 一个汉语句子按照其中词的含义进行切分。随羞人们更深入熬研究，中文信息处理技术 得到了广泛应用，并对中文分词技术的要求也越来越高。中文分词技术已经引起多方的 关注，并成为中文信息处理的一个前沿课题l卜21。目前在自然语言处理技术中，中文 处理技术远远落后于西文处理技术，许多西文的处理方法中文不能直接采用，就是因为 中文必须进行分词处理。中文分词是其它中文信息处理的基础，搜索弓|擎只是中文分 词的一个应用，其它应用比如机器翻译(MT)、语音合成、自动分类、自动摘要、自动校 对、中文文献瘁全文检索等翻，都需要焉到分词。分词准确性对搜索弓|擎来说十分重 要，但如果分词速度太慢，即使准确性再高

3、，对于搜索引擎来说也是不可用的，因为搜 索弓l擎需要处理数以亿诗的网页，如果分词耗用的时间过长，会严重影响搜索引擎内 容更新的速度。因此对于搜索引擎来说，分词的准确性和速度，二者都需要达到很高的 要求，中文分词技术要想更好的服务予更多的产品，需要更多的专业队伍投入到研究中 来，因此，中文分词的研究还是一个相当长的探索过程。 目前中文分词得到了很多现实的应用，主要体现在在信息检索、同音字和多音字 方面的识别、文本校对、简体繁体的囱动转换、自动标引、自动文撬、视器翻译、语言 文字研究、搜索弓|擎研究、自然语言理解和中文信息处哈尔滨二程大学硕七学位论文 理等方面M，也是中文智能计算技术发展的前提和基

4、础。随着对中文分词技术关注度的 不断提高，大量的学者都加入到了这一研究领域，使中文分词取得了丰硕的研究成果。 近10年来，语言学界、人工智能领域和情报检索界的学者们，在中文分词与自动标引的 研究与实践上进行了大量的研究，找到了许多解决中文分词的方法，目前关于中文分词 研究方法主要有三个方面，即基于字符串匹配的分词方法、基于统计的分词方法和基于 理解的分词方法。中文分词的研究，主要是从词层面进行的研究，这一问题很早就受到 了广泛的关注。目前，各种分词系统也不断建立，分词系统在运行速度、准确度等方面 已经具有了研究应用的价值，但是在句子中词该如何被界定，仍然是一个比较困难的问 题，同时，在不同的应用领域由于应用需求的不同，需要达到的分词效果有很大区别。 词的确切概念难以标准化，词的应用领域不同，使得分词规范难以统一，需要达到的分 词效果也有很大区别。在这一长期的研究和实践过程中，分词规范、歧义字段处理和未 登录词识别成为困扰我们的主要技术难题，随着计算机技术和汉语语言研究的发展，中 文分词