基于贝叶斯算法的垃圾邮件过滤系统设计与实现

南开大学学位论文使用授权书

根据《南开大学关于研究生学位论文收藏和利用管理办法》，我校的博士、硕士学位

获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。

本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在

《著作权法》规定范围内的学位论文使用权，即：（１）学位获得者必须按规定提交学位论文

（包括纸质印刷本及电子版），学校可以采用影印、缩印或其他复制手段保存研究生学位论

文，并编入《南开大学博硕士学位论文全文数据库》；（２）为教学和科研目的，学校可以将

公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检

索、文摘以及论文全文浏览、下载等免费信息服务；（３）根据教育部有关规定，南开大学向

教育部指定单位提交公开的学位论文；（４）学位论文作者授权学校向中国科技信息研究所及

其万方数据电子出版社和中国学术期刊（光盘）电子出版社提交规定范围的学位论文及其电

子版并收入相应学位论文数据库，通过其相关网站对外进行信息服务。同时本人保留在其

他媒体发表论文的权利。

非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。

论文电子版提交至校图书馆网站：ｈｔｔｐ：／／２０２．１１３．２０．１６１：８００１／ｉｎｄｅｘ．ｈｕｎ。

本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答

辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。

本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。

作者暨授权人签字：

扬撞生

２０１２年１１月１１日

南开大学研究生学位论文作者信息

论文题目

姓名杨艳生学号答辩日期２０１２年１１月１１日

基于贝叶斯算法的垃圾邮件过滤系统设计与实现

２２２００９１４９５

同等学力硕士口论文类别博士口学历硕士口硕士专业学位团高校教师口

院／系／所软件学院专业软件工程

联系电话

ｌ５０６９６３３００９６３．ｔｏｍ

Ｅｍａｉｌ

Ｙａｎｇｙａｎｓｈｅｎ９６６＠１

通信地址（邮编）：寿光市公安局法制案审大队（２６２７００）

备注：

南开大学学位论文原创性声明

本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所

取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包

含任何他人创作的、己公开发表或者没有公开发表的作品的内容。对本论文所

涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本

学位论文原创性声明的法律责任由本人承担。

学位论文作者签名：２０１２年１１月１１日

扬艳生

非公开学位论文标注说明

（本页表中填写内容须打印）

根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申

请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本

说明为空白。

论文题目

申请密级

保密期限月日至２０年月年

审批表编号批准日期年月日

口限制（≤２年）口秘密（≤ｌＯ年）

２０

２０

口机密（≤２０年）

日

南开大学学位评定委员会办公室盖章（有效）

注：限制★２年（可少于２年）：秘密★１０年（可少于１０年）：机密★２０年（可少于２０年）

摘要

摘

要

随着互联网的迅速发展和应用普及，电子邮件的广泛应用给我们的生产和

生活带来了相当大的便利，但是垃圾邮件的出现给我们带来了相当大的烦恼，

针对垃圾邮件问题本文以贝叶斯算法为理论基础，将理论应用于工程实际，设

计和实现了基于贝叶斯算法的垃圾邮件过滤系统。

ＡＢＳＴＲＡＣＴ

Ａｂｓｔｒａｃｔ

Ａｌｏｎｇｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔａｐｐｌｉｃａｔｉｏｎ

ｗｉｔｈｔｈｅａｎｄｏｆＩｎｔｅｒｎｅｔ，

ａｌｔｈｏｕｇｈ

ｔｈｅ

ｗｉｄｅｏｆｅｍａｉｌｃｏｎｓｉｄｅｒａｂｌｅｃｏｎｖｅｎｉｅｎｃｅ．Ｂｕｔｍａｉｌｓ

ａｐｐｌｉｃａｔｉｏｎｂｒｉｎｇｓｂｒｉｎｇ

ＵＳ

ｓｐａｍ

ＵＳｏｎ

ｃｏｎｓｉｄｅｒａｂｌｅｔｒｏｕｂｌｅ．Ｉｎｖｉｅｗｏｆｔｈｅｓｉｓｗｈｉｃｈｂａｓｅｄ

ｓｐａｍ，ｔｈｅａｌｇｏｒｉｔｈｍ

ｂａｙｓ

ａｓ

ｔｈｅｔｈｅ

ｔｈｅｏｒｅｔｉｃａｌ，

ａｐｐｌｉｅｓｔｈｅｏｒｙｅｎｇｉｎｅｅｒｉｎｇａｐｐｌｉｃａｔｉｏｎ，

ｔｏ

ａｎｄａｎｄ

ｄｅｓｉｇｎｓ

ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓｓｙｓｔｅｍ

ｔｈｅｔｈｅｂａｓｉｓｏｆ

ｓｐａｍｆｉｌｔｅｒｉｎｇ

ｏｎ

ｂａｙｓ

ａｌｇｏｒｉｔｈｍ．

Ｓｐａｍ

ｆｉｌｔｅｒｉｎｇａｃｔｕａｌｌｙｂａｙｓ

ｐｒｏｂｌｅｍｐｒｏｂｌｅｍｓ

ｉｓｏｆｅｍａｉｌ，

ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎ

ａｌｇｏｒｉｔｈｍ

ｉｓｆｉｌｔｅｒ，ｉｓｔｈｅｅｌｅｃｔｒｏｎｉｃ

ａｐｐｌｉｅｄａｃｔｕａｌｌｙ

ｔｏｔｏ

ｓｐａｍｃｌａｓｓｉｆｙ

ｍａｉｌ

ｔｈｒｏｕｇｈ

ｓｔａｔｉｓｔｉｃａｌｍｅｔｈｏｄｓ．Ｏｎｔｈｅｏｆ

ｂａｓｅ

ｂａｙｓｓｐａｍｆｉｌｔｅｒｉｎｇｓｙｓｔｅｍ

ａｌｇｏｒｉｔｈｍ，ｔｈｅ

ａｃｈｉｅｖｅｓｂｅｔｔｅｒｒｅｓｕｌｔｓｆｏｒ

Ｅｎｇｌｉｓｈ

ｅｍａｉｌ．Ｔｈｉｓ

ｓｙｓｔｅｍ

ｊｏｉｎｅｄ

ｔｈｅ

Ｃｈｉｎｅｓｅｗｏｒｄ

ｓｅｇｍｅｎｔａｔｉｏｎ

ｍｏｄｕｌｅ，Ｄｅｓｉｇｎ

ａｎｄ

ｒｅａｌｉｚｅｓ

ｔｈｅＣｈｉｎｅｓｅｆｕｎｃｔｉｏｎ

ｍａｉｌ

ｆｉｌｔｅｒｉｎｇ

ｍｏｄｕｌｅ，ｏｂｔａｉｎｅｄ

ａｎｄ

ｂｅｔｔｅｒｅｆｆｅｃｔ．

ｆｉｌｔｅｒｉｎｇ

Ｔｈｉｓｉｎｔｒｏｄｕｃｅｓｒｅｓｅａｒｃｈｔｈｅ

ｐａｐｅｒ

ｆｉｒｓｔｌｙｂａｃｋｇｒｏｕｎｄ，

ｓｉｇｎｉｆｉｃａｎｃｅ

ａｎｄ

ｄｏｍｅｓｔｉｃ

ａｎｄｉｎｔｅｒｎａｔｉｏｎａｌｒｅｓｅａｒｃｈｏｆｔｈｉｓ

ｐｈｅｎｏｍｅｎｏｎ

ｔｏｐｉｃ，

ａｎｄ

ｔｈｅｎＩｎｔｒｏｄｕｃｅｓ

ｔｈｅｒｅｌａｔｅｄｏｆｗｈｉｃｈｔｅｃｈｎｉｃａｌ

ｋｎｏｗｌｅｄｇｅ

ｅｍａｉｌ，ｂａｓｉｃ

ｐｒｏｖｉｄｅｓ

ｋｎｏｗｌｅｄｇｅ

ｆｏｒ

ｄｅｓｉｇｎｉｎｇ

ｓｐａｍｆｉｌｔｅｒｉｎｇ

ｓｙｓｔｅｍ．Ｔｈｉｒｄｌｙ，ｔｈｅ

ｔｈｅｓｉｓｉｎｔｒｏｄｕｃｅｓ

ｔｈｅ

ａｌｇｏｒｉｔｈｍ

ｏｆｂａｙｓ

ａｌｇｏｒｉｔｈｍｐｒｅｔｒｅａｔｍｅｎｔ，

ａｎｄ

Ｅ—ｍａｉｌ

ｗｈｉｃｈｔｈｅｏｒｅｔｉｃａｌ

ｐｒｏｖｉｄｅｓ

ａ

ｂａｓｉｓｆｏｒ

ｄｅｓｉｇｎｉｎｇ

ｓｐａｍ

ｆｉｌｔｅｒｉｎｇｐａｐｅｒ

ｓｙｓｔｅｍ．Ｆｉｎａｌｌｙ，ｔｈｅ

ｉｎｔｒｏｄｕｃｅｓｔｈｅｏｆｔｈｅ

ｄｅｓｉｇｎ

ｓｃｈｅｍｅ

ｓｐａｍ

ｆｉｌｔｅｒｉｎｇｓｙｓｔｅｍ

ａｎｄ

ｔｈｅｒｅａｌｉｚａｔｉｏｎｏｆｔｈｅ

ｔｈｅ

ｆｉｌｔｅｒｉｎｇ

ｓｙｓｔｅｍ，

ａｎｄ

ｔｅｓｔｓ

ｄｅｓｉｇｎｅｄ

ｆｉｌｔｅｒｉｎｇ

ｓｙｓｔｅｍｂｙｅｘｐｅｒｉｍｅｎｔ．

ＫｅｙＭａｉｌ；Ｂａｙｅｓ

Ｗｏｒｄｓ：Ｓｐａｒｅ

Ａｌｇｏｒｉｔｈｍ；Ｔｈｅ

Ｃｈｉｎｅｓｅ

Ｗｏｒｄ

Ｓｅｇｍｅｎｔａｔｉｏｎ；Ｆｅａｔｕｒｅ

Ｗｂｒｄｓ

Ｅｘｔｒａｃｔｅｄ

ＩＩ

目录

目录

第一章绪论………………………………………１

第一节课题的研究背景及意义………………………………．１

第二节国内外研究现状……………………………………．２

第三节本文的主要研究内容…………………………………５

第四节本文组织结构安排…………………………………．．５

第二章电子邮件的相关技术介绍………………………７

第一节电子邮件的工作原理…………………………………７

第二节电子邮件的传输协议…………………………………８

第三节电子邮件的内容格式和编码技术………………………．．９

目录

４．３．４系统分类模块设计…．…………………………………．．３５

第四节数据库模块设计……………………………………３６

第五节本章小结…………………………………………３７

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试．３８

第一节邮件采集模块的实现………………………………．．３８

第一章绪论

第一章绪论

第一节课题的研究背景及意义

随着互联网技术的迅速发展和广泛应用，电子邮件作为一种经济、方便、

快捷的通信方式也得到了快速的发展，成为互联网用户一种必备的通信工具，

是互联网技术成功应用的典范。现在电子邮件的使用已经相当普及，通过电子

邮件我们可以和地球上任何使用互联网的人进行交流沟通，而且其具有操作简

单，速度快捷，费用低廉，传递的信息量大等特点，是其他通信方式无法与之

相比的。

任何事情都有正反两个方面，电子邮件给我们带来便利的同时，其带来的负

第一章绪论

４．严重影响ＩＳＰ的服务形象，降低了用户对电子邮箱的实用兴趣。

５．有些人通过发送垃圾邮件来妖言惑众，骗人钱财，甚至传播色情等内容

已经严重危害了现实社会。

因此垃圾邮件已经成为全球本互联网行业普遍关注研究的一个重要课题。

本文以贝叶斯算法为基础，对垃圾邮件过滤技术进行研究，设计垃圾邮件过滤

系统，对减少垃圾邮件的危害具有重要的意义。

第二节国内外研究现状

从垃圾邮件诞生的那一刻起，人们就一直再寻找对付垃圾邮件的有效方

法，经过不懈的努力，从多个方面提出了对付垃圾邮件的措施，目前用来对付

垃圾邮件的方法主要有三种：法律法规的制定和宣传教育，邮件通信协议的改

第一章绪论

（１）基于ＩＰ地址的过滤

在整个邮件系统的路由器、邮件传送代理、邮件投递代理、邮件用户代理

和到达用户五个层次中可以应用基于ＩＰ地址的过滤。基于ＩＰ地址的过滤主要

包括基于网络的ＩＰ地址和基于主机的工Ｐ地址两种过滤技术，现在比较容易见

到的有路由器访问控制链表技术、黑白名单过滤技术口。８１和实时黑名单技术等。

路由器访问控制链表技术是指从网络层（ＩＰ）和传输层（ＴＣＰ）控制对网络

资源的访问，通过控制发送垃圾邮件ＩＰ地址上网络资源的访问来将垃圾邮件过

滤掉。

现在的邮件服务器基本都具有黑白名单过滤功能，这是最早的垃圾邮件过

第一章绪论

域名的逆向解析时需要做大量的ＤＮＳ查询，因此这样会耗费大量的网络资源。

根据垃圾邮件服务器的特点可以用ＳＭＴＰ交互行为的检测对垃圾邮件进行处

理，现在比较常见的检测方法有：无效账号的发送、对发送账号进行限制、特

殊命令的使用等ｎ１｜。

（３）基于内容的过滤技术

现在基于内容的过滤技术是垃圾邮件过滤技术的主流，主要有基于规则的

第一章绪论

第三节本文的主要研究内容

本文介绍了对电子邮件的工作原理、传输协议、内容格式和编解码方法等

电子邮件的基本技术，分析了现在垃圾邮件的基本特点，并对贝叶斯算法和中

文分词技术进行了研究，设计和实现了一个基于贝叶斯算法的垃圾邮件过滤系

统，主要内容如下：

电子邮件的工作原理主要介绍了ＭＵＡ，ＭＴＡ，ＭＤＡ三种电子邮件数据传递方

式和电子邮件工作的基本原理；电子邮件的传输协议介绍了简单邮件传输协议、

第一章绪论

题下一步需要进一步做的工作进行了展望。

６

第二章电子邮件相关技术介绍

第二章电子邮件的相关技术介绍

第一节电子邮件的工作原理

电子邮件还有电子信箱和电子邮政两个别称，它的通信是通过电子技术进

行信息交换来实现的。电子邮件是在上个世纪７０年代发明，８０年代中期兴起的，

到９０年代中期，随着互联网浏览器的诞生和电子邮件技术非常广泛的使用，电

子邮件已经成为Ｉｎｔｅｍｅｔ技术中应用最多的一种服务，电子邮件技术是一种非常

便捷的迅速的通信方式，用户可以快速的在网络中找到世界上任意角落里的另

一个电子邮件用户，但是这种通信方式仅需要花费用户很少的钱。电子邮件的

第二章电子邮件相关技术介绍

再通过收信人的ＭＵＡ就可以查看到邮件的内容了。电子邮件的整个传输过程如

图２．１所示。

图３．１电子邮件传输原理

第二节电子邮件的传输协议

邮件的整个传输过程是通过在各个邮件服务器间的通信、传递邮件数据实

现的，要实现各个邮件服务器之间的数据传输就必须遵循一定的传输协议，而

且不同的传输过程有不同的传输协议，下面介绍五种重要的邮件传输协议【１４】【１５】。

（１）ＳＭＴＰ

ＳＭＴＰ（Ｓｉｍｐｌｅ

Ｍａｉｌ

Ｔｒａｎｓｆｅｒ

Ｐｒｏｔｏｃ０１）简单邮件传输协议，它属于ＴＣＰ／ＩＰ

协议族，提供一种面向连接的可靠的邮件数据传输服务，它控制由源地址到目

的地址传送邮件数据的传输和邮件数据的中转方式，ＳＭＴＰ协议规定，如果发送

端服务器和接收端服务器在同一个网络中，则直接传输邮件数据，如果不在同

第二章电子邮件相关技术介绍

这个协议用户可以将电子邮件的数据从邮件服务器拷贝到自己的电脑上，用户

也可以利用系统提供的客户端来对电子邮件服务器上的邮件进行删除、保存等

各种常用的操作，遵循ＰＯＰ３协议的邮件服务器通常被称为ＰＯＰ３服务器。ＰＯＰ３

协议是ＴＣＰ／ＩＰ协议族中的一员，是由ＲＦＣ１９３９定义的。通过电子邮件系统提

供的客户端来对电子邮件服务器上的电子邮件进行管理是本协议的最大优点。

（３）ＩＭＡＰ

斯坦福大学在１９８６年研发了一种邮件获取协议被称为Ｉｎｔｅｍｅｔ

Ｍａｉｌ

Ａｃｃｅｓｓ

Ｐｒｏｔｏｃｏｌ（交互式邮件存取协议）ＩＭＡＰ。利用这种协议通过邮件客户端（例如

Ｆｏｘｍａｉｌ）从邮件服务器上获取邮件的信息是ＩＭＡＰ协议的主要作用，例如下载电

子邮件等。当前的权威定义是ＲＦＣ３５０１。ＩＭＡＰ是运行在ＴＣＰ／ＩＰ协议之上的一

种协议，这种协议使用计算机的１４３端口。用户可以不用把所有的邮件全部下

第二章电子邮件相关技术介绍

电子邮件的发送和接收都是通过计算机和网络实现的，因此电子邮件的格

式必须遵循一定的规则和协议才能实现电子邮件的功能。ＲＦＣ８２２定义了电子邮

件的标准格式，电子邮件的标准格式由信封、邮件头、邮件体和空行四个部分

组成…。

电子邮件的信封跟传统邮件的功能一样，使用来表明发件人和收件人地址

的，在ＳＭＴＰ的传输过程中是由命令“ＭＡＩＬＦＲＯＭ”和“ＲＣＰＴＴＯ”实现的，

其格式如下所示：

ＭＡＩＬ

ＦＲＯＭ：＜ｗａｎｇｅｒ＠１６３．ｃｏｍ＞

ＲＣＰＴ

ＴＯ：＜ｚｈａｎｇｓａｎ＠ｓｉｎａ．ｃｏｍ．ｃｎ＞

邮件头的功能是记录电子邮件属性的基本信息，主要包括发信人地址、收

件人地址、邮件主题、邮件ＩＤ、发送时间、邮件中转服务器等信息，每封邮件

都有唯一的ＩＤ号，通过ＩＤ号来确认所收到的邮件数据是否来自同一封邮件。

第二章电子邮件相关技术介绍

邮件体就是邮件所要传输的主要内容信息，邮件体主要由段头和段体信息两

部分组成的，段体信息就是邮件的正文，段头部分主要描述了正文中用到的文

字格式和所用到的编码技术，常见的字段及字段含义如下表所示【１８】：

表２．２邮件体常用字段与相应含义表

字段含义

Ｃｏｎｔｅｎｔ－Ｔｙｐｅ

段体的类型

Ｃｏｎｔｅｎｔ—Ｔｒａｎｓｆｅｒ－Ｅｎｃｏｄｉｎｇ

段体的传输编码方式

Ｃｏｎｔｅｎｔ－Ｄｉｓｐｏｓｉｔｉｏｎ

段体的安排方式

Ｃｏｎｔｅｎｔ．ｍ段体的ＩＤ

Ｃｏｎｔｅｎｔ．Ｌｏｃａｔｉｏｎ

第二章电子邮件相关技术介绍

第四节本章小结

本章主要介绍了电子邮件的相关技术，包括电子邮件的基本传输原理，并

详细介绍了邮件传输的三个部分ＭＵＡ、ＭＴＡ、ＭＤＡ；然后介绍了电子邮件传

输过程中所用的相关协议，主要包括ＳＭＴＰ协议、ＰＯＰ３协议、ＩＭＡＰ等重要的

协议；最后介绍了电子邮件的基本内容格式和电子邮件的编码格式

第三章贝叶斯分类算法及邮件预处理技术

第三章贝叶斯分类算法及邮件预处理技术

贝叶斯分类算法是基于贝叶斯算法垃圾邮件过滤系统的理论基础，贝叶斯

算法来源于概率论、基本被用在处理统计学中比较随机性的问题，基于贝叶斯

理论的垃圾邮件过滤技术是目前最有效的技术之一。由于中文文本的词语之间

是相连的，不能像英文那样通过标点符号和空格就能实现分词，因此中文文本

分词需要专门的技术来实现，邮件经过分词处理后，如果将每个单词都表示成

特征项的话，特征词的数量将会十分庞大，因此需要对分词进行提取处理，提

取出那些对邮件分类能够起到作用的分词作为特征项，将那些对邮件分类没有

作用的分词去掉，来提高邮件分类的效率，文本分词和特征提取的结果对整个

过滤系统的性能和效率有着很大的影响。

第一节贝叶斯分类算法

第三章贝叶斯分类算法及邮件预处理技术

定义３．２：设Ｓ是一个随机实验的样本空间，Ｅ是这个随机实验的随机事件，

对于其中的任意一个随机事件Ａ都赋予一个实数，记为Ｐ（Ａ），称为这个随机事件

Ａ发生的概率。

定义３．３：设Ａ、Ｂ是随机实验中的两个随机事件，且事件Ａ发生的概率Ｐ（Ａ）＞０，

则称

朋㈤＝篙

通过对条件概率公式进行进一步的推导便可以得出贝叶斯公式。

（３．１）

为事件Ａ在事件Ｂ发生的条件下的条件概率。我们把式（３．１）称为条件概率公式。

定理：设一个随机实验的样本空间为Ｓ，Ａ为这个随机实验的一个事件，Ｂ１，

Ｂ２，Ｂ３，…为样本空间Ｓ的一种划分，且Ｐ（Ａ）＞０，Ｐ（Ｂ：）＞０（ｉ＝１，２，．．，ｎ），则

有

Ｐ（Ｂｉ［Ａ）：善螋ｉ＝１，２，…，ｎ

∑只彳Ｉ色）鹏）

ｊ＝ｌ

（３．２）

第三章贝叶斯分类算法及邮件预处理技术

设两种邮件的类型空间为｛Ｃ，，Ｃ：），邮件文本的特征空间为｛ｗ。，

则对于给定的邮件类型Ｃ，或者Ｃ。好，则根据贝叶斯公式有：

ｐ（ｃ阶卑铲

其中：

（３．４）

Ｐ（Ｗ）＝尸（Ｃ１）Ｐ（ｗＣ１）＋Ｐ（Ｃ２）Ｐ（ｗＣ２）

Ｐ（ＷＩＣ）＝尸（％，％，．．．，％ＩＣ）

判断邮件为垃圾邮件或合法邮件概率的公式为：

Ｐ（ＣＷ）＝Ｍａｘ｛Ｐ（Ｃｌ（３．７）

Ｉ形），Ｐ（Ｃ２Ｉ∥））

（３．５）

（３．６）

在式（３．４）中分母Ｐ（Ｗ）和邮件的类别Ｃ无关，因此通过式（３．７）判断邮件

是否为垃圾邮件是可以忽略，因此只需要计算Ｐ（Ｃ）和Ｐ（矽ＩＣ）的概率即可判断邮

件的类别。贝叶斯分类器的基本结构模型如图３．１所示。

图３．１贝叶斯分类器的结构模型

３．１．３朴素贝叶斯分类模型

由一般贝叶斯分类模型中可知，通过式（３．４）来判断邮件是否为垃圾邮件，

需要计算Ｐ（Ｃ）和Ｐ（矽ＩＣ），其中Ｐ（Ｃ）为先验概率，一般比较容易计算，但是

尸（∥Ｉ

第三章贝叶斯分类算法及邮件预处理技术

量，这种模型被称为朴素贝叶斯模型，而且通过实验证明朴素贝叶斯模型具有

较好的过滤性能。

假设Ｍ是邮件样本集中属于第Ｇ类邮件的总数，Ｎ表示邮件样本集的总数，

则Ｐ（Ｃ）的计算公式为：

尸（Ｇ）＝丝Ｎ

假设给定类别的样本邮件集Ｇ有ｎ个特征词，分别为ｗ。，

且这些特征词之间是相互独立的，则有：

Ｐ（Ｗ

Ｇ）＝Ｐ（彬，％，．．．，呢ＩＧ）

Ｗ：，…，

（３．８）

Ｗ。，并

Ｇ）＝兀尸（彬ｌ

ｉ＝１

（３．９）

朴素贝叶斯分类器的结构模型如图３．２所示。

图３．２朴素贝叶斯分类器的结构模型

第二节邮件内容解析

第三章贝叶斯分类算法及邮件预处理技术

ＧＢ２３２

１（２Ｂｙｔｅ）、ＧＢＫ（２Ｂｙｔｅ）、ＵＴＦ－８（３Ｂｙｔｅ）、Ｂｉ９５（２Ｂｙｔｅ）等。

第三节文本分词技术

文本分词是垃圾邮件过滤系统中比较重要的一个环节，对系统的性能和效

率有着很大的影响。分类方法一般分为两类：英文分词和中文分词。

英文分词通过标点符号和空格等非字母字符作为分词依据就能实现，分词

方法比较简单。

在中文文本中词语之间是相互连在一块的，不像英文字符那样有比较明显

第三章贝叶斯分类算法及邮件预处理技术

３．基于词频分词法。

词频分词法的基本思想是：通过统计的方法计算相邻字出现的频率来表示

他们的互信息，当他们的频率超过某个阈值时，就把这两个字当成一个词，然

后把这些词的词频相乘从而得到最后结果。这种方法复杂度比较高，而且低频

词的错误难以克服，迄今为止尚未有成功的应用报道。

４．Ｎ．最短路径法。

Ｎ．最短路径法的基本原理是：首先在待分文本中找出含有正确结果的Ｍ个

粗分词，接着根据这些粗分词结果的性能和准确度，从这Ｍ个结果中找出最佳

第三章贝叶斯分类算法及邮件预处理技术

突出了某些比较重要的特征词。

２．互信息

ＴＦ．ＩＤＦ方法只是对分词特征和文档之间的关系进行了描述，并没有反映出

分词特征与邮件类别之间的关系，互信息则描述了分词特征与邮件类别之

间的关系，互信，皂，（Ｍｕｍａｌ

Ｉｎｆｏｒｍａｔｉｏｎ），简称ＭＩ，其定义如下：

ＭＩ（Ｔ）＝善２

Ｐ（Ｃｆ）１。ｇ篙

（３．…

其中：尸（Ｇ）表示在第ｉ类文本在训练文本总数中出现的概率，Ｐ（Ｔ）表示分

词特征Ｔ在训练文本集中出现的概率，Ｐ（Ｔ

ｆ）表示分词特征Ｔ在第ｉ类文本总

特征分词中出现的概率。ＭＩ越大，则分词特征和邮件类别共同出现的可能性也

越大【３２１。

３．信息增益

信息增益是根据样本特征信息增益的大小来反映其信息量的大小，样本特

征的信息增益越大，则其包含的信息量也就越大。信息增益的公式定义如下：

ＩＧ（Ｔ）＝－Ｚｐ（ｃ，）＋Ｐ（丁）∑Ｐ（ｃ，Ｉｒ）＋Ｐ（亍）∑Ｐ（ｃ，Ｉ

Ｔ）ｌｏｇＰ（Ｃ，Ｉ

第三章贝叶斯分类算法及邮件预处理技术

（３．１３）

其中：Ｎ代表所有文档，Ⅳ（Ｇ，丁）代表属于类别Ｇ且包含特征词Ｔ的文档

数，Ⅳ（Ｇ，丁）表示即不包含特征词Ｔ，也不属于类别ｃｉ的文档，Ｎ（Ｔ，ｅ）表示包

含特征Ｔ，但不属于类别Ｃｉ的文档，Ｎ（Ｔ，Ｃｆ）表示不包含特征Ｔ，但属于类别Ｃｉ

的文档。ｚ２统计量的缺点是【３３】：没有考虑到特征词在文本中出现的频率，对低

频词的分词效果不是太理想。

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与

设计

前面三章主要介绍了电子邮件系统的一些基本知识、贝叶斯算法的基本原

理和垃圾邮件过滤系统中用到的一些基本技术，本章将进入本论文的主题，基

于贝叶斯垃圾邮件过滤系统的设计阶段。本文的目标是设计一个基于贝叶斯算

法过滤并加入黑白名单过滤和规则过滤的垃圾邮件过滤系统，将此系统放在用

户邮件接收服务器上，对用户接收到的邮件进行过滤，将垃圾邮件拦截掉后发

给邮件用户客户端。下面具体介绍整个过滤系统的设计方案。

第一节系统的需求分析

软件系统的开发最难办的是要非常准确的知道我们要开发一个什么样的软

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

中的安装位置如图４．１所示。

ＭＵＭＭＴＡｌ

ＭＴＡ２

发件方

４．１电子邮件系统示意图

垃圾邮件过滤系统的最终使用者最关注的垃圾邮件过滤系统的性能，也就是

垃圾邮件过滤系统的质量，评价垃圾邮件过滤系统性能的指标是垃圾邮件过滤

系统的有效性和垃圾邮件过滤系统的过滤效率。垃圾邮件性能的判断过程是一

个比较复杂的过程，整个评判过程包括评判指标的确定过程，评判数据的选择

过程和评判环境的构建过程等。垃圾邮件过滤系统有效性的判断所依据的指标

常用的有两个：

１．正常邮件的误过滤率（ｈａｍｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎｐｅｒｃｅｎｔａｇｅ，简写ｈｍ％），

第四章基丁贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

图４．２整个系统中三种过滤方法的组合关系图

基于这种过滤系统的设计方案，垃圾邮件过滤系统应该具有的功能有：传

输控制功能、邮件数据包编解码功能、中文邮件处理能力、垃圾邮件过滤功能、

反馈学习能力、垃圾邮件处理能力、邮件正常的转发功能、良好的人机交互功

能。

传输控制功能：整个垃圾邮件过滤系统安装在用户电子邮件接收服务器上，

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

中文邮件处理能力：基于贝叶斯算法的过滤系统需要用到特征词，特征词

是在邮件的文本中提取的，也就是说特征词是从邮件的文本词中选出来的，英

文单词一般都是通过空格或标点符号隔开，比较容易区分，但是中文文本都是

通过单个的词连在一块组成一个句子，词语隐含在句子中，没有比较明显的标

志来区分开，因此中文文本分词要比英文分词复杂的多，因此垃圾邮件过滤系

统对中文邮件的处理能力也是过滤系统性能高低的一个重要标志。

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

子模块，邮件采集模块、黑白名单和规则过滤系统模块、电子邮件预处理模块、

过滤系统的训练模块、过滤系统的分类模块。

邮件采集模块：用户的收到的电子邮件放在用户的电子邮件服务器上，因

此需要邮件的采集模块来实现从用户邮件服务器中读入指定邮件的功能，系统

得到垃圾邮件的数据内容后进行下一步的处理过程。

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

图４．３过滤系统的总体设计框图

第三节系统子功能模块设计

整个垃圾邮件过滤系统的五大子模块中邮件采集模块主要实现邮件数据包

的拦截功能，相对来说比较简单。下面主要介绍一下黑白名单和规则过滤模块、

２６

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

邮件预处理模块、系统训练模块、系统分类模块的设计和数据库模块设计。

４．３．１

黑白名单和规则过滤模块设计

整个垃圾邮件过滤系统中加入黑白名单和规则过滤模块可以提前过滤一部

分邮件。过滤系统在拦截到邮件数据包时，可以根据在ＳＭＴＰ会话过程中的Ｍａｉｌ

Ｆｒｏｍ和Ｒｅｃｐｔ

Ｔｏ等进行黑白名单过滤，

并对邮件标题和正文中过滤规则不允许

出现的字符串和关键字进行规则过滤。黑白名单和规则过滤模块系统设计框图

如图４．４所示。

用户邮件

邮件采集

邮件中有规邮件中无规

则关键词＜勺豆则过泠则关键词

人

垃圾邮件正常邮件邮件

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

４．３．２邮件预处理模块设计

邮件预处理模块要实现的功能有邮件内容的解析、文本分词、处理停用词

和分词特征提取。邮件预处理模块系统设计框图如图４．５所示。

Ｉ邮件内容提取

１

ｒ

邮件内容解码

１ｒ

中文分词

１ｒ

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

图４．６邮件头提取过程设计框图

由于邮件头中字段比较多，本流程图中只给出了发信人地址字段、收信人

地址字段和抄送人地址字段的处理方法，其余字段的处理方法类似。邮件头中

的ｃｏｎｔｅｎｔ．ｔｙｐｅ字段给出了邮件的正文文本类型，如果为ｔｅｘｔ类型直接处理，如

果为ｍｕｌｔｉｐａｒｔ类型则需要记录ｂｏｕｎｄａｒｙ的值，用来进行对邮件体字段的划分。

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

邮件体的提取过程设计框图如图４．７所示。

图４．７邮件头提取过程设计框图

其中，本文主要处理了ｔｅｘｔ／ｐｌａｉｎ（纯文本格式）、ｔｅｘｔ／ｈｔｍｌ（网页格式）、

ｍｕｌｔｉｐａｒｔ／ａｌｔｅｒｎａｔｉｖｅ（ｔｅｘｔ与ｈｔｍｌ格式二选一）三种格式邮件体文本处理类型，如果

３０

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

邮件类型是ｍｕｌｔｉｐａｒｔ类型，则表示邮件体中包含两个或两个以上的字段，这些

字段通过ｂｏｕｎｄａｒｙ进行分割，而且每个字段采用的编码格式和字符集不相同，

需要分别进行处理，本文只处理了ｗｏｒｄ和ｐｄｆ两种格式的附件，其他二进制格

式如音频或视频等未作处理，需要做进一步的研究。

２．邮件内容解码。电子邮件系统只能传输７ｂｉｔ的ＡＳＩＩＣ码，对于其他类型

的字符现在通常采用ＭＩＭＥ（ＭｕｌｔｉｐｕｒｐｏｓｅＥｘｔｅｎｓｉｏｎｓ）进行编码后进

Ｉｎｔｅｒｎｅｔ

Ｍａｉｌ

行传输，最后接收端进行编码还原为原码。在ＭＩＭＥ协议中定义了Ｂａｓｅ６４和

ＱＰ（Ｑｕｏｔｅ．Ｐｒｉｎｔａｂｌｅ）两种编码方法，它们的编码原理已经在第二章第三节进行了

讲解。对于解码后的汉子二进制流还需要采用字符集进行进一步的解码，得到

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

的，因此需要从邮件的内容中提取出特征词并计算特征词的出现的概率，这些

特征词是从邮件内容的词语中筛选的，对于英文邮件来说，可以通过其自身的

特点进行分词，如单词之间的空格、标点符号等。但是中文一句话都是连在一

块的，词与词之间没有明显的区分标志，并且经常根据上下文的语境变化，这

给分词带来了很大的困难。

中文分词技术在整个中文信息处理中起基础和关键性的作用，最近几年来，

我国的工程技术人员已经开发了多种现代书面汉语自动分词软件，在国内许多

科研机构的努力下，在利用计算机进行文本分词方面获得了不少突破，现在常

用的中文分词算法有最大匹配法、最优路径法、特征词库法、邻接约束法、人

工神经网络法、无词典分词法等【３４】【３５】。

中国科学院两位研究员张华平、刘群经过一年的努力，开发出一套广受专

家学者和工程技术人员好评的汉语分词系统一计算所汉语词法分析系统

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

４．停用词处理

邮件内容进行中文分词后得到的分词有很多与邮件过滤无关，而且有些出

现的频率非常高但是并没有什么实际意义，例如“这、那、你、我、你们、我

们”等等，这些词在邮件文本中出现的频率非常高，但是对系统过滤来说基本

没有什么作用。还有一些词与内容无关但也经常出现的功能词，如“而且、可

是、如果、那么等等”，这些词对邮件分类也没有多大作用，它们只是在文本中

起辅助作用，我们通常将这些功能词和出现频率比较高却对分词没有什么用的

词成为停用词（ｓｔｏｐ

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

数小于ｎ的特征词，其中ｎ的值取１，２，３，…，ｎ等整数，ｎ的取值可以根据

实际情况来调。

（２）通用词过滤。删除在邮件文本中通用的、并且在邮件文本中普遍存在

的特征词。

（３）最后根据信息增益公式计算剩下特征词的信息增益值，并将特征词根

据信息增益值的大小从大到小进行排列，然后根据特征词向量的维数来选取排

在前面的特征词数量，最后根据特征词向量的维数多少来进行试验，选取邮件

分类效果最后的特征向量维数。

通过信息增益的方法来提取邮件文本的特征词，删除了大量的冗余特征词，

大大的降低了特征向量的维数，降低了邮件分类程序的复杂度，从而提高了邮

件的分类效率。整个对特征词用信息增益的方法进行特征词提取子模块设计框

图如图４．１０所示。

厂—————————————］

．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．一

特征词

ｌ选取前Ｎ个特征词

图４．１０信息增益提取特征词子模块设计框图

４．３．３系统训练模块设计

为了使系统具有对邮件类型的分类能力，需要先对系统进行训练使系统具

有获得对邮件的分类能力，通俗的说就是通过训练使系统具备区分邮件类型的

３４

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

“经验”，具体到系统来说就是要计算特征词的先验概率。系统的训练模块分为

两个部分：系统初始训练模块和系统反馈训练模块。系统初始训练模块是用实

现准备好的正常邮件集合垃圾邮件集来来对系统进行训练，使系统具有对邮件

分类的能力；系统的反馈模块是系统对邮件进行分类后将邮件加入正常邮件集

或垃圾邮件集，对系统进行进一步训练使系统不断的提高对邮件的分类能力，

不断适应垃圾邮件的变化。训练模块的流程如下：

（１）将正常邮件集的特征和垃圾邮件集的特征进行分别整理。

（２）分别计算垃圾邮件集和正常邮件集中特征的先验概率。

（３）邮件分类后重新计算垃圾邮件集合正常邮件集中特征的先验概率

（４）形成统计表

训练模块设计框图如图４．１１所示。

１ｒ

特征词先验概率计

算

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

合评分，评分大于阈值的则被分为垃圾邮件，反之则被分为正常邮件，并且用

户可以根据需要调节这个阈值。本模块还有另外一个功能就是用户分类功能，

用户可以根据自己的需要对邮件进行手动分类处理。系统分类模块设计框图如

图４．１２所示。

邮件预处理训练统计表

。。＋。。。。。。。。。。。。。。。。。。。。。。。。、。。。。。。。。。。。。。。。。。。。。。。。。一

图４．１２系统分类模块设计框图

第四章基于贝叶斯算法的垃圾邮件过滤系统的需求分析与设计

在垃圾邮件过滤系统的预处理阶段得到邮件集的特征词，在系统的训练阶段

得到邮件特征词，这些特征词以及这些特征词的先验概率形成的统计表需要保

存在数据库中，当用户收到新的邮件时，在系统的判定阶段调用数据库中的数

据计算贝叶斯概率来对邮件进行判定。根据系统的需要表的设计结构如表４．１所

示。

表４．１系统训练统计表

字段的名称字段的数据类型字段的说明默认值备注

ｉｄ

ＮＴ

主键，自动编号

％ｒｄ

ＦＬＯＡＴ

特征词

特征词在正常邮件

Ｎｕｍｌ０

烈Ｔ

中出现的数量

关键词在正常邮件

ＧｏｏｄＦＬＯＡＴＯ

中出现的概率

特征词在垃圾邮件

Ｎｕｍ２Ｏ

烈Ｔ

中出现的数量

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与

测试

第四章介绍了整个垃圾邮件过滤系统的总体设计和各功能子模块的设计，

本章内容将主要介绍整个垃圾邮件过滤系统的具体实现，下面将具体介绍系统

的五个子模块的具体实现。

第一节邮件采集模块的实现

邮件采集模块就是要获取邮件的信息的，为了表示邮件的信息，我们定义

了类ｍｂｏｄｙ＿ｓ来表示邮件信息，类ｍｂｏｄｙ＿ｓ具体定义如下：

ｃｌａｓｓ

ｍｂｏｄｙ＿ｓ

｛

ｉｎｔ

ｃｏｕｎｔ；

ｕｎｓｉｇｎｅｄｓｉｚｅ；

ｉｎｔ

ｐ用来表示邮件的总数目木／

／木用来表示数组的大小车／

／幸用来表示邮件的起始偏移量；｜／

ｕｎｓｉｇｎｅｄ

ｕｎｓｉｇｎｅｄ

）

ｉｎｔ

ｓｔａｒｔ；

ｉｎｔ

ｌｅｎｇｔｈ；

／木用来表示每封邮件的大小木／

邮件采集模块的具体实现流程如下：

（１）首先申请内存空间，如果成功则程序进行下一步，如果不成功则返回

ＮＵＬＬ，结束数据采集模块程序的执行。

（２）将邮件读入到内存中，如果成功则程序执行下一步，如果不成功则返

ＮＵＬＬ，结束程序的执行。

（３）用固定值和邮件的“ＦＲＯＭ”头域的值进行匹配，如果匹配成功则返

回ｍｂｏｄｙ

行。

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

图５．１邮件采集模块的程序流程图

３９

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

邮件采集模块的程序用子函数ｃｏｌｌｅｃｔ（）表示，程序可以通过“Ｆｒｏｍ”的特

征来区分每一封邮件，然后通过指针的移动来指向另外一封邮件，从而一封一

封的读取每一封邮件。程序的具体代码如下所示。

ｉｎｔ

ｃｏｌｌｅｃｔ（）

｛

ｉｆ（ｐｒｅｎｅｗｌｉｎｅ＆＆（ｓｔｍｃｍｐ（ｂｕｆ，”Ｆｒｏｍ”，５）＝＝０））

｛

ｐｏｓ＝ｆｌｐｏｓ－ｓｔｒｌｅｎ（ｂｕｆ）；

ｍｂｏｄｙ－＞ｌｅｎｇｔｈ［ｍｂｏｄｙ－＞ｃｏｕｎｔ］＝ｐｏｓ—－ｍｂｏｄｙ－＞ｓｔａｒｔ［ｍｂｏｄｙ－－＞ｃｏｕｎｔ］；

ｉｆ（ｍｂｏｄｙ－＞ｃｏｕｎｔ＞＝（ｍｂｏｄｙ－＞ｓｉｚｅ－１））

｛

ｍｂｏｄｙ－＞ｓｉｚｅ＋＝４０９６；

ｎｅｗｐｔｒ＝ｒｅａａｌｏｃ（

ｍｂｏｄｙ－＞ｓｔａｒｔ，ｓｉｚｅｏｆ（ｐｏｓ）宰ｍｂｏｄｙ一＞ｓｉｚｅ））；

ｉｆ（ｎｅｗｐ忙ＮＵＬＬ）

｛

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

ｆｒｅｅ（ｍｂｏｄｙ）；

ｒｅｔｕｒｎ

ＮＵＬＬ；

）

ｍｂｏｄｙ－＞ｃｏｕｎｔ＋＋：

ｍｂｏｄｙ－＞ｓｔａｒｔ［ｍｂｏｄｙ－．＞ｃｏｕｎｔ］＝ｐｏｓ；

ｍｂｏｄｙ－＞ｌｅｎｇｔｈ［ｍｂｏｄｙ－＞ｃｏｕｎｔ］＝Ｏ；

ｒｅｔｕｒｎ

０：

）

邮件采集模块可以通过ｍｂｏｄｙ－＞ｃｏｕｎｔ返回用户邮箱中邮件的数目，并且通

过邮件旬柄ｈ—ｍａｉｌ和ｎｕｍ，ｍｂｏｄｙ＿ｓｅｌｅｃｔ函数可以实现选择该邮箱第ｎｕｍ封邮

件的功能，ｍｂｏｄｙ＿ｓｅｌｅｃｔ的主要代码如下：

ｉｎｔ

ｍｂｏｄｙ＿ｓｅｌｅｃｔ（）

｛

ｆｓｅｅｋ（ｆｐ缸，ｍｂｏｄｙ－＞ｓｔａｒｔ［ｎｕｍ］，ＳＥＥＫ＿ＳＥＴ）；

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

ｒｅｔｕｒｎ

１；

）

ｏｐｔｓ一＞ｉｎｂｕｆ＝ｂｕｆ；

ｏｐｔｓ－＞ｉｎｂｕｆｓｉｚｅ－－ｍｂｏｄｙ－＞ｌｅｎｇｔｈ［ｎｕｍ］；

ｒｅｔｕｒｎ

０：

第二节黑白名单和规则过滤模块的实现

定义函数ＡｄｄＦｉｌｔｅｒｔ（）来实现本模块的功能，此模块包含两部分黑白名单过滤

和规则过滤，分别定义函数ＢｌａｃｋＬｉｓｔＦｉｌｔｅｒ（）、ＷｈｉｔｅＬｉｓｔＦｉｌｔｅｒ（）和ＡｌｌｏｗＬｉｓｔＦｉｌｔｅｒ（）

来表示。函数直接的调用关系如图５．２所示。

图５．２黑白名单和规则过滤模块函数之间的调用关系示意图

其中，函数ＢｌａｃｋＬｉｓｔＦｉｌｔｅｒ（）实现黑名单的过滤程序，函数ＷｈｉｔｅＬｉｓｔＦｉｌｔｅｒ（）

实现白名单过滤程序，函数ＡｌｌｏｗＬｉｓｔＦｉｌｔｅｒ（）实现规则过滤的程序，子模块函数

ＡｄｄＦｉｌｔｃｒ（）首先调用ＷｈｉｔｅＬｉｓｔＦｉｌｔｅｒ（）看发件人是否在白名单中，如果在白名单

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

（２）邮件内容文字比较少，连接非常多。

（３）包含垃圾邮件关键词，如免费、特卖、培训、发票等，用户可以根

据自己的需要添加或删除。

第三节电子邮件预处理模块的实现

本小节是电子邮件预处理模块，用函数Ｍａｉｌ

Ｐｒｅｐｒｏｃｅｓｓｉｎｇ（）来实现，主要实

现邮件文本内容提取、邮件文本内容解析。邮件文本分词和邮件特征词提取及

去停用词的功能，分别用函数ＣｏｎｔｅｎｔＥｘｔｒａｃｔｉｏｎ（）、ＣｏｎｔｅｎｔＡｎａｌｙｓｉｓ（）、

ＣｏｎｔｅｎｔＷｏｒｄ（）和ＦｅａｔｕｒｅＥｘｔｒａｃｔｉｏｎ（）来实现。

５．３．１

邮件文本内容提取子模块的实现

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

图５．３函数ＭａｉｌＨｅａｄｅｒＥｘｔｒａｃｔｉｏｎ（）的程序流程图

其中，ＲｅａｄＭａｉｌ（）是读取邮件内容数据函数，ＳｅｎｄＭａｉｌｏｒ（）、ＡｃｃｅｐｔＭａｉｌｏｒ（）

和ＴｉｔｌｅＭａｉｌｏｒ（）分别是发件人信息、收件人信息和邮件标题处理函数，

ＤｅｃｏｄｉｎｇＭｏｄｕｌｅ（）是邮件标题、收件人信息和发件人信息汉子解码函数，

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

函数ＭａｉｌＢｏｄｙＥｘｔｒａｃｔｉｏｎ（）的程序流程图如图５．４所示。

Ｅ三

图５．４函数ＭａｉｌＢｏｄｙＥｘｔｒａｃｔｉｏｎ（）的程序流程图

其中，ＤｅｃｏｄｉｎｇＰｒｏｃｅｓｓ（）是文本解码处理程序，ＲｅｍｏｖｅＨｔｍｌ（）是去除Ｈｔｍｌ

标志程序，ＯｔｈｅｒＰｒｏｃｅｓｓ（）其他类型文本处理程序，Ｒｅｃｏｒｄｌｎｆｏ（）是文本信息记录

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

Ｏｖｅｒ（）程序结束处理程序。

５．３．２邮件文本内容解码子模块的实现

电子邮件的报文有ＲＦＣ８２２格式报文和ＭＩＭＥ格式报文两种，ＲＦＣ８２２格式

的报文没有经过编码直接进行传输，所以不用进行解码，ＭＩＭＥ格式的报文主要

有两种编码格式：Ｂａｓｅ６４编码格式和Ｑｕｏｔｅｄ．ｐｒｉｎｔａｂｌｅ编码格式，所以需要对这

两种格式的邮件报文进行解码。本模块用函数ＭａｉｌＤｅｃｏｄｅ（）实现，本函数的程

序流程图如图５．５所示。

【．．．．．．．．．．．．．．．．．．．．．．．．．。．．．一

电子邮件报文数据

是

图５．５函数ＭａｉｌＤｅｃｏｄｅ（）的程序流程图

本函数调主要调用用五个子函数分别是Ｒｆｃ８２２（）、Ｂａｓｅ６４Ｄｅｃｏｄｅ（）、

ＱＰＤｅｃｏｄｅ（）、ＯｔｈｅｒＤｅｃｏｄｉｎｇＰｒｏｃｅｓｓ（）和ＣｈａｒａｃｔｅｒＳｅｔ（），其中函数Ｒｆｃ８２２（）实

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

现ＲＦＣ８２２格式的报文处理功能，函数Ｂａｓｅ６４Ｄｅｃｏｄｅ（）实现Ｂａｓｅ６４编码格式数

据报文的解码，ＱＰＤｅｃｏｄｅ（）函数实现Ｑｕｏｔｅｄ．ｐｒｉｎｔａｂｌｅ编码格式数据报文的解码，

ＯｔｈｅｒＤｅｃｏｄｉｎｇＰｒｏｃｅｓｓ（）实现其他编码格式数据报文解码处理，ＣｈａｒａｃｔｅｒＳｅｔ（）实

现字符集处理。

５．３．３邮件文本分词子模块的实现

本小节实现邮件文本的分词功能，该模块用函数ＴｅｘｔＳｅｇｍｅｎｔａｔｉｏｎ（）来实现，

该函数需要实现中文分词功能、英文分词功能和其他文本分词的处理，中文分

词功能比较复杂，本文采用中科院计算所编写的汉语词法分析系统ＩＣＴＣＬＡＳ来

实现，ＩＣＴＣＬＡＳ的基本知识在第四章第三节４．３．２中介绍了，英文分词功能比较

容易实现，通过一个子函数来实现，其他文本的分词本系统还没有具体实现，

这是本系统需要以后继续增加的功能，为以后扩展功能留下接口函数

ＴｅｘｔＳｅｇｍｅｎｔａｔｉｏｎ（）程序流程图如图５．６所示。

用户邮件文本

｝７

中文／／Ｉ≤二≥：：＼其他语种

弋：二７

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

有实际意义的分词，在邮件中出现比较少的分词和在垃圾邮件和正常邮件中出

现的概率差不多的分词。将没有实际意义的分词放在一块形成一个表，即建立

一个停用词表，将分词得到的每个分词和停用表进行对照，将包含在停用表中

的分词去掉。邮件中出现次数比较少的分词和在垃圾邮件与正常邮件中出现概

率差不多的分词通过建立相应的规则来区分。

停用词表中包含的主要是没有意义的中文分词和没有意义的英文分词。在汉

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

表５．２英文中常用的虚词和感叹词

，ｆｌ

ａｓ，ｔｈａｎ，ｕｎｔｉｌ，ｔｈａｔ，ｗｈｅｎ、ｗｈｉｌｅ，ａｎｄ，ｂｕｔ、ｏｒ、ｎｏｒ，ＳＯ，ｔｈｅｒｅｆｏｒｅ，

ｂｅｃａｕｓｅ

连词

ｙｅｔ、ｈｏｗｅｖｅｒ、ｎｅｖｅｒｔｈｅｌｅｓｓ、ｈｅｎｃｅ，ｔｈｅｎ，ｔｈｏｕｇｈ、ｕｎｌｅｓｓ，ｔｈｅｎｌ

冠词

ａ、ａｎ、ｔｈｅ

ｉｎ、ｏｆ，ｏｎ，ｔｏ，ｆｏｒ、ａｔ，ｕｐ、ｕｐｏｎ，ｉｎｔｏ，ｏｎｔｏ，ｗｉｔｈｌ

ａｂｏｕｔ、ａｃｒｏｓｓ，ａｆｔｅｒ，

ａｇａｉｎｓｔ，ａｍｏｎｇ，ｂｙ、ｏｆｆ，ｏｖｅｒ，ａｒｏｕｎｄ、ｂｅｆｏｒｅ、ｂｅｈｉｎｄ，ｂｅｌｏｗ、ｂｅｓｉｄｅ，

介词

ｂｅｓｉｄｅｓ、ｂｅｔｗｅｅｎ、ｂｅｙｏｎｄ、ｄｏｗｎ、ｎｅａｒ、ｓｉｎｃｅ、ｔｈｒｏｕｇｈ、ｔｉｌｌ、ｔｏｗａｒｄ、ｕｎｄｅｒ、

ｐｅｒ、ｖｉａ，ｉｎｓｉｄｅ，ｏｕｔｓｉｄｅ、ｔｈｒｏｕｇｈｏｕｔ，ｗｉｔｈｉｎｌｗｉｔｈｏｕｔ，ｄｕｒｉｎｇ，ｅｘｃｅｐｔ，

ｆｒｏｍ、ｌｉｋｅ

感叹词

ｏｈ、ａｈ、ｗｅｌｌ、ｈｅｌｌｏ、Ｗｈｙ、ａｌａｓ

邮件中出现次数比较少的分词的判断规则如下面式（５．１）所示。

Ｎｕｍｌ＋地ｍ２＜３

分词出现的次数。

（５．１）

其中，Ｎｕｍｌ表示在正常邮件中分词出现的次数，Ｎｕｍ２表示在垃圾邮件中

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

ＬｏｗＦｒｅｑｕｅｎｃｙＷｏｒｄ

（）

图５．７函数ＴｏＳｔｏｐＷｏｒｄ（１程序流程图

其中，函数ＮｏｎｓｅｎｓｅＷｏｒｄ（）实现邮件文本中无意义分词的处理功能，函数

ＬｏｗＦｒｅｑｕｅｎｃｙＷｏｒｄ（）实现低频分词的处理功能，函数ＥｑｕａｌＦｒｅｑｕｅｎｃｙ（）实现在正

常邮件和垃圾邮件中处理频率差不多的分词的处理功能。

５．３．５特征词提取模块的实现

本系统通过信息增益的方法来实现邮件文本的特征词的提取，特征词提取

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

旺邳

ｌ选取１狲个特

征词

ｌ特征词导入特

征库

图５．８函数ＴｏＳｔｏｐＷｏｒｄ（）程序流程图

第四节过滤系统训练模块的实现

过滤系统的训练部分的实现的工作主要是训练样本集的选取和计算特征词

的先验概率形成统计表。

在国际上英文垃圾邮件集比较多，很容易获得，如邮件内容不加密的

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

Ｌｉｎｇ．ｓｐａｍ语料和Ｓｐａｍ

Ａｓｓａｓｓｉｎ语料等。但是目前比较标准的中文垃圾邮件语

料库还不是很常见，现在常用的只有华南理工大学网络中心提供的ＳＥＷＭ中文

邮件语料集和中国教育和科研计算机网紧急响应组发布的ＣＣＥＲＴ中文邮件语料

集。本系统中英文邮件采用ＳｐａｍＡｓｓａｓｓｉｎ语料，中文邮件采用ＳＥＷＭ语料。

在系统中过滤系统的训练模块通过函数ＴｒａｉｎＭｏｄｕｌｅ（）来实现，该函数主要实现

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

第五节过滤系统分类模块的实现

过滤系统的分类模块的实现的工作首先是确定过滤系统的分类阈值，然后

是通过贝叶斯公式和特征词的先验概率，计算邮件属于垃圾邮件的概率，最后

与阈值相比较将邮件进行分类。在系统中过滤系统的分类模块通过函数

ＣｌａｓｓｉｆｉｃａｔｉｏｎＭｏｄｕｌｅ（）来实现，函数ＣｌａｓｓｉｆｉｃａｔｉｏｎＭｏｄｕｌｅ（）程序流程图如图５．１

０

所示。

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

第六节过滤系统的测试

首先定义系统的性能评价指标：

（１）召回率（Ｒｅｃａｌｌ），表示垃圾邮件被正确分类的数量在总垃圾邮件数量中比

率，召回率越高表明垃漏网的垃圾邮件越少，系统的性能越好，Ｒｅｃａｌｌ的定义公

式为：

ＲｅｃａＨ＝—』坠！！，＿一木１００％

ｉｖｌｗ．．．）Ｒ＋，ｚ∥＿∥

（５．１）

其中，％．＋∥表示被正确分类的垃圾邮件的数目，，ｚ矽．月表示被错误分类的垃

圾邮件的数目。

（２）正确率（Ｐｒｅｃｉｓｉｏｎ）。正确率Ｐｒｅｃｉｓｉｏｎ的公式定义为：

Ｐｒｅｃｉｓｉｏｎ＝—＿堕Ｌ宰１００％

ｒｌＲ－＋Ｗ＋，２矽＿矽

（５．２）

其中，，ｚ¨∥表示把合法邮件判定为垃圾邮件的数目。

（３）调和平均。它将正确率和召回率进行调和平均综合成一个指标，调和平

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

集。

本系有三个值是可以在测试过程中进行变化，它们是训练邮件的个数、特

征值的选取个数和阈值，下面分别对训练邮件的个数、特征值的选取个数和阈

值设定不同的数进行测试。

（１）针对训练邮件数量对系统进行试验

表６．１训练邮件数量对系统性能的影响

训练邮件个数

４００８０００１２００１６００

８５．２８７．３９１．１９５．４９５．５９５．４８３．７

９０．６９３．８９６．９９７．８９７．７８８．３

１８００１９００２０００

９７．８

９６．９８０．１８３．２９３．４９５．３９６．８９６．９

召回率（％）

中文

准确率（％）

召回率（％）

英文

准确率（％）

９０．２９２．３９５．８９７．６９８．９９８．９９９

通过表６．１可以看出，在开始时准确率和召回率随着训练邮件数量的增加而

增加，但是当训练邮件数到达１８００后，准确率和召回率基本没有多少变化的空

间了，这两个值变的相对来说比较稳定。

（２）针对特征值的选取数量对系统进行试验

表６．２特征值选取数量对系统性能的影响

特征值选取个数

１０２０３０４０５０６０

８３．１９７９６９４９２．１７８．９

８５．３９８．７９７．７９４．４９２８０．６

召回率（％）

中文

准确率（％）

召回率（％）

英文

准确率（％）

８０．１８８．５９７．２９４．２９３．１９２

８３．１８７．５９７９６．３９５．２９３．９

通过表６．２可以看出，特征值选取的数量对系统的性能指标召回率和准确率

相关性比较大，在开始时随着选取的特征值数量的增加，系统的召回率和准确

率也随之大幅的变大，但是当特征值选取的数量达到一定值后，系统的性能指

第五章基于贝叶斯算法的垃圾邮件过滤系统的具体实现与测试

的特征词个数不是很多时，会因为特征词数量的不足而使系统的分类信息不足

而引起系统的分类性能不高，但是当特征词的数量过多时，造成对邮件分类影

响比较大的特征词变的不够明显，从而影响系统的分类性能。因此实验中系统

性能最好的那个特征值数量就是使本系统本系统性能最好所需要的特征的数

且

里。

（３）针对阈值的不同对系统进行试验

表６．３阈值的选取对系统性能的影响

特征值选取个数

Ｏ．５Ｏ．６Ｏ．７Ｏ．８０．９０．９８

召回率（％）

５９．３８３．５９６．５９６．８９６

６８．２

中文

准确率（％）

６８．８７２．７８８．９９７．８９７．９９８

召回率（％）

６８．９７３．５８９．３９６．５９８．１９８．０

英文

准确率（％）

６０．９７３８６．５９６．７９７．６９７．６

通过表６．３可以看出，阈值选取不同的值对系统的性能指标召回率和准确率

有很大的关系，随着选取的阈值的值不断增大，召回率和准确率均有所提高，

但是当阈值达到某个值后，随着阈值的继续增加准确率基本趋于稳定，而召回

率有稍微下降的趋势，此值就是系统所要选取的最优阈值。

通过这三个实验可以看出，通过选取一定数量的训练邮件、最优的特征值

第六章总结与展望

第六章总结与展望

本系统针对电子邮件的垃圾邮件问题，并将贝叶斯算法与垃圾邮件过滤系

统相结合，设计并实现了基于贝叶斯算法的垃圾邮件过滤系统。将理论成功的

应用于工程实际，解决了垃圾邮件带来的负面影响。本文的主要工作有如下内

容：

１．本论文首先介绍了本课题的研究背景和意义以及国内外研究现状，从全局

的角度介绍了本论文的整体情况，明确了本课题所要研究的具体问题和问题的

参考文献

参考文献

［１】张萍，韩立娜．对邮件过滤技术发展现状的比较与分析．计算机与数字工程．２００８年第

４期．２００８．ｐｐ：１０２．１０６

【２］欧红星，杨路明．垃圾邮件过滤技术研究．湖南科技学院学报．２００８．１２．ｐｐ：９６．９７

［３］蒋秋香，叶苗，麦范金．垃圾邮件过滤技术的发展与现状．电脑知识与技术（学术交

流）．２００７年２ｌ期．２００７．ｐｐ：７０８．７０９

【４］新加坡将出垃圾邮件管理条例违规邮件罚款．２００７年．ｈｔｔｐ：／／ｗｗｗ．２０ｊｕ．ｃｏｍ／ｃｏｎｔｅｎｔ／

Ｖ４６１３．ｈｔｍ

［５］日本全面禁止垃圾邮件要求电信商提供企业信息．２００８年．ｈｔｔｐ：／／ｗｗｗ．２０ｊｕ．ｔｏｍ／ｃｏｎｔｅｎｔ／

Ｖ１６６０９．ｈｔｍ

［６】美垃圾邮件大王被捕入狱面临６５年监禁之苦．２００７年．ｈｔｔｐ：／／ｗｗｗ．２０ｊｕ．ｃｏｍ／ｃｏｎｔｅｎｔ／

Ｖ７８８３．ｈｔｍ

［７］曹麒麟，张千里．垃圾邮件与反垃圾邮件技术【Ｍ］．北京：人民邮电出版社，２００３

［８］汪曙．反垃圾邮件技术探讨［１Ｊ．中国数据通信，２００４，（１０）：５８．６０

参考文献

［２３］黑名单服务：ｈｔｔｐ：ｌｌｗｗｗ．ａｎｔｉ－－ｓｐａｒｅ．ｏｒｇ．ｏｎ／ＡＩＤ／６

【２４】白名单服务：ｈｔｔｐ：／／ｗｗｗ．ａｎｔｉ－－ｓｐａｍ．ｏｒｇ．ｃｎ／ＣＩＤ／２

［２５］蔡建，黄国兴．基于数据挖掘方法的电子邮件过滤［Ｊ］．微型电脑应用．２００１，７（８）：３５４３

［２６］宁静．基于数据挖掘的中文垃圾邮件过滤技术研究［Ｄ】．成都：西南交通大学，２００６

［２７］熊志勇．数据挖掘在反垃圾邮件领域中的应用与研究［Ｄ】．南昌：南昌大学，２００６

［２８］ＣＣＥＲＴ中文垃圾邮件过滤规则集．ｈｔｔｐ：／／ｗｗｗ．ｃｃｅｒｔ．ｅｄｕ．Ｃｎ／ｓｐａｍ／ｓａＪＣｈｉｎｅｓｅ．ｒｕｌｅｓ．ｈｔｍ．

［２９】Ｋｅｖｉｎ

Ｊｏｈｎｓｏｎ，科欣翻译组．Ｉｎｔｅｒｎｅｔ

Ｅｍａｉｌ协议开发指南［Ｍ］．北京：机械工业出版社，

２０００

［３０］Ｊａｍｅｓ

Ｗ

Ｒｏｓｓ，陈鸣等．计算机网络．自顶向下方法与Ｉｎｔｅｒｎｅｔ特色［Ｍ］．北

京：机械工业出版社，２００５

ＦＫｕｒｏｓｅ，Ｋｅｉｔｈ

Ｅ

［３１］Ｄｏｕｇｌａｓ

［３２】Ｄａｖｉｄ

Ｃｏｍｅｒ，林瑶，蒋慧，杜蔚轩等．用ＴＣＰ／ＩＰ进行网际互联第一卷：原理、协

议与结构［Ｍ］．北京：电子工业出版社，２００１

Ｈ，Ｃｒｏｃｋｅｒ．ＳｔａｎｄａｒｄｆｏｒｔｈｅＦｏｒｍａｔｏｆＩｎｔｅｒｎｅｔ

Ａｒｐａ

ＴｅｘｔＭｅｓｓａｇｅｓ［Ｓ］．ＲＦＣ８２２，

１９８２．８．１３

【３３】ＡＷ．ＲｉｃｈａｒｄＳｔｅｖｅｎｓ．ＴＣＰ／ＩＰ详解，卷１：协议．北京：机械工业出版社，２００１：３３２．３４３

［３４］谢希仁．计算机网络［Ｍ］．北京：电子工业出版社，１９９９

［３５］Ｙ

Ｙａｎｇ，ＪＰ．Ｐｅｄｅｒｓｅｎ．Ａ

ｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｃａｔｅｇｏｒｉｚａ－ｔｉｏｎ．Ｉｎ．Ｐｒｏｃ

ｏｆｔｈｅ１４ｔｈＣｏｎｆｏｎ

ＩｎｔＭａｃｈｉｎｅ

ｏｎ

ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｉｎ

ｔｅｘｔ

Ｌｅａｒｎｉｎｇ（ＩＣＭＬ，９７），１９９７：４１０４２０

［３６］刘洋，杜孝平等．垃圾邮件的智能过滤系统设计探讨．微机发展，２００３，Ｖ０１．１３，Ｎｏ．４：ｌ一３

［３７】陈华辉．一种基于潜在寓意索引的“垃圾”邮件过滤方法．计算机应用研究，２０００，１７（１０）：

１７．２０

【３８】盛骤，谢式千，潘承毅．概率论与数理统计（第二版）．高等教育出版社，１９９０

【３９】刘贵全，陈小平，张波等．基于Ａｇｅｎｔ的信件自动处理系统的实现［Ｊ】．小型微型计算

机系统，２０００，２１（１１１：１１２３．１１２７

［４０］ＳｏｏｎｔｈｏｒｎｐｈｉｓａｊＫ，Ｔａｎｇ·Ｏｎ

Ｎ．，Ｃｈａｉｋｕｌｓｅｒｉｗａｔ

Ｐ．Ａｎｔｉ－ＳｐａｍＦｉｌｔｅｒｉｎｇ：Ａ

Ｃｅｎｔｒｏｉｄ．Ｂａｓｅｄ

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｐｐｒｏａｃｈ［Ａ］．ＩＣＳＰ

［４２］Ｊａｓｏｎ

０２

Ｐｒｏｃｅｅｄｉｎｇｓ，２００２．１０９６·１０９８

［４１】边肇祺，张学工．模式识别．清华大学出版社，１９９９，１２

Ｄ．Ｍ．Ｒｅｎｎｉｅ．１ｉｌｌｅ：Ａｎ

ＡｐｐｌｉｃａｔｉｏｎＦｉｌｔｅｒｉｎｇ．Ｉｎ：Ｐｒｏｃ

ｏｆＥ－ｍａｉｌ

Ｍａｃｈｉｎｅ

Ｌｅａｍｉｎｇ

ｔｏ

Ｏｆ

ＴｈｅＳｉｘｔｈＳＩＧＫＤＤＣｏｎｆ

ＡＣＭＩｎｔ

ＯｎＤａｔａ

ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ

ａｎｄ

Ｍｉｎｉｎｇ．Ｂｏｓｔｏｎ，

２０００（８）：２０—２５

［４３］Ｓａｈａｍｉ

Ｍ．，Ｓｕｍａｉｓ

Ｓ．，ＨｅｃｋｅｒｍｏｎＤ．，ｅｔａ１．ＡＴｏＪｕｎｋ

ｏｆＡＡＡＩ一９８ｆｏｒＴｅｘｔ

Ｂａｙｅｓｉａｎ

ＡｐｐｒｏａｃｈＦｉｌｔｅｒｉｎｇ

Ｅ－ｍａｉｌ［Ａ］．ＰｒｏｃｅｅｄｉｎｇＷｏｒｋｓｈｏｐＣａｔｅｇｏｒｉｚａｔｉｏｎ［Ｃ］，１

［４４】Ａｊａｓｏｎ

ｏｎ

Ｌｅａｍｉｎｇ

９９８

ＬｅａｒｎｉｎｇＡｐｐｌｉｃａｔｉｏｎ

ｔｏ

Ｅ－Ｍａｉｌ

Ｆｉｌｔｅｒｉｎｇ．Ｉｎ：Ｐｒｏｃ

Ｏｆ

Ｄｉｓｃｏｖｅｒｙ

ａｎｄＤａｔａＳＩＧＫＤＤＣｏｎｆＯｎ

Ｍｉｎｉｎｇ．Ｂｏｓｔｏｎ，

Ｄ．Ｍ．Ｒｅｎｎｉｅ．１ｉｌｌｅ：Ａｎ

ｏｆ

Ｍａｃｈｉｎｅ

Ｋｎｏｗｌｅｄｇｅ

ＴｈｅＳｉｘｔｈ

参考文献

［４７］Ｉ．Ａｎｄｒｏｕｔｓｏｐｏｕｌｏｓ，Ｇ．Ｐａｌｉｏｕｒａｓ，Ｅ．Ｍｉｃｈｅｌａｋｉｓ．Ｌｅａｒｎｉｎｇ

ｔｏ

ＦｉｌｔｅｒＵｎｓｏｌｉｃｉｔｅｄ

Ｅ·Ｍａｉｌ．Ｔｅｃｈｎｉｃａｌ

ｒｅｐｏｒｔ

２００４／２，ＮＣＳＲ＇’Ｄｅｍｏｋｒｉｔｏｓ”，２００４

［４８］Ｍ．ｓＮａｏｒ，

Ｃ．Ｄｗｏｒｋ．ＰｒｉｃｉｎｇＰｒｏｃｅｓｓｉｎｇＣｏｍｂａｔｉｎｇ

ｖｉａＪｕｎｋ

ｏｒ

Ｃｏｍｍｅｒｃｉａｌ

Ｍａｉｌ．Ｔｅｃｈｎｉｃａｌ

Ｒｅｐｏｒｔ

Ｃ￥９５．２０，１，１９９５

［４９］Ｃａｍｐａｉｇｎ

ｆｏｒＲｅａｌ

Ｍａｉｌ．ｈｔｔｐ：／／ｗｗｗ．ｃａｍｒａｍ．ｏｒｇ

［５０】王波，黄迪明．遗传神经网络在邮件过滤器中的应用［Ｊ】．电子科技大学学报，２００５，

３４（４）：５０５—５０８

［５１］赖均．反垃圾邮件技术的研究和原型实现［Ｄ］．成都：电子科技大学，２００５．

【５２］张华平，刘群．计算所汉语词法分析系统ＩＣＴＣＬＡＳ［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｍｔｇｒｏｕｐ．

致谢

致谢

本论文的完成，得益于我的导师吴英老师，是他的悉心指导和帮助才使我

的论文得以顺利完成。吴老师渊博的知识、敏捷的思维和严谨的工作作风感动

了我，深深地影响了我，使我受益终身。我的每一点成绩都凝结着老师的辛勤

汗水和培养，让我难以忘怀，再一次向导师表示深深的谢意。

衷心地感谢院、系和山东教育基地的各位领导、老师、同学，他们曾在我学

习和完成论文期间给予我的巨大帮助。感谢我的同学们在两年来对我的关心和

个人简历

个人简历

在学期间发表的学术论文与研究成果

个人简历：

杨艳生

本人生于１９７６年０３月，１９９８年毕业于山东矿业学院济南分院管理工程专业。现在寿