Movatterモバイル変換


[0]ホーム

URL:


CN102780681A - Url过滤系统及过滤url的方法 - Google Patents

Url过滤系统及过滤url的方法
Download PDF

Info

Publication number
CN102780681A
CN102780681ACN2011101213726ACN201110121372ACN102780681ACN 102780681 ACN102780681 ACN 102780681ACN 2011101213726 ACN2011101213726 ACN 2011101213726ACN 201110121372 ACN201110121372 ACN 201110121372ACN 102780681 ACN102780681 ACN 102780681A
Authority
CN
China
Prior art keywords
url
rule file
message
internal memory
http message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101213726A
Other languages
English (en)
Inventor
王永光
沈蓓洁
卢勤元
李冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE CorpfiledCriticalZTE Corp
Priority to CN2011101213726ApriorityCriticalpatent/CN102780681A/zh
Priority to PCT/CN2011/080608prioritypatent/WO2012151843A1/zh
Publication of CN102780681ApublicationCriticalpatent/CN102780681A/zh
Pendinglegal-statusCriticalCurrent

Links

Images

Classifications

Landscapes

Abstract

本发明涉及一种URL过滤系统及过滤URL的方法,上述系统包括识别单元、内存单元、规则单元、扫描单元以及匹配单元;上述方法包括:根据用户自定义的URL名单,生成系统可识别的URL规则文件,并将上述URL规则文件加载到内存中,当上述系统收到报文时,扫描并判断上述报文是否是HTTP报文,若是,则扫描其中的URL信息,与内存中的URL规则文件中的URL信息进行匹配,根据匹配结果放行或者过滤上述HTTP报文。本发明不需要区分URL的类型,加快了URL处理速度。

Description

URL过滤系统及过滤URL的方法
技术领域
本发明通信领域,尤其涉及一种URL(Uniform/Universal ResourceLocator,统一资源定位符)过滤系统及过滤URL的方法。
背景技术
URL,也被称为网页地址,是Internet上标准的资源的地址,用于完整地描述Internet上网页和其他资源的地址的一种标识方法。Internet上的每一个网页都具有一个唯一的URL地址名称标识,通常称之为URL地址,这种地址可以是本地磁盘,也可以是局域网上的某一台计算机,更多的是Internet上的站点。简单地说,URL就是Web地址,俗称“网址”。
随着网络的普及,互联网上的信息为人们的生活工作提供了越来越多的便利,接触到网络的青少年的数量也越来越多,但网上的信息良莠不齐,特别是还存在为数不少的宣扬色情、暴力、迷信等不良事物的网站,为了给青少年呈现一个健康向上的网站,需要对其访问的URL进行过滤,从而屏蔽掉一些不健康的以及非法的网站,从而保证青少年的健康成长。
目前已有URL过滤方法主要有三种:
第一,使用hash表存放URL信息;该方法适用于域名不同的URL查找,当域名相同时,查找起来耗时较长;
第二,使用字符串匹配算法;该方法适用于关键字查找,但是查找速度比较慢;
第三使用正则匹配算法;该方法适用于不确定的URL查找,其查找速度也比较慢。
现有方法查找速度会随着URL名单中的URL记录增加而显著下降,不能满足现在高吞吐网络中的URL管理。
发明内容
本发明的目的在于提供一种URL过滤系统及过滤URL的方法,以解决改善现有技术查找URL速度慢的问题。
本发明提供了一种过滤URL的方法,包括以下步骤:
根据用户自定义的URL名单,生成URL过滤系统可识别的URL规则文件,并将上述URL规则文件加载到内存中;
当上述系统收到报文时,扫描并判断上述报文是否是HTTP(Hyper TextTransfer Protocol,超文本传输协议)报文,若是,则
扫描其中的URL信息,与内存中的URL规则文件中的URL信息进行匹配;
根据匹配结果放行或者过滤上述HTTP报文。
进一步地,上述将URL规则文件加载到内存中步骤之后还包括:
判断上述用户自定义的URL名单是否有变化,若是,则根据变化后的用户自定义的URL名单,重新生成系统可识别的URL规则文件,并将新生成的URL规则文件加载到内存中;
加载完成后,上述系统使用内存中新的URL规则文件进行URL信息匹配,同时删除内存中旧的URL规则文件。
进一步地,上述系统判断出收到的报文不是HTTP报文时,直接放行上述报文。
进一步地,上述用户自定义的URL名单是黑名单或者白名单。
进一步地,上述根据匹配结果放行或者过滤上述HTTP报文步骤具体包括:
当上述用户自定义的URL名单为黑名单时,若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配成功,则过滤上述HTTP报文;若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配失败,则放行上述HTTP报文;
当上述用户自定义的URL名单为白名单时,若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配成功,则放行上述HTTP报文;若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配失败,则过滤上述HTTP报文。
本发明还提供了一种URL过滤系统,包括识别单元以及内存单元,还包括规则单元、扫描单元以及匹配单元,
所说识别单元,用于识别收到的报文是否是HTTP报文,并将识别结果发送给上述扫描单元;
上述规则单元,用于根据用户自定义的URL名单,生成系统可识别的URL规则文件,并将上述URL规则文件加载到上述内存单元;
上述扫描单元,用于扫描收到的报文,并发送给上述报文识别单元,或者扫描HTTP报文中的URL信息,并将上述URL信息发送给上述匹配单元;以及根据上述识别单元返回的识别结果以及上述匹配单元返回的匹配结果,放行/过滤收到的报文;
上述匹配单元,用于用收到的URL信息与上述内存单元中的URL规则文件中的URL信息进行匹配,并将匹配结果发送给上述扫描单元。
进一步地,上述规则单元,还用于判断用户自定义的URL名单是否有变化,并在上述用户自定义的URL有变化时,根据变化后的用户自定义的URL名单,重新生成系统可识别的URL规则文件,将新生成的URL规则文件加载到上述内存单元中,并在加载成功后通知上述匹配单元使用新的URL规则文件进行URL信息匹配。
进一步地,上述匹配单元,还用于在收到上述规则单元的通知后,使用新的URL规则文件进行URL信息匹配,并删除上述内存单元中旧的URL规则文件。
本发明进一步提供了一种网关,上述网关包括上述URL过滤系统。
本发明将用户自定义的URL名单转换成URL系统硬件可识别的URL规则文件并加载到内存中,当收到报文时,系统可以迅速的把HTTP报文与内存中的URL规则文件进行匹配,并给出匹配结果,扫描匹配速度可以达到至少2Gbps,且不需要区分URL的类型,省去了现有方法中复杂而繁琐的URL分类及查找,加快了URL处理速度;本发明支持大数据量的URL过滤,适用于ISG(Integrated Service Gateway,综合业务网关)、WAP网关、WEB网关等网络设备中。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明过滤URL的方法流程图;
图2是本发明URL过滤系统的原理框图;
图3是本发明的网关的原理框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,是本发明过滤URL的方法流程图,本实施例假设用户自定义的URL名单为黑名单,具体包括以下步骤:
步骤S001:根据用户自定义的黑名单,生成URL过滤系统可识别的URL规则文件;
步骤S002:将上述URL规则文件加载到内存中;
步骤S003:系统收到报文;
步骤S004:扫描上述报文;
步骤S005:判断上述报文是否是HTTP报文,若是,则执行步骤S006,否则,执行步骤S010;
步骤S006:扫描其中的URL信息;
步骤S007:与内存中的URL规则文件中的URL信息进行匹配;
步骤S008:判断是否匹配成功,若是,则执行步骤S009;否则,执行步骤S010;
步骤S009:过滤上述报文;
步骤S010:放行上述报文。
本步骤的报文包括HTTP报文和非HTTP报文。
在其他实施例中,当用户自定义的URL名单为白名单时,若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配成功,则放行上述HTTP报文;若收到的HTTP报文的URL信息与内存中的URL规则文件中的URL信息匹配失败,则过滤上述HTTP报文。
本发明中,系统处理报文的同时,还判断上述用户自定义的URL名单是否有变化,若是,则根据变化后的用户自定义的URL名单,重新生成系统可识别的URL规则文件,并将新生成的URL规则文件加载到内存中,加载完成后,使用新的URL规则文件进行URL信息匹配,同时删除旧的URL规则文件,这使得本发明在不中断扫描匹配业务的情况下,实现URL规则文件的实时更新。在具体的实施例中,可以预留两块内存A和B,若旧的URL规则文件存放在内存A中,那么用户自定义的URL名单变化后,新生成的URL规则文件就加载到内存B中,加载完成后,系统使用内存B中的URL规则文件进行URL信息匹配,与此同时,删除内存A中的URL规则文件,当用户自定义的URL名单再次变化后,新生成的URL规则文件则被加载到内存A中,依次类推。也就是说,系统同时执行两个任务,一个是处理收到的报文,一个是检测用户自定义的URL名单是否有变化。
本发明基于硬件的过滤方法,与基于软件的现有方法相比,提高了处理HTTP报文的速度。
如图2所示,是本发明URL过滤系统的原理框图,包括扫描单元01、识别单元02、规则单元03、匹配单元04、内存单元05;
扫描单元01,用于扫描收到的报文,并发送给报文识别单元02,或者扫描HTTP报文中的URL信息,并将上述URL信息发送给匹配单元04;以及根据识别单元02返回的识别结果以及匹配单元04返回的匹配结果,放行/过滤收到的报文;
识别单元02,用于识别收到的报文是否是HTTP报文,并将识别结果发送给扫描单元01;
规则单元03,用于根据用户自定义的URL名单,生成系统可识别的URL规则文件,并将上述URL规则文件加载到内存单元05;以及用于判断用户自定义的URL名单是否有变化,并在上述用户自定义的URL有变化时,根据变化后的用户自定义的URL名单,重新生成系统可识别的URL规则文件,将新生成的URL规则文件加载到内存单元05中,并在加载完成后,通知匹配单元使用新的URL规则文件进行URL信息匹配;
匹配单元04,用于用收到的URL信息与内存单元05中的URL规则文件中的URL信息进行匹配,并将匹配结果发送给扫描单元01,或者在收到规则单元03的通知时,使用内存单元05中新加载的URL规则文件进行URL信息匹配,并删除内存单元05中旧的URL规则文件。
如图3所示,是本发明的网关原理框图,包括图2所示的URL过滤系统,URL过滤系统包括扫描单元01、识别单元02、规则单元03、匹配单元04、内存单元05,各单元功能参见上述对图2的描述,此处不再复述。
上述说明示出并描述了本发明的优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (9)

CN2011101213726A2011-05-112011-05-11Url过滤系统及过滤url的方法PendingCN102780681A (zh)

Priority Applications (2)

Application NumberPriority DateFiling DateTitle
CN2011101213726ACN102780681A (zh)2011-05-112011-05-11Url过滤系统及过滤url的方法
PCT/CN2011/080608WO2012151843A1 (zh)2011-05-112011-10-10Url过滤系统及过滤url的方法、网关

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
CN2011101213726ACN102780681A (zh)2011-05-112011-05-11Url过滤系统及过滤url的方法

Publications (1)

Publication NumberPublication Date
CN102780681Atrue CN102780681A (zh)2012-11-14

Family

ID=47125437

Family Applications (1)

Application NumberTitlePriority DateFiling Date
CN2011101213726APendingCN102780681A (zh)2011-05-112011-05-11Url过滤系统及过滤url的方法

Country Status (2)

CountryLink
CN (1)CN102780681A (zh)
WO (1)WO2012151843A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN103354546A (zh)*2013-06-252013-10-16亿赞普(北京)科技有限公司报文过滤方法与装置
CN103401850A (zh)*2013-07-192013-11-20北京星网锐捷网络技术有限公司一种报文过滤方法及装置
CN103560995A (zh)*2013-09-252014-02-05深圳市共进电子股份有限公司一种同时实现ipv4和ipv6的URL过滤方法
CN105302815A (zh)*2014-06-232016-02-03腾讯科技(深圳)有限公司网页的统一资源定位符url的过滤方法和装置
CN105938472A (zh)*2015-08-262016-09-14杭州迪普科技有限公司一种网页访问控制方法和装置
CN106657201A (zh)*2015-11-032017-05-10中兴通讯股份有限公司Gslb调度系统的数据处理方法及装置
CN106970917A (zh)*2016-01-132017-07-21中国科学院声学研究所一种黑名单url的哈希表的建立及请求url的查找方法
WO2017198145A1 (zh)*2016-05-202017-11-23中兴通讯股份有限公司统一资源定位符的调度规则的处理方法及装置
CN109547421A (zh)*2018-11-082019-03-29锐捷网络股份有限公司一种审计url的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20080209057A1 (en)*2006-09-282008-08-28Paul MartiniSystem and Method for Improved Internet Content Filtering
US20090083240A1 (en)*2007-09-242009-03-26Microsoft CorporationAuthorization agnostic based mechanism
CN101795272A (zh)*2010-01-222010-08-04联想网御科技(北京)有限公司非法网站过滤方法及装置
CN102004770A (zh)*2010-11-162011-04-06杭州迪普科技有限公司一种网页审计方法及装置
CN102004789A (zh)*2010-12-072011-04-06苏州迈科网络安全技术股份有限公司Url过滤系统的应用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20080209057A1 (en)*2006-09-282008-08-28Paul MartiniSystem and Method for Improved Internet Content Filtering
US20090083240A1 (en)*2007-09-242009-03-26Microsoft CorporationAuthorization agnostic based mechanism
CN101795272A (zh)*2010-01-222010-08-04联想网御科技(北京)有限公司非法网站过滤方法及装置
CN102004770A (zh)*2010-11-162011-04-06杭州迪普科技有限公司一种网页审计方法及装置
CN102004789A (zh)*2010-12-072011-04-06苏州迈科网络安全技术股份有限公司Url过滤系统的应用方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN103354546A (zh)*2013-06-252013-10-16亿赞普(北京)科技有限公司报文过滤方法与装置
CN103401850A (zh)*2013-07-192013-11-20北京星网锐捷网络技术有限公司一种报文过滤方法及装置
CN103560995A (zh)*2013-09-252014-02-05深圳市共进电子股份有限公司一种同时实现ipv4和ipv6的URL过滤方法
CN105302815B (zh)*2014-06-232019-06-07腾讯科技(深圳)有限公司网页的统一资源定位符url的过滤方法和装置
CN105302815A (zh)*2014-06-232016-02-03腾讯科技(深圳)有限公司网页的统一资源定位符url的过滤方法和装置
CN105938472A (zh)*2015-08-262016-09-14杭州迪普科技有限公司一种网页访问控制方法和装置
CN106657201A (zh)*2015-11-032017-05-10中兴通讯股份有限公司Gslb调度系统的数据处理方法及装置
CN106657201B (zh)*2015-11-032021-08-24中兴通讯股份有限公司Gslb调度系统的数据处理方法及装置
CN106970917A (zh)*2016-01-132017-07-21中国科学院声学研究所一种黑名单url的哈希表的建立及请求url的查找方法
CN106970917B (zh)*2016-01-132019-11-19中国科学院声学研究所一种黑名单url的哈希表的建立及请求url的查找方法
CN107404392A (zh)*2016-05-202017-11-28中兴通讯股份有限公司统一资源定位符url的调度规则的处理方法及装置
WO2017198145A1 (zh)*2016-05-202017-11-23中兴通讯股份有限公司统一资源定位符的调度规则的处理方法及装置
CN109547421A (zh)*2018-11-082019-03-29锐捷网络股份有限公司一种审计url的方法及装置

Also Published As

Publication numberPublication date
WO2012151843A1 (zh)2012-11-15

Similar Documents

PublicationPublication DateTitle
CN102780681A (zh)Url过滤系统及过滤url的方法
CN102857493B (zh)内容过滤方法和装置
CN101183988B (zh)一种识别报文对应的业务类型的方法及其装置
CN105187394B (zh)具有移动终端恶意软件行为检测能力的代理服务器及方法
JP4554675B2 (ja)通信制御装置及び通信制御システム
CN103688489B (zh)一种策略处理的方法及网络设备
US20220368713A1 (en)System and method for monitoring security of a computer network
JP2013510368A (ja)テキストフィルタリングの方法およびシステム
CN103366117B (zh)一种感染型病毒修复方法及系统
CN107979581B (zh)僵尸特征的检测方法和装置
CN102193948A (zh)特征匹配方法和装置
CN113810408B (zh)网络攻击组织的探测方法、装置、设备及可读存储介质
CN114024759B (zh)安全策略管控方法、装置、计算机设备和介质
CN104239353B (zh)一种web分类控制和日志审计的方法
CN111585989A (zh)联网工控设备的漏洞检测方法、装置和计算机设备
CN112118249A (zh)基于日志和防火墙的安全防护方法及装置
CN115242434A (zh)应用程序接口api的识别方法及装置
CN109922083B (zh)一种网络协议流量控制系统
CN111625807A (zh)一种设备类型识别方法与装置
CN113630301B (zh)基于智能决策的数据传输方法、装置、设备及存储介质
KR101846778B1 (ko)Id 확인 서비스 방법 및 이를 적용한 m2m 시스템
CN105653625A (zh)一种异常数据分析方法及装置
CN105635159B (zh)基于关键字的封堵方法及系统
JP4146505B1 (ja)判定装置及び判定方法
CN104063405B (zh)微博终端及其管理用户资料数据的方法

Legal Events

DateCodeTitleDescription
C06Publication
PB01Publication
C10Entry into substantive examination
SE01Entry into force of request for substantive examination
RJ01Rejection of invention patent application after publication

Application publication date:20121114

RJ01Rejection of invention patent application after publication

[8]ページ先頭

©2009-2025 Movatter.jp