用户意见反馈

请在下面填写您遇到的问题或意见建议,并留下您的联系方式,
我们将为您提供更好的产品和服务。

您的邮箱地址

请详细描述您的问题或建议*

上传截图支持 jpg,jpeg,png,gif等图片格式,图片小于5MB

取消提交
首页 热点新闻 正文

IPSE:分布式搜索,未来已来

DoDoGo

19-07-08 09:11

标签: 分布式搜索,ipse

16008

0

分布式搜索引擎的巨大潜力

中国互联网络信息中心发布的第43次《中国互联网络发展状况统计报告》显示,截至2018年12月,中国网民规模达8.29亿,全年新增网民5653万,用户数量呈现不断增长态势。互联网迎来大数据时代,搜索引擎也遇到了不小的挑战。中心化的搜索到当今已难以发展,同时,以IPSE为代表的分布式搜索应运而生。IPSE目前已登陆全球最大的Dapp生态平台DappReview,在未来,会逐步实现代码开源,具有巨大的发展潜力。

 

中心化搜索的痛点

如今信息技术领域已经进入大数据、云计算时代,互联网技术创新不断突破,搜索引擎作为网络信息的入口和第一大互联网应用工具,也将发生改变。而目前搜索引擎技术发展相对落后,分布式搜索引擎技术方案相对较少,大部分传统搜索引擎采用中心化体系结构。而中心化体系结构有以下几个缺点,首先是系统可靠性差,中心化体系结构算力有限,不能应对大量的数据和讯息;其次是系统可拓展性不足,不能应对逐渐复杂的数据处理需求。同时,搜索引擎的用户规模仍在不断扩张,甚至超过了通讯工具的覆盖率。

IPSE正是要解决这种痛点,发挥分布式搜索引擎最佳的性能,拥有更好的可靠性和可扩展性,它将分布式技术融入搜素引擎,指引出分布式搜索引擎的发展方向。

 

什么才是未来?

IPSE的分布式搜索模式下,互联网上所有的信息都应该在分布式的对等网络上,进行唯一的、永久的并且可以按照内容来查找。分布式搜索引擎采用分布式计算技术架构,让整个集群中的每台计算机进行协作,来完成爬行、索引和搜索功能。分布式搜索引擎不仅解决了传统搜索引擎面对的一些问题,如海量数据的信息处理低下问题、索引和搜索效率低下问题,而且具有更佳的安全性能,更强的容错性,更高的效率,更加方便维护,使它的服务越来越完善。

分布式搜索利用分布式技术,使得多台计算机串联起来,能够拥有更大的存储、计算能力,部署成本也会更低,无疑对高校、企业等研究机构提供了更为广阔的研究平台和发展空间,也为知识产权保护提供了新的途径。快捷、高效的信息处理更满足了社会大众的知识获取需要,会创造巨大的社会价值。

 

分布式搜索的技术保证

在分布式计算领域,分布式搜索应用了分布式计算框架Hadoop,它具有低成本、高效性、高容错性、高可靠性、高扩展性等优点,能够让开发者轻松对其进行架构和使用,在Hadoop上来开发和运行应用程序来对海量的数据进行处理,为分布式引擎IPSE提供很好的技术支撑。

 

目前,IPSE主要采用基于P2P的分布式搜索引擎。P2P系统一般采用非中心化的拓扑结构,并通过分布式散列表(DHT)技术来对网络进行组织。DHT是由广域网范围中的大量节点共同进行维护的巨大散列表,它采用分布式散列计算法解决结构化的分布式存储问题,通过分布式散列表,对文件能够进行精确匹配查找,保证网络中的文件经过有限的跳数一定能够被找到。

由此可见,基于分布式的搜索引擎将会是未来搜索引擎的主要发展方向,也是互联网领域中的热点研究问题。随着搜索引擎的商业化,未来的分布式搜索引擎也将不断地取得发展,一个新的搜索时代正在到来。


本文系作者 DoDoGo 原创发布在本站。如若转载请标注文章来源:【新财经 XCJ.COM】

0 分享海报
识别图中二维码,查看详情

分享本文海报

微博分享 下载海报
(分享到微信或朋友圈请下载海报)
  • 打开微信“扫一扫”,打开网页后点击屏幕右上角“分享”按钮
发表评论

请先 注册/ 登录 后参与评论

已有0发布评论

查看全部评论