RSS订阅 | 设为首页 | 联系站长|
论文最新
热门关键词
联系我们
  • 1论文代写:点击这里给我发消息
  • 2论文发表:点击这里给我发消息
  • 3售后服务:点击这里给我发消息
  • 4联系电话:0591-87230077
  • 5联系电话:13675012021
  • 6联系手机:13405957452
免费论文
当前位置: > 代写论文 > 代写文史论文 > 浏览论文
“分布式”存储结构存储方法
来源:www.papers8.cn   本站编辑:中华论文联盟 日期: 2017-12-01 09:30 点击数:

  1 常见的分布式存储算法 
  1.1 NFS网络文件系统 
  早期的分布式文件系统,多数都是基于NFS的[1]。NFS的设计,主要是对硬件和操作系统提供异构支持,即容许不同操作系统的终端接入NFS系统,访问同一个共享存储区,进行文件的共享。它的适用范围包括局域网和广域网,而且NFS还形成了Internet标准-NFS协议。被大多数企业构建局域网时所采用。 
  从结构上看,其中要有一台服务器和至少一台的客户端,服务器的功能比较复杂,主要用来存储文件和目录;客户机的功能主要是对存储在服务器上的数据进行远程访问。当服务器上保存的元数据非常庞大时,直接检索效率极低,只能依赖CDN,但这并不能从本质上解决问题。所以当网络文件系统在存储大量的庞大数据时,缓存成为了存储的关键所在,而且,其扩展性比较一般。 
  1.2 BigTab1e 
  与传统的关系型数据库不同,BigTab1e是非关系型的,其本质是分布式的、稀疏的、可持久化存储的多维度排序Map。Bigtab1e是为了处理PB级别的数据而设计的。它具有广泛的适用性,可扩展能力强,具有高性能和高可用特性。 
  从实现策略的层面来讲,BitTab1e与数据库更加接近,但对于数据库的一些高级操作它是不支持的,比如SQL中的关联操作。但它对大数据的处理是很擅长的,而且容错性和管理性也极为强大,它可以用多级映射的方式来解决数据操作问题。 
  它以一种开放模式提供给客户简单的数据模型,对数据分布策略的设计以及对数据结构的构建都相当的自由。BigTab1e对功能的要求也很简单,就是能够存储数据,并完善相应的技术,保证数据安全就可以了,至于更加复杂的工作,比如确保数据正确,则交由上层应用系统来完成。它也采用Master/Slave的架构,一台Master服务器,管理多个Tab1et的机器。在Master上主要完成的工作就是把Ta1bets分配给相应的服务器,同时还要对Tab1et服务器的数量进行动态的查询,控制其数量在一个阈值范围内,还要有一项重要的工作就是要平衡服务器的负载,并对分布式文件系统上的垃圾文件进行处理。之外,还需要对数据模式相关的操作,进行修改和处理。每个Tab1et server基本都会管理着数十至数千个数量不等的客户端,负责对其中的读和写操作进行处理,如果数据量太大时,对要把它分割成小块。客户端读數据,将跳过Master,直通Tab1et Server。因此,在实际应用中,Master服务器的负载并不重。最初的一个表单会伴随着其中数据的不断积增而被分割成不同的小块Tab1et,但是Tab1et的大小又不能没有限制,一般情况下,都在100~200MB左右。 
  2 分布式处理算法 
  Google公司的MapReduc分布处理算法,是当今世界上最主流的分布式处理算法,MapReduce的根本的设计理念是大变小[3];也就是说将一个巨大的任务块,按照一定的规则进行分解,使其成为若干小任务块,然后对其分别进行并行处理,之后再把想要的最后的结果合并起来。MapReduce的数据处理格式采用

[关键字]:
上一篇:信息可视化与数据新闻研究现状 下一篇:没有了
相关论文文章
互联网企业组织运行机制 “好(一)个X”结构中的“好”研究
浅析晚熟与误用——由类比方法到因果律 武氏祠汉画像结构形式的秩序美学浅析
天香云外:香菱形象的悲剧意蕴与结构意味探析 浅谈现代汉语中“A不AB”式结构的语用
浅论整体性戏曲结构