时间：2023-03-16 17:17:40
序论：速发表网结合其深厚的文秘经验，特别为您筛选了11篇大数据互联网论文范文。如果您需要更多原创资料，欢迎随时与我们的客服老师联系，希望您能从中汲取灵感和知识！
云计算诞生于二零零六年，二零零八年云计算得到大面积推广，云计算的诞生立即引起全球信息行业的广泛关注，云计算的出现给IT行业发展带来了新的改革浪潮，云计算的特征是：按需服务、共享资源、按需付费、网络面广。云计算作为二十一世纪新兴的技术，彻底改变了传统软件工程。云计算现如今已经被应用到了各个领域。云计算的核心技术有海量数据存储与计算、虚拟化技术、分布式存储技术、并行编程模式技术。云计算实现了将庞大数据拆分成若干子程序进行分布处理，处理后发送给服务器群计算，最后将分析处理结果统一融合后回传给用户。狭义上来说云计算是通过计算机和各类用户终端实现信息交互和应用。广义上讲云计算是一种强大的网络服务模式。云计算的虚拟化技术将一台计算机虚拟化成多台计算机，使资源利用率提高，从而降低成本。云计算的分布式计算技术，实现了根据使用需求情况分布资源。另外，云计算相比传统硬件平台相比，维护费用低廉，管理方便易操作，无需大量的资金支持。
2 物联网概念
物联网是互联网的重要组成部分，物联网是物物相联的互联网，物联网的基础仍然是互联网，物联网是以互联网为基础发展和延伸出来的网络。物联网最早提出于一九九零年。一九九一年麻省理工学院开始对物联网进行研究，一九九九年麻省理工学院对物联网做了实验。物联网底层数据的感知是物联网技术的基础，在物联网感知层中，呈现出的特点是数据量大、种类多。物联网感知采用了信息后，通过传输层实现数据与传递。物联网按照功能分为三层：应用服务层、网络传输层、感知控制层。物联网应用十分广泛，现如今几乎已经渗入到人类生活的各个方面。例如：智能交通、智能家居、资源管理、科研实验、医疗领域、军事领域。物联网的发展和推广受到了国家的重视。但就目前来看，物联网技术不论是技术上，还是理论上仍然处于发展阶段，距离物联网普及和大面积应用仍然有着一定的距离。
3 基于云计算的物联网系统架构
从物联网技术的特征来看，未来物联网技术更新和改革离不开对云计算的应用，云计算的优势是物联网技术所需要的，物联网的推广和应用必然不能缺少云计算，物联网数据产生和收集过程具有实时性和不间断性，处理时间的延迟必然会导致数据量的扩大。但由于数据量大、节点有限、存储点等技术限制，必然影响物联网性能。云计算的分布式技术，便可很好的解决这些问题，使物联网实现有效的控制多源、多位置的不同数据处理。云计算和物联网的融合，使物联网获得了强大的计算能力和存储能力，云计算搭建了一个辅助物联网的平台。
基于云计算的物联网系统架构主要包括了三个层次：物联网中间件层、物联网基础设施层、物联网应用层。这三层相互协调融合构成了物联网系统，向人们提供服务。
3.1 物联网应用层
物联网应用层是整个物联网系统架构的核心内容，应用层通过应用管理中提供管理工具，其中包括：用户管理、资源管理、安全管理、影像管理。每一个管理工具能够为用户提供不同的服务，用户管理包括：用户账户管理、计费管理等等。安全管理包括：用户身份验证、用户资料保护等等。资源管理包括：资源恢复、故障检测等等。影像管理包括：应用生命周期管理、影像部署等等。
3.2 物联网中间件
物联网中间件层是整个物联网的连接媒介，包含着整个物联网的所有中间件产品。所包括的功能有：感应设备管理、智能终端接入等等，除此之外，还具有面向服务的物联网应用的功能。
3.3 物联网基础设施层
关键词：用户；网站；优化
Key Words:Web;Data;Cache;
随着Internet的不断发展，各种新的技术手段日益的更新，人们接收和处理信息的方式也发生了巨大的变化，这已经成为不争的事实。据中国互联网络信息中心的《第25次中国互联网络发展状况统计报告》显示，截止到2009年12月份，中国网民规模已经达到3.84亿人，较上一年增长28.9%，互联网普及率在稳步上升。在各种网络应用中，我们可以大致分为四类：信息获取类；交流沟通类；网络娱乐类；商务交易类。以上应用绝大多数都离不开Web的支持，如何构建合适的Web网站，提供更好的用户体验，成为人们更为关注的热点问题。笔者以自己参与研究的河南省教育和科研网络论坛为例，从用户的角度出发，提出了在实践中发现的问题，并给出了Web网站优化的几点意见，以供参考。
一、面向Web用户的需求分析
据CNNIC提供的数据显示，中国网民继续向低学历人群渗透。2009年初中及以下网民群体增速超过整体网民增速，占到整体网民的35.6%，高中学历网民所占比例略微提升，大专及以上学历网民所占比例继续降低，网民学历结构更为均衡。从职业结构来看，中国学生网民群体占比明显下降，同时产业工人、服务业从业者、无业人员、农民群体等网民比重有所提升，越来越多的弱势群体开始使用互联网。
用户的需求包括功能性需求、性能需求、环境需求、可靠性需求、安全保密需求、用户界面需求、资源使用需求等。根据上文对网民结构所做的分析，从不失一般性的角度出发，我们可以得出Web用户更关注功能性需求、性能需求和用户界面需求，但作为Web服务的提供者，其他几种需求也是应该考虑到的。功能性需求是指用户想要得到何种Web服务，这是最主要的需求。性能需求是指用户应该得到满意的服务质量，包括在不同环境下得到相同的服务，信息传递延迟的要求等。用户界面需求是指用户能够在友好的环境下方便、有效、愉快地使用所提供的服务，从市场的角度来看，具有友好界面的Web具有很强的市场竞争力。
二、现有环境及问题分析
河南省教育科研网论坛（bbs.ha.省略）由河南教育科研网网络中心和郑州大学研究生创新中心于2009年共同创办，是一个面向全省的综合性门户网站，内容涉及大学师生的工作、学习、生活的各个方面。网站采用IIS6.0作为Web服务器，以Visual Studio2005作为开发工具，采用C#语言，以 2.0技术平台来实现页面的动态生成，数据库采用SQL Server 2005服务器。
整体而言，目前的用户使用网络的目的更趋于实用性，选择更多，更容易选择或离开一个Web站点，用户的耐心几乎成为一种稀缺资源。如何在用户可以忍受的范围内，将有价值的信息呈现给用户，是进行网站优化的最基本要求。美国一家独立调查公司的调查结果显示，网站必须在10秒之内对用户的访问做出响应，否则将流失至少30%的潜在客户。截止到2010年底，用户所能容忍的时间已从10秒缩短至不到3秒。在进行网站优化之前，我们必须了解以下三个事实。1、用户不阅读，只扫描。人们只是扫描一下网页，寻找其中感兴趣的内容，并点击他们，对于其他内容，毫不关心。2、用户不要最佳结果，满意即可。一个网页可能提供多个同一类型的链接，用户在扫描的时候，并不考虑哪个链接能提供最佳的结果，只是尝试性的点击其中一个，如果能够得到满意的内容，不会再去点击其他链接，即使点错了，再退回去，并不造成什么损失。3、用户不探究，只应付。人们使用现实中的某种物品，并不理解他的运作原理，而是按照自己的习惯去使用，比如对于某种电器产品，用户买回家后，很少去阅读使用说明，而是按照自己的理解（即使是错误的）去操作，只要能够顺利完成任务就万事大吉，这种应付的态度对于Web的使用也是同样的。用户并不按照设计师的想法去理解网站的运作原理，而是按照自己一贯的，某种有效方法去操作，即使有更好的操作途径。
三、基于用户的优化技术
在充分考虑到用户的感受和Web使用习惯后，我们可以着手从以下几个方面对网站进行优化。
1、使用缓存技术
高流量的交互性网站，往往会面临一个难题，就是反复大数据量的操作时，Web应用程序的性能很难保证，单纯依赖硬件的提升会直接造成费用的攀升。如果我们对经常请求且很少变化的数据加以缓存，那么就可以缓解这个难题带给我们的烦恼。提供了两类Web应用程序缓存：输出缓存和数据缓存。
输出缓存技术通过缓存从动态页生成的内容来提高请求/响应吞吐量。输出缓存在默认情况下是开启的，但是除非执行显示操作以使响应可以缓存，否则来自任何给定响应的输出都不会被缓存。页面的内容经过页输出缓存处理后存储在内存中。当用户再次请求这个被缓存的页面时，从内存中作出响应，而不必再次经过页处理生命周期。页输出缓存对那些不经常更改，但需要大量处理才能创建的页特别有用。可以单独缓存一个页面也可以通过配置Web应用程序的配置文件缓存多个页面。这样除第一次请求外，后续请求将直接从缓存中输出网页，而无需重新生成页面，从而节省了资源，提升了Web应用程序的整体性能。需要注意的是，网站缓存大量页面实例会消耗很多的服务器资源，在有些情况下，网站页面的大部分区域是不变的，因此只需要页的某些部分在请求的时候更新。为此，我们可以采用部分缓存功能。例如，可以通过创建用户控件来包含缓存的内容，与普通缓存页一样加入@OutputCache指令来指定缓存策略，或者在用户控件后置代码中使用PartialCachingAttribute类，以声明的方式为用户控件设置设置这些策略。如一个BBS网站的大量页面都包含一个静态公告，其他内容均为动态的，这部分静态公告就可以放入用户控件来缓存起来。
数据缓存的运行机制是将应用程序的数据缓存起来，以提高程序的性能。缓存是由Cache对象实现的，缓存实力是每个应用程序专用的。缓存生存周期依赖于应用程序的生存期；重新启动应用程序之后，将重新创建Cache对象。Cache对象具备过期策略，我们可以通过使用简单的键值对将项防止在Cache中，从而进行存取。例如：
Cache类提供了强大的功能，允许自定义如何缓存项，以及将其缓存多长时间。例如，应用程序运行中，服务器缺乏内存时，缓存会自动移除优先级较低的或很少使用的项以释放内存。这是缓存确保过期数据不适用宝贵服务器资源的方法之一。
2、使用页面压缩技术
对于一个HTTP请求，如果给予更少的应答内容，那么在服务器和客户端之间的传输时间将因为数据包的减少而减少，对于带宽较低的网络效果则更加明显。对脚本和样式表进行压缩是减少网页容量的最简单方法。GZIP最早由Jean-loup Gailly和Mark Adler创建，被用于于UNIX系统文件的压缩，目前已经成为Internet上非常普遍使用的数据压缩技术。大部分的Web服务器和浏览器都支持Gzip压缩。在服务器上的页面在传输之前，先使用Gzip压缩再传输给客户端，客户端接收之后由浏览器解压显示，这样一来带宽利用率被大幅度提高。对于纯文本的网页，压缩率是相当可观的。假如每个用户节约50%的带宽，那么网站租用来的那些带宽就可以服务多一倍的客户。但是，PDF文件和图片就不应该进行压缩，因为它们本身已经被压缩过了。虽然采用压缩和解压技术会带来一定的CPU负担，不过比起发送和传输时延的大幅减少所带来的收益，还是值得的。
3、使用存储过程
存储过程是存储在服务器上的一组预编译的SQL语句。在后台数据库的优化中，我们可以将部分常用的数据库访问操作封装为存储过程，这样做可以带来以下好处。首先，封装了基本事物，从而使数据库访问接口更加清晰、简洁，层次也更为合理。其次，存储过程可以提高数据库访问的性能，减少网络访问的数据交换。存储过程将相关事物封装起来，不仅符合数据库访问按事物进行的要求，而且可以将存储过程的访问结果进行缓存，从而提高访问性能。此外存储过程相当于函数，在使用时只需传输存储过程名、参数和参数的数值等数据，无需编写复杂的SQL语句，因此可以减少网络流量。再次，对于程序设计而言，存储过程可以简化编码，并有利于系统修改。存储过程封装了基本事物，这样可以增加代码的复用性、共享性和结构化，从而加快开发速度。此外，利用存储过程可以有效的减少在页面中分散的SQL语句的访问，有利于系统修改。如果需要修改数据库的逻辑结构，只需更新相关存储过程即可，对页面可以实现很好的封装和隔离，不必大规模修改页面。
4、可用性优化
Web界面优化是网站优化的一种延伸，是人机交互方式的演变。
①搜索引擎优化。现在的用户使用互联网寻求问题的答案时，总是首先想到求助于搜索引擎，但几乎从不看除第一页之外的搜索结果，因此搜索引擎优化就成为一个Web的重要内容。我们首先来看一下几个网络社区的首页标题。
搜索引擎往往会给予出现在页面标题中的单词更多的权重，而用户在浏览搜索结果列表时，通常会根据标题的内容来判断该网站所提供的内容。例如，新浪论坛首页标题中出现的“全球最大中文社区”，爱卡汽车论坛首页出现的“汽车论坛_汽车社区_爱卡汽车论坛|车友会_爱卡汽车网”等内容，很容易使搜索引擎，按照用户所提供的关键词搜索到该网站，也便于用户识别该网站所提供的内容，从而提高网站点击率。而河南省教育科研网论坛的首页标题就显得过于苍白，不妨改为“河南省教育科研网论坛_大学生自己的网上家园”。
②信息表现优化。首先应该为页面建立清晰的视觉层次，而且能够准确的描述页面内容间的关系：哪些内容相关，哪些内容是其他内容的嵌套。其中包括突出重要部分，可将重要内容以加粗倾斜的方式，或者用比较强烈的颜色进行显示；使逻辑上相关的部分在逻辑上也相关，例如可以把内容相关的部分放在一组或同一个标题下。
③采用人们熟悉的界面。
对比上面的图1和图2为的登录界面，除了必要的用户名、密码输入框、登录按钮、新用户注册和忘记密码的服务外，大河论坛还提供了站内搜索的功能。两个网站最大的不同在于，“帮助文档”的呈现方式。图1中的“BBS管理制度”，对普通用户来说几乎没有任何作用，更不会花费时间去阅读。但是用户在使用网站出现问题时，通常会去点击如图2中的“帮助中心”，并查询问题的解答。对于注重实用性需求的交互式网站而言，除非有一个更好的实用的创新，否则尽可能的采用人们习惯的界面。
④让内容易于扫描。现在的用户在非必要的情况下，不会去阅读整段的文字，因为那意味着，他们要从许多大段的文字中，寻找有用的信息，而这样做的效率是比较低的。一个比较好的做法是，控制网页中的文字性内容，使用户能够从简短的语句甚至单词的描述中，找到有价值的信息。比如，控制用户帖子标题和内容的字符长度。
四、总结
在交互式网站的优化中，诸如动态页面静态化，合理的选择控件，对用户个性化信息进行控制等方法也是可以采用的，但要考虑到网站的具体运行情况和所面向用户的使用习惯问题。无论如何，只有在实践中加以探索，才能达到更好的效果。
参考文献：
[1] 中国互联网络信息中心(CNNIC)第25次中国互联网络发展状况统计报告.省略.2010.
[2] 刘婕 张琳． 2.0+SQL Server动态网站开发从基础到实践[M].北京：电子工业出版社，2007.
[3] 张海藩 倪宁．软件工程（第三版）[M].北京：人民邮电出版社，2010.
[4] 董建民，傅立民，Gravriel Salvendy.人机交互:以用户为中心的设计
和评估[M].北京:清华大学出版社,2003.
[5] 魏璞.Web优化的研究及其应用[J].北京邮电大学工程硕士研究生学位论文,2008.省略
由系统管理员管理的结构化计算机环境和只有一台或几台孤立计算机组成的计算机环境的主要区别是服务。这种只有几台孤立计算机的典型环境是家庭和那些很小的非技术性的办公室，而典型的结构化计算机环境则是由技术人员操作大量的计算机，通过共享方便的通信、优化的资源等服务来互相联结在一起。当一台家用电脑通过互联网或通过ISP 连接到因特网上， 他就是使用了ISP 或其他人提供的服务才进入网络的。
提供一个服务绝不仅仅是简单的把硬件和软件累加在一起，它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。只有在这几个方面都符合要求的服务才是真正的服务。
1 服务的基本问题。
创建一个稳定、可靠的服务是一个系统管理员的重要工作。在进行这项工作时系统管理员必须考虑许多基本要素，其中最重要的就是在设计和开发的各个阶段都要考虑到用户的需求。要和用户进行交流， 去发现用户对服务的要求和预期，然后把其它的要求如管理要求等列一个清单，这样的清单只能让系统管理员团队的人看到。
服务应该建立在服务器级的机器上而且机器应该放在合适的环境中，作为服务器的机器应当具备适当的可靠性。服务和服务所依赖的机器应该受到监控，一旦发生故障就发出警报或产生故障记录清单。
作为服务一部分的机器和软件应当依赖那些建立在相同或更高标准上的主机和软件，一个服务的可靠性和它所依赖的服务链中最薄弱环节的可靠性是相当的。一个服务不应该无故的去依赖那些不是服务一部分的主机。一旦服务建好并完成了测试， 就要逐渐转到用户的角度来进行进一步的测试和调试。
1.1 用户的要求。
建立一个新服务应该从用户的要求开始，用户才是你建立服务的根本原因。如果建立的服务不合乎用户的需要，那就是在浪费精力。
搜集用户的需求应该包括下面这些内容：他们想怎样使用这些新服务、需要哪些功能、喜欢哪些功能、这些服务对他们有多重要，以及对于这些服务他们需要什么级别的可用性和技术支持。如果可能的话，让用户试用一下服务的试用版本。不要让用户使用那些很麻烦或是不成功的系统和项目。尽量计算出使用这个服务的用户群有多大以及他们需要和希望获得什么样的性能，这样才能正确的计算。
1.2 操作上的要求。
对于系统管理员来说， 新服务的有些要求不是用户直接可见的。比如系统管理员要考虑到新服务的管理界面、是否可以与已有的服务协同操作，以及新服务是否能与核心服务如认证服务和目录服务等集成到一起。
从用户期望的可靠性水平以及系统管理员们对系统将来要求的可靠性的预期，系统管理员们就能建立一个用户期望的功能列表，其内容包括群集、从属设备、备份服务器或具有高可用性的硬件和操作系统。
1.3 开放的体系结构。
有时销售商使用私有协议就是为了和别的销售商达成明确的许可协议，但是会在一个销售商使用的新版本和另一个销售商使用的兼容版本之间存在明显的延迟，两个销售商所用的版本之间也会有中断，而且没有提供两个产品之间的接口。这种情况对于那些依靠它们的接口同时使用两种产品的人来说，简直是一场恶梦。
一个好的解决方法就是选择基于开放标准的协议，让双方都能选择自己的软件。这就把用户端应用程序的选择同服务器平台的选择过程分离了，用户自由的选择最符合自己需要、偏好甚至是平台的软件，系统管理员们也可以独立地选择基于他们的可靠性、规模可设定性和可管理性需要的服务器解决方案。系统管理员们可以在一些相互竞争的服务器产品中进行选择，而不必被囿于那些适合某些用户端应用程序的服务器软件和平台。
在许多情况下， 如果软件销售商支持多硬件平台，系统管理员们甚至可以独立地选择服务器硬件和软件。
我们把这叫做用户选择和服务器选择分离的能力。开放协议提供了一个公平竞争的场所，并激起销售商之间的竞争，这最终会使我们受益。
开放协议和文件格式是相当稳定的， 不会经常改动（即使改动也是向上兼容的），而且还有广泛的支持，能给你最大的产品自主选择性和最大的机会获得可靠的、兼容性好的产品
2 其它需要考虑的问题。
建立一个服务除了要求可靠、可监测、易维护支持，以及要符合所有的我们基本要求和用户的要求外，还要考虑到一些特别的事情。如果可能的话，应该让每个服务使用专门的机器，这么作可以让服务更容易得到支持和维护，也能减少忘记一些服务器机器上的小的服务的机会。在一些大公司，使用专门的机器是一条基本原则， 而在小公司，由于成本问题，一般达不到这个要求。
还有一个观念就是在建立服务时要以让服务完全冗余为目标。有些重要的服务不管在多大的公司都要求完全冗余。由于公司的规模还会增长，所有你要让所有的服务都完全冗余为目标。
2.1 使用专门的机器。
理想的情况，服务应该建立在专门的机器上。
大网站应该有能力根据服务的要求来调整到这个结构，而小网站却很难做到。每个服务都有专门的机器会使服务更可靠，当发生可靠性问题是也容易调试，发生故障的范围更小，以及容易升级和进行容量计划。
从小公司成长起来的大网站一般有一个集中管理的机器作为所有重要服务的核心，这台机器提供名字服务、认证服务、打印服务、邮件服务等等。最后，由于负荷的增长，机器不得不分开，把服务扩展到别的服务器上去。常常是在这之前，系统管理员们已经得到了资金，可以买更多的管理用的机器，但是觉得太麻烦，因为有这么多的服务依赖这机器，把它们都分开太难了。当把服务从一台机器上分开时，IP 地址的依赖最难处理了， 有些服务如名字服务的IP 地址都在用户那里都已经记得很牢固了，还有一些IP 地址被安全系统如路由器、防火墙等使用。
把一个中心主机分解到许多不同的主机上是非常困难的，建立起来的时间越长，上面的服务越多，就越难分解。使用基于服务的名字会有所帮助，但是必须整个公司都使用标准化的、统一的、始终如一的名字。
2.2 充分的冗余。
充分的冗余是指有一个或一系列复制好的服务器， 能在发生故障的时候接管主要的故障设备。冗余系统应该可以作为备份服务器连续的运行，当主服务器发生故障时能自动连上线，或者只要少量的人工干预， 就能接管提供服务的故障系统。
你选择的这类冗余是依赖于服务的。有些服务如网页服务器和计算区域，可以让自己很好的在克隆好的机器上运行。别的服务比如大数据库就不行，它们要求连接更牢固的崩溃恢复系统。你正在使用的用来提供服务的软件或许会告诉你，冗余是以一种有效的、被动的、从服务器的形式存在的，只有在主服务器发生故障并发出请求时，冗余系统才会响应。不管什么情况，冗余机制必须要确保数据同步并保持数据的完整。
如果冗余服务器连续的和主服务器同步运行，那么冗余服务器就可以用来分担正在正常运行的负荷并能提高性能。如果你使用这种方法，一定要注意不要让负荷超出性能不能接受的临界点，以防止某个服务器出现故障。在到达临界点之前要为现存系统增加更多的并行服务器。
冗余的另一个好处就是容易升级。可以进行滚动升级。每次有一台主机被断开、升级、测试然后重新开始服务。单一主机的故障不会停止整个服务，虽然可能会影响性能。如果你真的搞杂了一个升级那就关掉电源等你冷静下来再去修它。
