金沙js娱乐场云计算的前生今生(上)

金沙js娱乐场 1

大幅提升虚拟化性能

容器的诞生

北极熊:

谈到未来愿景,郑军表示华云数据要成为像硅谷那些技术驱动型的公司。现在,一些优秀的高管人员加入华云,正在积极拓展渠道,吸引集成商成为产品分销商。华云提供武器,集成商去打项目。华云的重要精力还是放在产品创新和研发上面,当然也有自己精干的销售团队。

云计算发展脉络

云计算整个发展过程,用一句话来形容,就是“分久必合,合久必分”。

责任编辑:

金沙js娱乐场 2

第一阶段:合,即物理设备

对于不是要自己研发的私有云,而是只是云使用者,还要看规模,我们深信服分为三类,一是原来的物理机服务器,迁移到云环境以后,在50台服务器以下的,这样的环境使用超融合肯定是最好最经济的。第二个是50-200台物理服务器,虚拟机在数千台,这种规模的客户,更多的是在大型企业。这样的客户更追求易用性,更追求开放性,管理成本会高,对云管平台有很高的要求。第三是200台以上的物理服务器,这样用户,需要寻找一家长期合作伙伴,按照自己的要求定制。

郑军同时介绍了华云数据在SDN/NFV和高性能计算方面的产品和解决方案创新。在Neutron架构下,华云数据在业界第一个实现了基于高性能VPP的虚拟路由器产品vRouter,并进行了详细的性能评价与Benchmark对比分析。相对于目前其它同类产品,华云数据的vRouter性能提升了8倍左右,可以轻松应对实时性要求较高的大型复杂云计算环境,为实现更复杂SDN/NFV方案奠定了坚实基础。

第四阶段:分,即容器

现在来谈谈,应用层面,即PaaS层。

前面一直在讲IaaS层的故事,也即基础设施即服务,基本上在谈计算、网络、存储的事情。现在应该说说应用层,即PaaS层的事情了。

第一,我们会开放一些API,我们现在做的事情,就是把我们原来内部的API,全部封装成OpenStack
API开放出去。第二,如果需要我们也可以开放一些代码。但是不会完全走开源路线,这是战略选择。事实上参与开源社区,需要有很大的投入,并不是钱的投资,这里主要是人和时间的投入,参与开源社区会让我们研发无法让我们聚焦在客户最急迫的需求续上改进产品,这是我们市场战略的选择。我们还是客户导向,为客户创造价值。实际上许多开源公司,包括国外的公司,都是有两个团队,一个是做开源项目,一个做闭源项目,实际生产环境跑的都是闭源的项目。许多公司参与开源主要是追求名气,追求新功能,而不是重要功能的完善。返回搜狐,查看更多

中国云计算市场独具特色

3. PaaS部署的问题

当然这种部署方式也有一个问题,就是无论Puppet、
Chef、Ansible把安装脚本抽象的再好,说到底也是基于脚本的,然而应用所在的环境千差万别。文件路径的差别,文件权限的差别,依赖包的差别,应用环境的差别,Tomcat、
PHP、
Apache等软件版本的差别,JDK、Python等版本的差别,是否安装了一些系统软件,是否占用了哪些端口,都可能造成脚本执行的不成功。所以看起来是一旦脚本写好,就能够快速复制了,但是环境稍有改变,就需要把脚本进行新一轮的修改、测试、联调。例如在数据中心写好的脚本移到AWS上就不一定直接能用,在AWS上联调好了,迁移到Google
Cloud上也可能会再出问题。

所以我不认为我们和公有云是竞争对手,公有云做任何事情只是为了让用户上公有云,所以在这个角度讲,目前没有一家公有云正在的在做混合云解决方案。公有云的优势在于PaaS,我们做过分析,公有云IaaS的收入要比PaaS少很多。我们是真正从客户需求出发,研究真正符合用户要求的一致体验的混合云,目前我们用自己的企业级云aCloud+公有云XYClouds平台做了一个混合云版本,也在探索和第三方公有云厂商共同研发真正意义的混合云解决方案。

金沙js娱乐场 3

2. PaaS的优点

PaaS最大的优点,就是可以实现应用层的弹性伸缩。比如在双十一期间,10个节点要变成100个节点,如果使用物理设备,再买90台机器肯定来不及,仅仅有IaaS实现资源的弹性是不够的,再创建90台虚拟机,也是空的,还是需要运维人员一台一台地部署。所以有了PaaS就好了,一台虚拟机启动后,马上运行自动部署脚本,进行应用的安装,90台机器自动安装好了应用,才是真正的弹性伸缩。

当前国内市场强调自主可控,请问深信服产品满足自主可控要求吗?

OpenStack需要深度探索才能运用自如

公有or私有?网易的选择

网易当然也没有错过这次风口,上线了自己的OpenStack集群,网易蜂巢基于OpenStack自主研发了IaaS服务,在计算虚拟化方面,通过裁剪KVM镜像,优化虚拟机启动流程等改进,实现了虚拟机的秒级别启动。在网络虚拟化方面,通过SDN和Openvswitch技术,实现了虚拟机之间的高性能互访。在存储虚拟化方面,通过优化Ceph存储,实现高性能云盘。

但是网易并没有杀进私有云市场,而是使用OpenStack支撑起了自己的应用,这是互联网的思维。而仅仅是资源层面弹性是不够的,还需要开发出对应用部署友好的组件。例如数据库,负载均衡,缓存等,这些都是应用部署必不可少的,也是网易在大规模应用实践中,千锤百炼过的。这些组件称为PaaS。

这里还要特别说明下,因为很多能力都是基于我们自研的超融合架构,所以很多关键技术都是我们自己研发的,我们做任何设计都可以端到端,比如数据读写,从KVM到最底层的数据落盘,所有核心代码都在我们手里,都可以我们做到全栈自主可控,可以按照最理想最优化的路径来设计和实现从数据计算和存储路径,这样做可以大大提高基础架构的整体性能。没必要像OpenStack一样在各个组建中间调用很多接口来实现,造成性能损失。

据郑军介绍,今年年初,中国最大的游戏提供商之一测试了包括华云数据在内的五家主流云计算服务商的云主机,结果是华云云主机的性能最佳。这都得益于华云对KVM内核的深入研发,目前没有一家公司像华云这样舍得大手笔投入那么多核心内核工程师去做相关研发。

私有云厂商与公有云厂商的联系与区别

如果仔细观察就会发现,私有云和公有云虽然使用的是类似的技术,但在产品设计上却是完全不同的两种生物。

私有云厂商和公有云厂商也拥有类似的技术,但在产品运营上呈现出完全不同的基因。

私有云厂商是卖资源的,所以往往在卖私有云平台的时候伴随着卖计算、网络、存储设备。在产品设计上,私有云厂商往往会对客户强调其几乎不会使用的计算、网络、存储的技术参数,因为这些参数可以在和友商对标的过程中占尽优势。私有云的厂商几乎没有自己的大规模应用,所以私有云厂商的平台做出来是给别人用的,自己不会大规模使用,所以产品往往围绕资源展开,而不会对应用的部署友好。

公有云的厂商往往都是有自己大规模的应用需要部署,所以其产品的设计可以将常见的应用部署需要的模块作为组件提供出来,用户可以像拼积木一样,拼接一个适用于自己应用的架构。公有云厂商不必关心各种技术参数的PK,不必关心是否开源,是否兼容各种虚拟化平台,是否兼容各种服务器设备、网络设备、存储设备。你管我用什么,客户部署应用方便就好。

原标题:120分钟!我和深信服云计算CTO都聊了啥?

OpenStack是当前炙手可热的开源技术,受到了诸多云计算企业力挺。郑军也表示非常看好这个技术,它能够给很多“草根”公司翻身的机会。云产品提供商须在Openstack框架之上做深入的创新实践和工程优化,才能为用户提供成熟、可靠、低使用成本的云计算产品技术。因为对于广大企业用户而言,将类似OpenStack这样的开源系统软件用于企业级应用场景是需要复杂的工程化开发过程,特别在企业级私有云方面,客户如果直接应用OpenStack开源版本会碰到很多挑战。总的来看,OpenStack还很长的路要走,它现在太过庞大、复杂了,企业要有清晰的技术战略去策划,否则很难从中实现盈利。华云数据已投入大量研发力量做深层次的技术创新和技术变革,并将其融合到OpenStack中。

公有云生态及老二的逆袭

公有云的第一名AWS活的自然很爽,作为第二名Rackspace就不那么舒坦了。

没错,互联网行业基本上就是一家独大,那第二名如何逆袭呢?开源是很好的办法,让整个行业一起为这个云平台出力。于是Rackspace与美国航空航天局(NASA)合作创始了开源云平台OpenStack。

OpenStack现在发展的和AWS有点像了,所以从OpenStack的模块组成可以看到云计算池化的方法。

曹心驰:

如今,云计算在我国的发展可谓如火如荼,相关云企业也正处于群雄逐鹿阶段,市场洗牌在所难免。唯有“一招鲜”才能“吃遍天”,这个一招鲜就是技术、方案或者可靠性。华云数据优势的重要一方面就是技术,尤其是在虚拟化多核心内核研发方面更具竞争力,云厂商分化趋势已经显现,你准备好了吗?

物理设备的缺点

部署应用直接使用物理机,看起来很爽,有种土豪的感觉,却有大大的缺点:

人工运维。如果你在一台服务器上安装软件,把系统安装坏了,怎么办?只有重装。当你想配置一下交换机的参数,需要串口连上去进行配置;当你想增加一块磁盘,要买一块插进服务器,这些都需要人工来,而且很大可能要求机房。你们公司在北五环,机房在南六环,这酸爽。

浪费资源。其实你只想部署一个小小的网站,却要用128G的内存。混着部署吧,就有隔离性的问题。

隔离性差。你把好多的应用部署在同一台物理机上,他们之间抢内存、抢cpu,一个写满了硬盘,另一个就没法用了,一个弄挂了内核,另一个也跟著挂了,如果部署两个相同的应用,端口还会冲突,动不动就会出错。

在和云用户交流的过程中,我们也看到用户对用云非常认可,但是如何选择云产品,如何用好云,许多用户还非常困惑。深信服企业云在满足用户需求方面有什么特色,如何解决用户的痛点?

“中国云计算市场非常有前景,公有云是未来的大趋势;与此同时,2006到2015年私有云在中国蓬勃发展,全球最大的私有云市场就在中国。”谈到中国云市场,华云数据CTO郑军如是说。

虚拟化解决的问题

虚拟化很好地解决了在物理设备阶段存在的三个问题:

人工运维。虚拟机的创建和删除都可以远程操作,虚拟机被玩坏了,删了再建一个分钟级别的。虚拟网络的配置也可以远程操作,创建网卡、分配带宽都是调用接口就能搞定的;

资源浪费。虚拟化了以后,资源可以分配地很小很小,比如1个cpu,1G内存,1M带宽,1G硬盘,都可以被虚拟出来;

隔离性差。每个虚拟机都有独立的cpu、
内存、硬盘、网卡,不同虚拟机之间的应用互不干扰;

1

华云数据CTO 郑军

第三阶段:合,即云计算

北极 style=”font-size: 16px;”>熊: style=”font-size: 16px;”> style=”font-size: 16px;”> style=”font-size: 16px;”>

与集成商合作推动行业发展

1. PaaS的定义与作用

IaaS的定义比较清楚,PaaS的定义就没那么清楚了。有人把数据库、负载均衡、缓存作为PaaS服务;有人把大数据Hadoop,、Spark平台作为PaaS服务;还有人将应用的安装与管理,例如Puppet、
Chef,、Ansible作为PaaS服务。

其实PaaS主要用于管理应用层。我总结为两部分:一部分是你自己的应用应当自动部署,比如Puppet、Chef、Ansible、
Cloud
Foundry等,可以通过脚本帮你部署;另一部分是你觉得复杂的通用应用不用部署,比如数据库、缓存、大数据平台,可以在云平台上一点即得。

要么就是自动部署,要么就是不用部署,总的来说就是应用层你也少操心,就是PaaS的作用。当然最好还是都不用去部署,一键可得,所以公有云平台将通用的服务都做成了PaaS平台。另一些你自己开发的应用,除了你自己其他人不会知道,所以你可以用工具变成自动部署。

2

经过了这几年的发展,华云数据作为云服务提供商聚焦在四大领域,包括公有云、私有云、混合云和IDC转云。大数据挖掘,郑军认为应该属于云的一部分。在公有云方面,华云更加强调“高品质”。

2.容器在开发中的应用

设想A就是程序员,B就是用户,货物就是代码及运行环境,中间的三个码头分别是开发,测试,上线。假设代码的运行环境如下:

  1. Ubuntu操作系统

  2. 创建用户hadoop

  3. 下载解压JDK 1.7在某个目录下

  4. 将这个目录加入JAVA_HOME和PATH的环境变量里面

  5. 将环境变量的export放在hadoop用户的home目录下的.bashrc文件中

  6. 下载并解压tomcat 7

  7. 将war放到tomcat的webapp路径下面

  8. 修改tomcat的启动参数,将Java的Heap Size设为1024M

看,一个简单的Java网站,就需要考虑这么多零零散散的东西,如果不打包,就需要在开发,测试,生产的每个环境上查看,保证环境的一致,甚至要将这些环境重新搭建一遍,就像每次将货物打散了重装一样麻烦。中间稍有差池,比如开发环境用了JDK
1.8,而线上是JDK
1.7;比如开发环境用了root用户,线上需要使用hadoop用户,都可能导致程序的运行失败。

第五阶段,未完,待续~~欲知容器如何对应用打包,且听下回分解。

云的产品我认为在业务类型上分为两种,一种是公有云,一种是私有云。公有云在架构上都是封闭的,每一家都是不同的,公有云的优势是PaaS能力,比如阿里、亚马逊、微软。客户在选择公有云的时候,基本不用考虑底层基础架构的技术,更多是考虑业务应用运行在公有云时候的可靠性和业务改造成本。

中国私有云市场正在发生着巨变,对于云服务提供商而言,也面临着重大的机遇。

作者简介:刘超,网易云计算解决方案首席架构师。10年云计算领域研发及架构经验,Open
DC/OS贡献者。长期专注于kubernetes,
OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。

style=”font-size: 16px;”>北极熊:

行业市场上,无论是电力系统、军工系统、通信系统,都有自己的核心IT供应商,如中电、信通,是国网最大的供应商,华云要与他们进行深度合作,基于产品提供一揽子的解决方案。例如针对税务应用,华云专门打造了一套私有云平台……目前,华云数据正在推混合云的合作伙伴计划。通过合作伙伴把产品推广出去,共同协助用户解决IT问题。

云计算解决的问题

为了解决虚拟化阶段遗留的问题,于是有了分久必合的过程。这个过程我们可以形象地称为池化。虚拟化将资源分得很细,但是如此细分的资源靠Excel去管理,成本太高。池化就是将资源打成一个大的池,当需要资源的时候,帮助用户自动地选择,而非用户指定。这个阶段的关键点:调度器Scheduler。

这里面还有一个问题,就是客户在选择的时候,按照传统的习惯,一定会预留五到十年业务的容量,实际上却可能只用到三到五年,所以即使实际上只用到50台的规模,客户也要按照200台规模的评价标准要求。花了这么多钱,选择一步建设很大的云,其实成本方面是很大的负担。实际上我认为选择云,还是要选择一家厂商作为合作伙伴,因为云技术一直在变,并且变化方向是不明确的,这里建议客户要根据自己的实际情况出发,从小规模的尝试,到不断的迭代扩大规模,让不断向厂商提需求,牵引厂商慢慢改进产品成为你想要的样子。在选择厂商方面,要选择相对比较大厂商,因为选小厂商,有突然不做的风险。深信服就不存在这样的风险,超融合是深信服非常核心的产品,一定会坚持做下去。

私有云市场方面,中国市场独具特色,大中型国有企业对IT建设有非常强烈的主导欲望
,而且经费方面也是自己主导,这一点跟其他国家完全不同。为什么说十年当中能够预见中国私有云的蓬勃崛起呢?因为有80%企业还没有上云。

虚拟化简介

因为物理设备的以上缺点,就有了第一次“合久必分”的过程,叫做虚拟化。所谓虚拟化,就是把实的变成虚的:

物理机变为虚拟机。cpu是虚拟的,内存是虚拟的,内核是虚拟的,硬盘是虚拟的;

物理交换机变为虚拟交换机。网卡是虚拟的,交换机是虚拟的,带宽也是虚拟的;

物理存储变成虚拟存储。多块硬盘虚拟成一大块;

自主可控方面,我们现在完全是自主可控的,代码完全是自己的,包括我们的存储引擎,代码都是我们自己的,不是完全使用开源的代码。只有,我们现在跟英伟达NvidiavGPU的对接,在KVM的vGPU对接的这部分是使用Nvidia为深信服超融合定制的驱动程序但是对驱动调用的代码是我们自研,未来可以考虑贡献给KVM社区。

OpenStack的组件

计算池化模块Nova:OpenStack的计算虚拟化主要使用KVM,然而到底在哪个物理机上开虚拟机呢,这要靠nova-scheduler;

网络池化模块Neutron:OpenStack的网络虚拟化主要使用Openvswitch,然而对于每一个Openvswitch的虚拟网络、虚拟网卡、VLAN、带宽的配置,不需要登录到集群上配置,Neutron可以通过SDN的方式进行配置;

存储池化模块Cinder:
OpenStack的存储虚拟化,如果使用本地盘,则基于LVM,使用哪个LVM上分配的盘,也是通过scheduler来的。后来就有了将多台机器的硬盘打成一个池的方式Ceph,而调度的过程,则在Ceph层完成。

金沙js娱乐场 4

虚拟化时代的生态

在虚拟化阶段,领跑者是Vmware,可以实现基本的计算、网络、存储的虚拟化。如同这个世界有闭源就有开源、有windows就有linux、有Apple就有Android一样,有Vmware,就有Xen和KVM。

在开源虚拟化方面,Xen
的Citrix做的不错,后来Redhat在KVM发力不少;对于网络虚拟化,有Openvswitch,可以通过命令创建网桥、网卡、设置VLAN、设置带宽;对于存储虚拟化,本地盘有LVM,可以将多个硬盘变成一大块盘,然后在里面切出一小块给用户。


上云极简,特点是省事,可以完成一键迁移,一键CDP,一键容灾,融合安全。

第二阶段:分,即虚拟化

另外,如果要建规模比较大的私有云或者行业云,把平台打造成像亚马逊这样的综合平台,以服务的形式向外提供服务。一般也没有什么选择的,要不就是照搬阿里云和腾讯云,要不就是用OpenStack架构自己研发。要真正的做一个跟阿里云、亚马逊一样好用、稳定可靠的云,例如一个金融企业,至少需要投资一个亿以上,这里包括研发人力和资源投入。

1. 容器的定义

于是容器便应运而生。容器是Container,Container另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱的特点,一是打包,二是标准。设想没有集装箱的时代,如果将货物从A运到B,中间要经过三个码头,换三次船的话,货物每次都要卸下船来,摆的七零八落,然后换船的时候,需要重新摆放整齐,在没有集装箱的时候,船员们都需要在岸上待几天再走。而在有了集装箱后,所有的货物都打包在一起了,并且集装箱的尺寸全部一致,所以每次换船的时候,整体一个箱子搬过去就可以了,小时级别就能完成,船员再也不用长时间上岸等待了。

我们现在深信服在50台这样的场景里面是非常的成熟,在200台规模的场景,我们的云管平台虽然在功能上没有OpenStack提供的功能多,但是绝对是够用了,并且稳定性没有问题,200台以上是我们现在正在做的。

以下为正文:

第二是容灾备份,包括CDP技术,完全是我们自己研发的,同样的我们的效率会高很多。第三是云管理平台,云管理平台的强调开放性,除了API和SDK,甚至还可以开放一部分代码方便大家学习。如果有对深信服技术感兴趣的同学,想要了解一下,在我们深信服社区,也了解我们部分技术知识点。

物理设备简介

在互联网发展初期,大家都爱用物理设备:

服务器用物理机,像戴尔、惠普、IBM、联想等物理服务器,随着硬件设备的进步,物理服务器越来越强大了,64核128G内存都算是普通配置;

网络用的是硬件交换机和路由器,例如思科的,华为的,从1GE到10GE,现在有40GE和100GE,带宽越来越牛;

存储方面有的用普通的磁盘,也有更快的SSD盘。容量从M,到G,连笔记本电脑都能配置到T,更何况磁盘阵列;

深信服云计算CTO曹心驰访谈整理

云计算概述

云计算主要解决了四个方面的内容:计算,网络,存储,应用。

计算就是CPU和内存,例如“1+1”这个最简单的算法就是把“1”放在内存里面,然后CPU做加法,返回的结果“2”又保存在内存里面。网络就是你插根网线能上网。存储就是你下个电影有地方放。本次讨论就是围绕这四个部分来讲的。其中,计算、网络、存储三个是IaaS层面,应用是PaaS层面。

发表评论

电子邮件地址不会被公开。 必填项已用*标注