正在阅读:金山云首席技术官 杨钢先生分享测试心得金山云首席技术官 杨钢先生分享测试心得

2013-09-23 14:48 出处:PConline原创 作者:佚名 责任编辑:wangyao1

  【PConline 资讯】杨钢:大家好!很幸运能够作为英特尔新的Atom平台的第一批测试用户,然后作为伙伴和大家分享这一个月对英特尔凌动C2000测试心得。

  首先给大家介绍一下金山云,我们算是创业阶段的公司。不管是提供云存储技术还是金山快盘这样的产品,存储平台除了金山快盘还有小米和蓝讯达成了合作,成为了蓝讯的云存储技术提供商。我们经常说我们是大数据公司,我们的职责是把数据存好,还有一个最关键的要点,存储成本一定要低,我们在技术上面临很大的技术挑战,我们既要把数据保存的很好,不能丢数据,数据响应又要很快,这实际上涉及到巨大的成本。这时候事实上要兼顾数据的访问能力和TCO就是综合单位成本这两个要素。我们发现数据使用上有一个规律,实际上绝大部分的数据是属于我们要保管好的冷数据,就好像大家拍了照片,特别是现在数码相机的普及,大家拍了很多照片,实际上大家不会每天都把照片拿出看一遍,这些照片的容量又很大,但是谁都不希望拍的照片这些数据丢掉。我们在技术上做了很多改造,首先最重要的是对这些数据进行了冷、热分层,按照一些统计规律,根据数据使用情况分很多层。

  现在问题来了,分层了冷热数据之后,冷数据如何降低成本呢?我们一直在寻求相关的硬件和软件的支持。比如说服务器CPU使用,我们一直用英特尔的CPU,各种不同应用场景我们选择不同的CPU,对于冷数据我们也希望选择一个合适的平台。之前我们测试过上一代的Atom,CPU的运算性能,当时在我们的预料中,我们当时曾经考虑是否要重新修改软件部分。大家知道安全存储,现在的存储技术基本上都是插熟码技术,如果实在不行就采用多倍镜像方式,这样物理空间需要大很多,所以我们评估上一代Atom的时候认为可能性能上存在问题。我们也评测过非英特尔的服务器的CPU的架构,在计算密度等等,评估下来我们遇到了一些问题。长期以来我们都是使用至强作为我们存储服务器的CPU,单颗CPU要管那么多的硬盘还要及时的提供实时修复,这是非常大的挑战。当我们知道有Avoton这个产品要出来的时候,是从合作伙伴那儿了解到的信息,我们知道这个产品定位的时候觉得很可能在冷数据存储上找到曙光。很荣幸的成为第一批测试用户,我们用数据看一下,这一个月的测试Avoton让我们感觉非常惊艳。

  右上角是常规的I/O处理和数据计算,和E3相比Avoton的性能差别。虽然我们在绝对速度上E3确实比Avoton快出一半多一些,但如果综合考虑功耗还有计算和I/O之间的平衡,我们发现Avoton足够我们使用的。按照官方数据相对于上一代产品提升七倍性能,这正好进入了冷数据处理软件设计非常舒服的区间。除了硬件上的帮助下,在软件上也得到了英特尔的大力帮助。当我们使用英特尔提供的ISA-L运算库的时候,最简单的数据修复N+1的易获数据的修复也得到了50%的提升。在更高强度的修复上,比如N+2、N+3的修复性能提升更明显,加上硬件上Avoton的强劲性能,再加上软件的ISA-L的能力,我们认为新的AvotonC2000是我们正在寻找的冷数据的解决方案。所以非常感谢英特尔给了我们这样一个产品。

  谢谢。

 
智能微投“懒人”模式上线 AI语音助力体验升级 专为电影而生 奥图码HE3101影吧投影机评测 超千流明普及型新品 极米无屏电视H2 Slim评测 GDPR实施3月 调查显示cookies数量下降22% 看似普通的A4纸 其尺寸为何如此“怪异”?

为您推荐

加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
热门排行
最新资讯离线随时看 聊天吐槽赢奖品