近日，中国电子学会在北京隆重召开科技攻关项目成果鉴定会。鉴定委员会一致认为：天翼云大数据平台研发项目涉及的大数据存储、计算、调度等一系列关键技术，复杂度高、研制难度大、创新性强，总体技术达到国际先进水平，其中分布式存储元数据两层视图管理等关键技术指标达到国际领先水平。
此次技术创新成果不仅有效支撑了全国多个省份电信公司的IT及业务上云工作，还在数据要素、政务大数据平台、城市大脑等行业领域实现了广泛应用，为行业的数字化转型注入了新的动力。
在计算引擎方面
通过将Spark runtime层替换成Native runtime层，提供了高效的内存管理、数据交换处理能力；将算子改成Native实现，并利用SIMD技术加速核心算子处理能力；深度完善基于规则和代价优化的机制，提升引擎的处理效率，相比开源Spark新版本性能提升1.2倍以上。
在调度引擎方面
设计分区同步共享状态的分布式调度架构替代传统的单调度器、集群联邦方式，更好地解决了集群规模可扩展性、调度效率、调度质量、公平性和优先级、资源利用率等多方面的矛盾，性能及规模较开源相比分别提升了3倍和1.5倍，实现了国内领先的调度速度和单集群1.5万台的规模。多调度器共享整个集群状态，保证任务调度结果的全局最优性；通过资源分区方式，多调度器对不同的资源分区并行调度，提升了可支持的集群规模及调度系统的吞吐量；采用资源分区轮询方式，避免出现调度结果与资源分区的紧耦合，实现最优的任务调度；同时，基于单体调度器增加了多调度器协调工作能力，保障了调度结果的唯一性，避免出现资源冲突导致的调度失败。
在存储引擎方面
天翼云团队结合高性能存储技术，不仅解决了海量文件管理的难题，还大幅提升了数据可靠性等性能。依托L-RDMA协议，计算节点与存储节点RDMA全互联，实现了“高性能、低成本”的软硬协同的统一大数据存储底座。单客户端在达到100万IOPS时，时延依然保持在亚毫秒级，单并发写时延达到70us。这一创新成果不仅提升了存储效率，还为大数据处理提供了更稳定、更可靠的支持。
此次项目获得中国电子学会科技成果鉴定委员的认可，不仅彰显了天翼云在大数据领域的卓越技术实力，也为行业发展树立了新的标杆。未来，天翼云将继续坚持科技创新，不断推动大数据和云计算技术发展，为千行百业数字化转型输送更多新质生产力，为数字经济高质量发展注智赋能。
标签：存储,天翼云驭,天翼云,有道,调度,集群,领先,数据,分区 From： https://www.cnblogs.com/developer-tianyiyun/p/18074973