新一代云数据平台架构演进之路

浙江数新网络的CTO原攀峰在《新一代云数据平台架构演进》分享中，深入探讨了大数据发展的历史脉络与云数据平台的未来趋势。他指出，数据平台经历了从传统数据到云数据的演变，技术架构也相应地从数据仓库到云原生架构，强调了云原生技术的弹性与灵活性。

在云计算与大数据的交织中，云数据平台的演进趋势呈现多元化特征。存储引擎不再单一，本地和云存储并存，计算引擎如Spark和Flink各具特色，满足多样化的场景需求。实时分析引擎领域，MPP架构引擎快速发展，而流批一体与Lambda-Kappa架构也各有所长。湖仓一体的设计则实现了数据的统一存储和多场景分析支持，存算分离的架构推动了架构的解耦，云原生与混合云/数据云环境的兴起，使得数据管理更加灵活，适应多云环境。

平台的核心在于灵活应对多引擎和场景变化，具备跨云数据安全的管理能力，如隐私计算技术。技术架构设计的关键点包括：

• 总体架构：支持多元数据源，涵盖湖仓存储引擎的HDFS/对象存储和数据仓库，通过Yarn或K8S进行资源调度，计算引擎涵盖Hive、Flink、Spark等，云数据操作系统内核提供元数据管理、统一调度、数据集成以及隐私计算支持，开发治理平台实现全生命周期管理。


• 关键组件：统一元数据系统支撑跨引擎管理，统一调度系统确保高并发稳定性和扩展性。


• 调度系统：包括高效的协调器和执行器，支持多任务类型和性能扩展。

分享中还提及了工业制造案例，如CyberMeta的定制化大数据开发平台，以及技术细节如数据分片策略、跨VPC部署、元数据管理等。此外，星石（StarRocks）与Doris等数据库在云化部署中各有优势，智能调度和自动化运维也成为了关键点。

新一代云数据平台不仅关注云原生特性，还涵盖了存储、计算、安全以及跨云部署的综合解决方案，确保在高性能和灵活性之间找到最佳平衡。通过这些创新和实践，浙江数新网络正在引领云数据平台的未来发展，期待更多企业在此领域探索和应用。

~

首批!天翼云大数据平台率先通过信通院无服务器架构大数据平台测试
答：在高可用性和容灾设计上，平台的多租户隔离和权限管理，确保了数据安全，即使面临故障也能迅速恢复，降低对业务的影响。丰富的业务场景支持，如数据湖分析和实时数仓，让数据处理能力更上一层楼，湖仓一体设计则提供灵活的演进路径。</ 在实际应用中，天翼云大数据平台已经助力中国电信和众多央国企项目实现...

云管理是什么意思
答：云管理平台是虚拟化管理平台,它利用虚拟化的强大能力将数据中心转化成为显著简化的云计算基础架构,使企业能够充分利用内部和外部资源,安全和低风险地提供新一代灵活可靠的IT服务。云管理平台能使企业的运作建立在更高效、更科学、更精确的平台上,成为具有竞争力的经济单位,成为社会发展的资源,促进企业发展。 问题二:...

阿里云肖力:原生安全打造云上绿洲
答：每个企业可以基于这个架构,根据自己的业务需求、业务场景特点来构建基于云的下一代创新安全架构。整个架构会分为三大层面: 第一个层面:云平台安全 阿里云使用硬件安全能力和全局云平台的威胁检测和响应能力,来打造更安全的云平台底层。 第二个层面: 云产品安全 安全能力和安全威胁建模能力在产品设计阶段,就已经被融...

企业管理学问题:结合时代背景,分析华为布局人工智能物联网生态战略的...
答：2014年是华为云服务爆炸式增长的一年:在智慧城市领域华为携手合作伙伴,采用新一代eLTE移动宽带集群系统和可视化指挥平台,构建平安城市解决方案,目前已被广泛应用于全球100多个城市;在交通领域,华为数字铁路解决方案服务里程累计达8.7万公里,可绕地球两圈;在能源领域,华为数据中心网络解决方案助力中国石油建设亚太地区最大的...

鸿蒙只是半成品,云操作系统才是终极形态
答：说明:目前很多云厂商都宣称自研了云操作系统,他们所谓的云操作系统,实际上是云资源管理平台,不是真正的操作系统。什么才是云操作系统,目前还不能给一个完整的定义。不过,真正的云操作系统应该要具备以下几个特征:可以直接调度CPU,控制CPU计算进程;融合了目前的计算节点管理与单服务器操作系统,在云数据中心实现计算资源...

云时代企业该如何管理?
答：笔者认为从IT来讲,新一代信息技术的重点是云计算。云计算使得移动互联网、物联网成为可能,云计算是...并且,简单化前台、集中、规范标准化的后台架构成为国大药房实现快速扩张的利器,原来三个月开一家分店,...这样做最大的好处就是平台化管理:能够实现全集团业务处理过程的统一、全集团数据信息的集中,实现业务...

互联网时代的网络自动化运维
答：本文将结合国内互联网公司的经验,重点针对IT基础设施的新一代自动化运维体系展开讨论。 一、运维的三...组件与国内某大互联网公司自有Portal系统进行了对接,打通了iMC工具与用户自有运维平台,很好的实现了架构...IT系统架构逐渐走向标准化、模型化,运维部门建立了完整的设备、系统资源管理数据库和知识库,包括所有...

云计算的含义是什么?
答：到2020年,力争在新一代信息技术产业薄弱环节实现系统性突破,总产值规模超过12万亿元。9赞·11,735浏览2020-08-07云计算是什么意思1播放云计算的具体含义是什么?看你自己的定义: 个人解释: 访问你非你电脑上的数据资料一切动作,都是云计算的一种。 官方解释: 云计算(cloud computing)是基于互联网的相关服务的...

大繁至简,首度揭秘阿里云飞天洛神系统
答：2018杭州·云栖大会的主会场上,阿里云产品总监何云飞介绍了阿里云自主研发的云操作系统飞天的全面升级版飞天2.0。作为飞天2.0核心组成部分之一,洛神首次向外界揭开了她神秘的面纱。在随后的未来网络技术专场上,阿里云网络高级技术专家孙成浩对飞天洛神进行了更为详细的阐述。本文是首次对飞天洛神的概念、演进、架构、特点等...

金融信创云平台建设意义?
答：全栈服务：提供从底层硬件、操作系统、数据库到上层应用软件的全面IT基础设施能力，形成完整的、兼容多技术路线的全栈云服务体系。一云多芯：支持多种芯片架构如x86和ARM等，以应对不同场景下的国产化需求，保障在不同芯片平台上云服务的一致性和可用性。云原生：采用微服务、容器化、DevOps等云原生技术理念...