知科技 数字数码知识百科全书
首页 /  科技创新 / 内容详情

上云现在是普遍状态,阿里云数据集成这个工具优点及缺点

科技创新 时间:2021-11-11 17:00:07

原标题:上云现在是普遍状态,阿里云数据集成这个工具优点及缺点

不同的企业上云路径一定不同。在此过程中,服务商、设备商应该匹配客户诉求,在不同的路径上提供不同的解决方案。

阿里云数据集成优点及缺点

企业上云也是企业集成发展的趋势,国内外很多企业相继投入了云的怀抱。

数据集成

数据集成(Data Integration)是阿里云对外提供的安全、低成本、稳定高效、弹性伸缩的数据同步平台,属于DataWorks的核心能力之一,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

产品优势50+异构数据源数据集成(Data Integration)支持关系型数据库、大数据存储、非结构化存储、NoSql数据库之间数据同步支持离线同步和实时同步支持批量(离线)的全量/增量同步,支持单表或整库的实时同步,支持ETL,支持分库分表同步同步任务调度和监控报警数据集成(Data Integration)将会监控同步任务运行的状况并对异常进行报警支持复杂同步场景解决方案多种数据源之间进行不同数据同步场景的同步解决方案,包括实时数据同步、离线全量同步、离线增量同步等

产品功能支持多种异构数据源数据集成(Data Integration)比DataX更加高效、安全,且支持50+异构数据源之间的相互数据同步,通过数据源的Reader、Writer插件,无需用户实现复杂的编程,支持分库分表Reader&Writer插件主要通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(称之为 Reader)、数据写入插件(称之为 Writer),并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输的目的。抽取、转换、导入数据集成支持在数据抽取过程中进行简单的ETL数据转换操作(如日期解析、数据过滤等),导入到大数据处理中心,利用大数据引擎强大的计算能力可以再进行更复杂的数据转换操作。跨公网传输支持阿里云经典网络、专有网络(VPC)环境下的数据同步以及本地IDC网络环境下的数据集成。

支持多种同步方式数据集成(Data Integration)支持数据批量(离线)的全量/增量同步以及实时同步和ETL(DataX不支持实时同步)批量(离线)数据的全量/增量同步批量同步主要应用场景为阿里云大数据计算存储(包括 MaxCompute、AnalyticDB 、HDFS等)提供离线(批量)的数据进出通道,支持分库分表同步。实时同步实时数据同步功能,方便您使用单表同步或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。全增量一体化同步数据集成支持同步解决方案功能,您可以通过配置同步规则同步整库的离线全量和实时增量数据,支持一键同步至Elasticsearch、MaxCompute、Hologres

调度&监控告警数据集成(Data Integration)与大数据开发套件深度集成,完全复用开发套件的调度能力和同步任务运维能力定时任务调度数据集成支持多时间维度(天、小时、分钟)的离线任务定时调度,只需要简单几步便可完成数据增量抽取。任务出错报警当任务出现错误的时候,数据集成支持通过预定义的方式告知用户任务失败。用户可以按照自己定义的规则来配置告警规则。

解决方案数据集成(Data Integration)提供多种数据源之间进行不同数据同步场景的同步解决方案(DataX不支持),支持ETL,助力企业数据更高效、更便捷的一键上云一键实时同步至Elasticsearch将指定的整个数据库全部或者部分表一次性的全部同步至Elasticsearch,并且支持后续的实时增量同步模式,将新增数据持续同步至Elasticsearch。一键实时同步至MaxCompute可以将指定数据源中的数据,通过简单的配置,一次性的实时同步到MaxCompute中,支持整库内批量多表同步,同时也支持全增量一体化同步,先全量数据迁移,然后实时增量保持更新;支持自动建立实时后merge任务。一键实时同步至Hologres可以将指定数据源中的数据,通过简单的配置,一次性的实时同步到Hologres中,支持整库内批量多表同步,同时也支持全增量一体化同步,先全量数据迁移,然后实时增量保持更新。

整库迁移整库迁移是数据集成(Data Integration)提供的一种批量创建同步任务的快捷工具,可以快速完成把一个Mysql DB 库内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间MySQL整库迁移快速把MySQL数据库内所有表一并上传至MaxCompute,极大减少您初始化上云的配置、迁移成本。查看详情Oracle整库迁移快速把Oracle数据库内所有表一并上传至MaxCompute,极大减少您初始化上云的配置、迁移成本。查看详情其他类型整库迁移支持PostgreSQL、SQL Server、DRDS、PolarDB、AnalyticDB for PostgreSQL、HybridDB for MySQL、AnalyticDB for MySQL 3.0和DM类型的数据源整库迁移至MaxCompute。

企业上云,是一个近年来比较热门的话题。云计算中的虚拟化技术带来“弹性、灵活、安全、低成本”的特性,使“上云是常态,不上云是例外”成为共识。

企业云计算的灵活性

“云”带给了更大的灵活性和移动性,使用云,可以让企业在一台机器上开始工作并且在另外一台机器上完成它。在实际的传统企业中,我们经常会遇到,公司的数据只能在公司获取,回到家以后,就链接不到公司的服务器。当然这其中有安全的因素在,从另一方面讲,传统的IT服务,的确存在它的不灵活弊端。

标签: #科技创新

郑重声明:图文由自媒体作者发布,我们尊重原作版权,但因数量庞大无法逐一核实,图片与文字所有方如有疑问可与我们联系,核实后我们将予以删除。

关于我们 版权申明 知科技数码百科全书 广州她氧信息科技有限公司版权所有 粤ICP备2023058637号