本篇文章1028字,读完约3分钟
阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过DataWorks将MaxCompute数据同步至Elasticsearch
操作流程步骤一:环境准备
创建DataWorks工作空间并开通MaxCompute服务、准备MaxCompute数据源、创建阿里云Elasticsearch实例。
步骤二:购买并创建独享资源组
购买并创建一个数据集成独享资源组,并为该资源组绑定专有网络和工作空间。独享资源组可以保障数据快速、稳定地传输。
步骤三:添加数据源
将MaxCompute和Elasticsearch数据源接入DataWorks的数据集成服务中。
步骤四:配置并运行数据同步任务
通过向导模式配置数据同步任务,将数据集成系统同步成功的数据存储到Elasticsearch中。将独享资源组作为一个可以执行任务的资源,注册到DataWorks的数据集成服务中。这个资源组将获取数据源的数据,并执行将数据写入Elasticsearch中的任务(该任务将由数据集成系统统一下发)。
步骤五:验证数据同步结果
在Kibana控制台中,查看同步成功的数据,并按条件查询数据。
步骤一:环境准备
创建DataWorks工作空间。创建时选择MaxCompute计算引擎服务。
具体操作,请参见创建MaxCompute项目。
创建MaxCompute表并导入测试数据。
具体操作,请参见创建表、导入数据。
步骤二:购买并创建独享资源组
登录DataWorks控制台。
选择相应地域后,在左侧导航栏,单击资源组列表。
购买独享数据集成资源。
具体操作,请参见新增和使用独享数据集成资源组。
创建一个独享数据集成资源。
具体操作,请参见新增和使用独享数据集成资源组。本文使用的配置如下,其中资源组类型选择独享数据集成资源组。
单击已创建的独享资源组右侧的网络设置,为该独享资源组绑定专有网络。
具体操作,请参见绑定专有网络。
独享资源部署在DataWorks托管的专有网络中。DataWorks需要与Elasticsearch实例的专有网络连通才能同步数据,因此在绑定专有网络时,需要选择Elasticsearch实例所在专有网络和交换机。
单击已创建的独享资源组右侧的修改归属工作空间,为该独享资源组绑定目标工作空间。
具体操作,请参见新增和使用独享数据集成资源组。