云端数据库_虚拟_云主机和主机的区别

云虚拟主机 虚拟云 浏览

小编:"数据不是新的石油,而是新的核能。"—未知 社区成员好, 本博客的议程是演示SAP数据复制到Snowflake平台,以构建独立的数据仓库场景。今年快到年底了,我们面临着一个奇怪的流感

"数据不是新的石油,而是新的核能。"—未知

社区成员好,

本博客的议程是演示SAP数据复制到Snowflake平台,以构建独立的数据仓库场景。今年快到年底了,我们面临着一个奇怪的流感大流行时期,我现在坐下来写我的2020年最后一篇博客,它将指导您使用Azure服务处理SAP数据所需的资源,以便在Snowflake平台上构建一个强大的数据分析平台。众所周知,Santa Clause运行在SAP上,他的北极供应链数据每年都在增长,Elfs IT团队开始探索工业4.0、机器学习和无服务器服务的牵引,包括像雪花一样的高性能数据仓库、具有全自动化、零管理的Azure Synapse,再加上一个数据湖,这样他们就可以毫无困难地专注于增加SAP S/4HANA上的业务线(LoB)。

听起来很有趣……让我们继续滚动,看看下一步会发生什么!

来源:Gifer

据Gartner(我最喜欢的一个!),公共云服务市场继续增长,主要是由于现代应用程序和工作负载的数据需求。而数据是这一转变的主导因素之一。近年来,企业一直在努力处理大数据,云存储空间,大到足以压倒商用计算系统的数据集。(来源:Gartner news)

我们知道,所有的数据工程师和数据科学家都喜欢使用SQL来解决各种数据问题,它使他们能够完全掌控数据视图。要深入了解这些数据,您需要从各种来源提取数据并将其加载到数据仓库或数据湖中。为了连接或构建有时相当复杂的ETL/ELT数据管道,电信云数据库,企业更喜欢使用诸如Azure data Factory、Talend、Stitch、Qlik等现代工具……根据您的体系结构和数据需求,您可以为您的用例选择一个或多个ETL/ELT工具。我将利用我最喜欢的Azure服务—Azure Data Factory(ADF)—这是Microsoft完全管理的"无服务器数据集成工具"。

它允许开发人员构建称为管道的ETL/ELT数据流程,并使用大量预构建活动实现拖放功能。从prem文件系统和数据库(如Oracle、DB2和SQL Server)到应用程序(如Dynamics 365)以及Salesforce到云解决方案(如AWS S3、Azure data Lake Storage和Azure Synapse),您的数据源和目标有几十个本机连接器。当您的数据管道为分析工作提供动力时,它提供了最重要的价值。我们知道,没有数据,您就没有什么可加载到系统中,也没有什么可分析的。Azure数据工厂提供了90多个内置连接器,允许您轻松地与各种数据存储集成,而不考虑卷的种类,无论它们是在本地还是在云中。雪花连接器是最新的一个增加和可用的。我还在探索!

我们的目标是使用即插即用的Azure数据工厂将SAP数据批量或接近实时地加载到Snowflake上。

来源:Gifer

对于Snowflake的新手来说,它是一个基于云的数据仓库解决方案,提供给所有大型超标量软件,如Microsoft Azure、AWS和GCP。一旦您配置了帐户并使用Snowflake帐户创建了一些表,您就很可能需要将数据导入数据仓库。但有时,您还必须将数据从Snowflake导出到另一个源,例如为第三方提供数据。当你开通一个新的试用账户来探索和测试你的数据时,你总是可以从Snowflake那里获得30天的免费Tri

al和400美元的信用卡,这对任何想第一次探索的人来说都是一个巨大的优势,就像我一样!

要了解ADF对SAP数据集成场景的总体支持,请参阅SAP data integration using Azure data Factory白皮书,其中详细介绍了每个SAP连接器、比较和指导。

SAP data To Snowflake Cloud data warehouse on Azure(SAP特定场景,我们将在本博客中探讨)

ERP/CRM订单处理和社交数据登录到Azure上Snowflake的示例,带有集成仪表板,可利用

所有结构化/非结构化数据流到Azure上的Snowflake云数据仓库(端到端场景,第三方可供选择!)

对于此SAP到雪花集成场景,云服务器共享,使用以下Azure服务:Azure Blob存储、Azure数据工厂(链接服务、数据集和数据流)和Azure云上的雪花帐户

让我们按顺序列出先决条件:

访问SAP应用表(ECC、s/4HANA、Netweaver)。最低SAP(基础701或以上)运行blob存储和Azure数据工厂访问的Azure订阅AccountAdmin的雪花订阅(新帐户不含信用卡,可获得400美元的信用卡)具有管理员访问权限的Windows远程桌面(这是可选的,我用的是笔记本电脑!)SAP网站上的64位SAP Connector for Microsoft.NET 3.0

SAP表应根据运行此方案的先决条件提供。现在,在运行我们的主要步骤之前,快速检查一下SAP表计数和saps/4HANA的详细信息。表名:ZSAPSALESDATA,使用虚拟销售数据集手动创建100K记录。

1.登录Azure门户并打开Azure数据工厂,创建新管道

2。在"Pipelines"部分右键单击并创建,华北云服务器,提供名称:Copy_SAPTable2Blob of the pipeline,如下图所示。

3。在Datasets部分下创建一个新文件夹:SAP2csv2Snowflake,右键单击它,并创建一个新的dataset:Azure Blob Storage,如下面的屏幕截图所示。

4。它将出现在门户的右侧面板上供选择。选择Azure博客存储,然后选择数据集的CSV格式类型。

5。设置CSV文件"DelimitedText2sap"的属性名称,并通过单击+新建选项链接服务。

6。在Integration runtime setup下选择"Azure",然后单击Create。在本地计算机或远程桌面(从Azure门户网站)上安装.Net Connector for SAP需要此步骤

链接以下载完整说明–https://support.sap.com/en/product/connectors/msnet.html

7. 提供集成运行时名称等选项,云数据库选购,如下图

8所示。使用SAS URI身份验证方法连接Blob存储。(雪花需要此项)

9。已为CSV文件的Blob存储建立连接。

10。为SAP表连接创建新的SAP数据集

11。点击"+新建"链接连接,填写SAP登录详情,立即运行"测试连接"和与SAP应用程序建立的连接。

12。现在检查"test connection"和Table–"Preview data"以确保SAP连接和数据可见。

SAP Table–ZSAPSALESDATA包含初始运行的10万条记录,然后我们将触发100万条记录作为第二轮演示。

(Imp:始终使用SAP Table name大写,否则可能无法从SAP获取数据附录)

13。登录您的snowflake试用帐户,使用下面的SQL脚本创建SAP表结构。

检查成功创建的表结构。

当前网址:http://www.vmchk.com/experience/51939.html

 
你可能喜欢的: