Data Spider 介绍

作者:郑德鼎 约 6 分钟阅读 更新日期:2025-03-02 1 年前更新 标签:ABAP, CO, Cloud Architecture, Data Engineering, FI, Productivity, SD, WM, 云架构, 仓库管理, 开发, 数据工程, 生产力, 财务, 销售分销
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

**Date Spider介绍**

Data Spider ( 中文名数据蜘蛛)

是进行数据集成处理的中间件产品。通过更智能、更简便的方式,在企业内整合各类数据和应用,以做出更快、更明智的决策,并降低运营成本和复杂度。

Data Spider是进行数据集成处理的中间件产品,以 GUI

的形式进行数据连携。它将数据源、业务流程、应用连接、构件环境整合到一个平台中,并将整合的内容优化升级,在方便数据连携的同时大大提升了数据转换的效率。

Data Spider通过GUI完成应用及业务过程的集成,数据的输入、输出、转换及加工等均可通过图标的拖拉、连线完成。

Data Spider提供各式各样的适配器,如IBM Notes、云销售SFA“Salesforce”、SAP等应用、DB2等数据库,此外,Data

Spider和云服务高度兼容,可无缝连接Microsoft Azure、Amazon Web Services、kintone一类主流云服务产品。

Data Spider 的数据处理是它的亮点之一,除了正常的数据转换,格式转换等功能,Data

Spider还提供了数据计算、条件判断、数据合并、数据循环处理等方法。

Data Spider以流的形式处理数据,作为服务公开后可以通过触发器执行公开的服务。

Data Spider除了数据联动之外,还提供用户、组等开发支持功能,以及日志、调度任务相关的功能。

Data Spider

** 案例: **

功能需求:

从三个excel表格中抽取数据根据id连接,并在连接好的数据中提取指定字段保存到csv文件中,最后存放到指定文件夹。

表二和表三的数据一致,三个excel的内容如下:

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

实现步骤:

Create Project 创建新的项目,输入项目名点击next,再次输入脚本名称点击finish

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

右侧找到file目录下的excel工具文件夹,选择读Excel组件拖到画布上,选择需要读取的文件并且选取文件读取范围

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

同样的过程选择读取其他文件,并选取数据范围拖到画布上

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

第二个excel文件内容如下:

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

在右侧工具栏中选择join组件,选择两个读取的文件输入源

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

同样的步骤添加第三个excel读取组件,并添加第二个join,选择第一个join和第三个excel作为输入源。

第三个excel内容如下:

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

在右侧工具栏中找到Write CSV组件,选择写文件的路径,并填写输出的列名,拖到画布上

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

在第二个join和写csv文件中间添加mapping映射

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

双击进入mapping映射画面,将循环赋值组件替换成根据条件循环赋值组件

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

将contain组件拖到画布上,并且连线到条件赋值组件上,将条件设为,输入源的列1包含“1”时输出到csv文件

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

将流程线从start开始连接到end

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

点击调试或者执行

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

执行成功

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

写出的csv文件如图:

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

** 结语: **

DataSpider作为一个数据连携中间件,十分受日本公司的青睐,我本人也在学习过程中,如果对DataSpider有兴趣的同事可以跟我一起学习探讨。

Data Spider 介绍 - 封面图
Data Spider 介绍 - 封面图

作者|赵琦

审核|梁超

编辑|王锐

郑德鼎

关于作者:郑德鼎

企业信息化与 SAP 技术顾问,长期专注 SAP ABAP、FI/CO、MM、SD 等模块的技术分享与实战经验总结。查看更多介绍

来源说明:本文内容由「DataSpider介绍.md」整理生成,仅用于内部技术分享与学习交流。