咨询热线：0851-85831618 13885157975
ETL工具具有以下优点：
l 简化了用户的操作，特别是源数据结构发生改变后只需在ETL做简单修改；
l 支持各种数据源，本次数据目录上传涉及从市场监管局Oracle数据库转换为MySQL数据库；
l 支持各种硬件和软件平台；
l 数据处理组件非常丰富，通用性更强，组件很容易复用；
l 提供灵活的定制规则，更好的控制数据质量。
Kettle概念
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle使用及组件介绍
Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以我们选择没有资源库；
1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr；
2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb；
| Main Tree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。 DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。 Steps：一个transformation中应用到的环节列表。 Hops：一个transformation中应用到的节点连接列表。 |
| Core Objects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 |
ž每一个环节可以通过鼠标拖动来将环节添加到主窗口中。
ž并可通过shift+鼠标拖动，实现环节之间的连接。
转换常用环节介绍
类别 | 环节名称 | 功能说明 |
Input | 文本文件输入 | 从本地文本文件输入数据 |
表输入 | 从数据库表中输入数据 | |
获取系统信息 | 读取系统信息输入数据 | |
Output | 文本文件输出 | 将处理结果输出到文本文件 |
表输出 | 将处理结果输出到数据库表 | |
插入/更新 | 根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断 | |
更新 | 根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止 | |
删除 | 根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止 | |
Lookup | 数据库查询 | 根据设定的查询条件，对目标表进行查询，返回需要的结果字段 |
流查询 | 将目标表读取到内存，通过查询条件对内存中数据集进行查询 | |
调用DB存储过程 | 调用数据库存储过程 | |
Transform | 字段选择 | 选择需要的字段，过滤掉不要的字段，也可做数据库字段对应 |
过滤记录 | 根据条件对记录进行分类 | |
排序记录 | 将数据根据某以条件，进行排序 | |
空操作 | 无操作 | |
增加常量 | 增加需要的常量字段 | |
Scripting | Modified Java Script Value | 扩展功能，编写JavaScript脚本，对数据进行相应处理 |
Mapping | 映射（子转换） | 数据映射 |
Job | Sat Variables | 设置环境变量 |
Get Variables | 获取环境变量 |
| Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。 DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。 Job entries：一个Job中引用的环节列表 |
| Job entries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动，实现环节之间的连接。 |
常用环节介绍
类别 | 环节名称 | 功能说明 |
Job entries | START | 开始 |
DUMMY | 结束 | |
Transformation | 引用Transformation流程 | |
Job | 引用Job流程 | |
Shell | 调用Shell脚本 | |
SQL | 执行sql语句 | |
FTP | 通过FTP下载 | |
Table exists | 检查目标表是否存在，返回布尔值 | |
File exists | 检查文件是否存在，返回布尔值 | |
Javascript | 执行JavaScript脚本 | |
Create file | 创建文件 | |
Delete file | 删除文件 | |
Wait for file | 等待文件，文件出现后继续下一个环节 | |
File Compare | 文件比较，返回布尔值 | |
Wait for | 等待时间，设定一段时间，kettle流程处于等待状态 | |
Zip file | 压缩文件为ZIP包 |
贵公网安备52010302000315
![]SN4DYWPB)V6N_}JM3OW_@4.png](/jflyfox/pfly/ueditor/image/20200715/20200715_163622_596954.png "20200715_163622_596954.png")
