Kettle

官网:https://haomo-tech.com

作者:毫末科技

邮箱:hxg@haomo-studio.com

微信二维码:

1 概述

1.1 技术描述

这是一个ETL平台。

涵盖了四个模块,如下:

  • Spoon:图形界面工具,快速设计和维护复杂的ETL工作流。
  • Kitchen:运行作业的命令行工具。kitchen用来执行作业
  • Pan:运行转换的命令行工具。pan用来执行转换
  • Carte:轻量级的Web服务器,用来远程执行转换或作业

小结:Spoon是kettle的集成开发环境,也就是说,在Spoon里面设计好作业或者转换。作业和转换可以在图形界面里执行,但是这只是在开发、测试和调试阶段。在开发完成后,需要部署到实际运行环境中,在部署阶段Spoon就很少用到了。

1.1.2 重要概念

  • 在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

1.2 技术发展历史

1.3 技术发展趋势

2 技术方案

2.1 方案1:xxxx

2.2 方案2:xxxx

2.3 方案3:xxxx

3 市场应用

3.1 xxx行业应用

3.2 xxx行业应用

3.3 xxx行业应用

4 产品方案对比

4.1 开源方案

4.1.1 开源方案xxx

网址:https://github.com/xxx

4.1.2 开源方案xxx

网址:https://github.com/xxx

4.2 商业方案

4.1.1 xxx商业项目

网址:http://xxx.com/

4.1.2 xxx商业项目

网址:http://xxx.com/

5 安装和使用

5.1 安装

5.2 使用

5.2.x 案例:Access导入到MySQL

任务描述:从Access中抽取数据,将数据插入到目标MySQL数据库中。

5.2.x.1 界面配置
  • 配置输入

  • 配置转换

  • 配置输出

5.2.x.2 执行

点击执行按钮,如下图所示

5.2.x.3 服务器端执行
  • Kitchen

./kitchen.sh -file=/data/jobname.kjb -level:Detailed >>/data/log.log

  • Pan
./pan.sh -file=/data/transformation.ktr -level:Detailed >> /data/t_log.log

给转换传入参数:

./pan.sh -file=/data/transformation.ktr -level:Detailed -param:arg1=/data

日志级别: Error: Only show errors Nothing: Don't show any output Minimal: Only use minimal logging Basic: This is the default basic logging level Detailed: Give detailed logging output Debug: For debugging purposes, very detailed output. Rowlevel: Logging at a row level, this can generate a lot of data.

参考:

6 参考资料

results matching ""

    No results matching ""