九九在线免费视频_欧美黄免费自慰网站_九九爽综合成人VA免费在线_久久人妻少妇综合网_亚洲精品国产首页

您當前的位置: 首頁 >> 聚焦 >  >> 
快速上手kettle(三)壺中可以放些啥?|環(huán)球快資訊
來源:博客園      時間:2023-06-04 16:29:20
目錄序言一 、kettle這壺能裝些啥二、Access輸入2.1 準備Acess數(shù)據庫和表2.2 新建一個轉換并設置2.3 啟動轉換預覽數(shù)據三、CSV文件輸入3.1 準備csv文件,并將csv輸入控件拖入工作區(qū)3.2 csv輸入控件設置3.3 預覽csv文件內容四、文本文件輸入4.1 準備txt格式文本文件,并將控件拖入工作區(qū)4.2 文本輸入控件設置4.3 啟動步驟,瀏覽數(shù)據五、Excel輸入5.1 準備excel文件,并將控件拖入工作區(qū)5.2 Excel控件設置5.3 啟動轉換,預覽數(shù)據六 、json文件輸入6.1 json基本組成6.2 JSON Path6.3 實踐操作6.3.1 準備json文件,并將json input控件拖入工作區(qū)6.3.2 JSON 控件設置6.3.3 啟動轉換,預覽數(shù)據七、xml 輸入7.1 準備xml文件7.2 XPath7.3 實踐操作7.3.1 將xml輸入控件拖入工作區(qū)7.3.2 xml控件設置7.3.3 啟動轉換,預覽數(shù)據八、表輸入8.1 將表輸入控件拖入工作區(qū)8.2 表輸入控件設置8.3 啟動轉換,預覽表數(shù)據九、 生成記錄9.1 將生成記錄控件拖入工作區(qū)9.2 生成記錄控件設置9.3 啟動轉換,預覽數(shù)據十、小結序言

快速上手kettle開篇中,我們將kettle比作壺,并對這個壺做了簡單介紹。

而上一期中我們實現(xiàn)了①將csv文件通過kettle轉換成excel文件;


【資料圖】

②將excel文件通過kettle寫入到MySQL數(shù)據庫表中 這兩個案例。

相信大家跟我一樣,對kettle已經有了初步認識,并且對這強大的工具產生了興趣。

今天這小節(jié),我們來看看kettle 這“壺”里面到底能放些啥東西?

一 、kettle這壺能裝些啥

啟動kettle,在轉換-->輸入下面有很多東西,如下截圖。有圖可以看出這kettle“真能裝”。

可以把各種五花八門的數(shù)據丟到這壺里,kettle也是來者不拒。我們日常能用到的數(shù)據基本都能往里面塞。

--kettle能裝的東西--kettle能裝的東西

一眼望去,能看到不少“大熟人”,Access輸入、CSV文件輸入、Excel輸入、JSON輸入、XML輸入、文本文件輸入YAML輸入、表輸入等等

不知道你對上面提到的“大熟人”了不了解,其實不了解也沒關系。

在后面的模塊中,會把這些“大熟人”分別介紹給你。并且保證你過目不忘,再次遇到就能“稱兄道弟”

二、Access輸入

Access是微軟公司開發(fā)的一個數(shù)據庫管理軟件.它像個保險柜,可以幫你存儲和管理各種各樣的數(shù)據。

Access是我們平常會用到數(shù)據庫,接下來我們就新建一個Access數(shù)據庫為例,來簡單說一說怎么使用Access這個輸入控件

2.1 準備Acess數(shù)據庫和表
新建一個access數(shù)據庫,并建一個云襄傳的表,然后往里面添加一些數(shù)據
2.2 新建一個轉換并設置
--①將Access輸入控件拖入工作區(qū)--②選擇2.1新建的云襄傳.accdb
--③添加文件--④ 選擇數(shù)據庫中數(shù)據表
--④ 獲取字段--⑤ 預覽數(shù)據
2.3 啟動轉換預覽數(shù)據
--①啟動轉換--②預覽數(shù)據

注:啟動執(zhí)行轉換后,Preview date tab頁面如果加載出數(shù)據說明輸入控件配置是成功的

三、CSV文件輸入

CSV文件是一個用逗號分隔的固定格式的文本文件,這種文件后綴名為.csv,可以用Excel或者文本編輯器打開。

在日常工作中,我們經常會需要將CSV文件轉換為其他格式的數(shù)據

3.1 準備csv文件,并將csv輸入控件拖入工作區(qū)3.2 csv輸入控件設置3.3 預覽csv文件內容

可以在設置界面點擊【預覽】按鈕查看csv數(shù)據,也可以啟動步驟預覽數(shù)據、

-- 預覽按鈕預覽數(shù)據--啟動步驟預覽csv文件
四、文本文件輸入

我們經常需要將服務器上的日志文件(文本文件)數(shù)據或者其他文本數(shù)據提取出來,然后放到excel,這樣查看起來就很方便

4.1 準備txt格式文本文件,并將控件拖入工作區(qū)4.2 文本輸入控件設置
--①選擇txt文本文件--②預覽文件內容
--③設置分割符--④ 獲取字段
4.3 啟動步驟,瀏覽數(shù)據五、Excel輸入

excel 對于我們來說并不陌生,時我們平常接觸到最多的文件格式

5.1 準備excel文件,并將控件拖入工作區(qū)5.2 Excel控件設置
--① 選擇excel文件--② 獲取工作表名稱
-- ③ 獲取字段,并設置數(shù)據格式--④ 預覽數(shù)據
5.3 啟動轉換,預覽數(shù)據

上一步【預覽記錄】 如果有數(shù)據顯示出來,基本上excel設置時成功的了

當然我們可以啟動轉換,然后預覽excel文件中的數(shù)據

六 、json文件輸入

json 可以算是現(xiàn)在市面上用的比較多的數(shù)據結構了,是JavaScript對象,是一種輕量級的數(shù)據交換格式。

可以很方便的在不同語言之間傳遞

6.1 json基本組成對象:{ }數(shù)組:[ ]屬性:key:value6.2 JSON Path

JSON Path 用來定位json節(jié)點數(shù)據

Json Path 包含兩種寫法

點記法:$.store.book[0].title

括號記法:$ [ ‘ store ’ ] [ ‘ book ’ ] [ 0 ] [ ‘title’ ]

使用過程中一些常用符號含義

--符號--描述
$查詢根節(jié)點對象,用于表示一個json數(shù)據,可以數(shù)組或對象
@表示當前節(jié)點對象,類似于Java中的this對象
*可以表示一個數(shù)字或字符
""類似于遞歸搜索
.表示一個子節(jié)點
[""(,"")]表示一個或多個子節(jié)點
[(,)]表示一個或多個數(shù)組下標
[start:end]數(shù)組片段,區(qū)間為(start,end) 不包含end
[?()]過濾器表達式,結果為Boolean類型

上面說了一些常用符號的使用,我們就以實際的json為例,來看看json里的節(jié)點怎么取

{    "data":{        "longSeason":[            {   "actor":"范偉",                "role":"王響",                "sex":"男",                "age":56            },            {   "actor":"秦昊",                "role":"龔彪",                "sex":"男",                "age":40            },            {   "actor":"李庚希",                "role":"沈默",                "sex":"女",                "age":18            },            {   "actor":"陳明昊",                "role":"馬德勝",                "sex":"男",                "age":55            }        ],        "surname":[            {   "actor":"陳曉",                "role":"云襄",                "sex":"男",                "age":28            },            {   "actor":"毛曉彤",                "role":"舒亞男",                "sex":"女",                "age":18            },            {   "actor":"許齡月",                "role":"柯夢蘭",                "sex":"女",                "age":18            },            {               "actor":"劉冠麟",               "role":"金十兩",               "sex":"男",               "age":35            },            {   "actor":"唐曉天",                "role":"蘇鳴玉",                "sex":"男",                "age":25            }        ]    }}
--取出漫長季節(jié)中所有演員--結果
$.data.longSeason[*].actor["范偉","秦昊","李庚希","陳明昊"]
$..longSeason..actor["范偉","秦昊","李庚希","陳明昊"]
6.3 實踐操作6.3.1 準備json文件,并將json input控件拖入工作區(qū)6.3.2 JSON 控件設置
--① 選擇json文件并添加--② 選擇字段
-- ③ 查看表達式-- ④ 預覽節(jié)點數(shù)據
6.3.3 啟動轉換,預覽數(shù)據七、xml 輸入

xml是一種可擴展標記語言,XML 和上面說的json一樣用來傳輸和存儲數(shù)據

7.1 準備xml文件

我們后面的演示都用下面的xml為例子

            范偉        王響                56                秦昊        龔彪                40                李庚希        沈默                18                陳明昊        馬德勝                55                陳曉        云襄                28                毛曉彤        舒亞男                18                許齡月        柯夢蘭                18                劉冠麟        金十兩                35                唐曉天        蘇鳴玉                25    
7.2 XPath

在說json輸入控件中,我么介紹了JSON Path, 這里是xml輸入控件,也有類似XPath來定位xml中節(jié)點的位置

--表達式--描述
nodename選取此節(jié)點的所有節(jié)點
/從根節(jié)點選取
//從匹配選擇的當前節(jié)點選擇文檔中的節(jié)點,而不考慮他們的位置
.選取當前節(jié)點
..選取當前節(jié)點的父節(jié)點
@屬性
--取出漫長季節(jié)中所有演員--結果
/data/longSeason/actor["范偉","秦昊","李庚希","陳明昊"]
7.3 實踐操作7.3.1 將xml輸入控件拖入工作區(qū)7.3.2 xml控件設置
--① 選擇xml文件并添加-- ② 獲取xml文檔讀取路徑
-- ③ 獲取字段-- ④ 預覽
7.3.3 啟動轉換,預覽數(shù)據八、表輸入

由于涉及到數(shù)據庫表相關操作,所以我們新建轉換之后需要先建立DB連接。

建立DB連接的方式我們在上一小節(jié)小試牛刀中已經提過,這里就不展開了。我們還是以MySQL為例子來說表輸入。

8.1 將表輸入控件拖入工作區(qū)8.2 表輸入控件設置
-- ①獲取SQL查詢語句-- ② 點擊【預覽】按鈕預覽表數(shù)據
8.3 啟動轉換,預覽表數(shù)據九、 生成記錄

在日常工作中我們經常需要批量造一些測試數(shù)據,通過生成記錄這個輸入控件就可以完成。

9.1 將生成記錄控件拖入工作區(qū)9.2 生成記錄控件設置
-- ① 填寫需要數(shù)據的相關信息-- ② 預覽生成的數(shù)據
9.3 啟動轉換,預覽數(shù)據

到此,10條測試數(shù)據就造好了

十、小結

本篇文章我們主要是說了九個kettle的常用輸入控件(kettle壺里能放寫啥東西進去)。

kettle的輸入控件就代表著kettle能處理一些什么格式的數(shù)據,其實它還有其他輸入控件,這里就不一一例舉了。

大家如果感興趣,可以將輸入下面的每個控件都去試試。

本期內容到此就結束了,希望對你有所幫助。

這一期說了輸入控件,那下一期就到了輸出控件

我們下一期再見 (●"?"●)

標簽:

X 關閉

X 關閉