《SQL Server Integration Services 架构概观.ppt》由会员分享，可在线阅读，更多相关《SQL Server Integration Services 架构概观.ppt（24页珍藏版）》请在三一办公上搜索。
1、SQL Server Integration Services 架構概觀,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,SQL Server Integration Services 是什麼？,全新的 SQL Server 商業智慧應用程式Data Transformation Services 的接續版本高效能的資料整合平台全新用.NET 撰寫的架構，更豐富的功能完善的資料檢視、單步除錯與錯誤處理透過 pipeline 可以更豐富地加值資料，且全部在記憶體內完成，不需要中介資料表
2、以封裝(Package)為執行單位，而非專案(Project),SSIS 與 DTS 的差異概觀,將資料流程與工作流程分開以更豐富，更細緻的資料流程工作(Data Flow Task)取代 DTS 的資料轉換工作以容器工作提供迴圈、執行順序與交易管理以變數搭配 SSIS Expression 取代 DTS 的動態屬性工作封裝改以 XML 的格式存放在 SQL Server 或檔案系統上，更方便做 Source Control可以透過 DTS Migration Wizard 將舊的封裝轉換到新的 SSIS,SSIS 架構,SSIS 物件核心，提供原生及.NET 的程式存取介面，可與 SSIS
3、所附的工具程式或自行開發的程式溝通。執行封裝、容器、工作。提供執行記錄、設定中斷點、可彈性設定、管理連線、交易、事件處理,資料流程引擎，將資料從來源提取出來，經過各種工作完成轉換，再放入到目的。在流程中，你也可以加入自製的元件。,內含其他物件、如 Task、Container 等，提供群組物件、執行單元、迴圈、交易管理等服務,在 For Each Loop Container 可以透過不同的 enumerator 來取得各種集合內的物件，也可以自行撰寫 enumerator 類別設計時管理各連線屬性，執行時實際建立出連線。SSIS 支援多種 Connection Manager 型態，如 AD
4、O、ADO.NET、Excel、File、OLE DB各種可執行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應這些事件的發生,透過既有的工具，如設計環境、精靈、命令列工具或是自行開發的應用程式，經由標準的程式介面可以控制 SSIS 引擎,封裝、Container 以及 Task 都可以輸出執行過程紀錄，經由多種紀錄提供者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案等等，可以記錄到不同的地方，你可以此監控、除錯各種資料來源，可以提供資料給 SSIS,Windows 服務程式。用來管理封裝儲存、遠端啟動執行與呈現當下執行
5、的封裝。,提供新的資料倉儲處理架構(1/2),在以往的運作模式下，資料整合的流程大多只做簡單的轉換與載入的工作在資料庫伺服器內執行彙總、排序等其他工作在做上述的整理資料動作的同時會與一般使用者查詢搶資源，互相耗損系統效能這種解決方案無法完成大規模、多重且複雜的彙總,傳統的資料倉儲載入資料方式,提供新的資料倉儲處理架構(2/2),現在，透過 SQL Server Integration Services 可以同時完成整合、彙總、排序等諸多資料處理動作，然後再載入到資料庫讓資料庫伺服器可以專注在回答使用者的查詢透過 64 位元版本的引擎，可以讓此方案處理大規模資料量且複雜的彙總運算,透過 SQL
6、Server Integration Services 載入資料到資料倉儲,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,SSIS 管線(Plumbing),工作流程,流程導向前置條件(成功，失敗，或完成)前置條件可以做 AND 和 OR 等布林運算從環境輸入參數File System Task、Execute SQL Task、Send Mail Task、Data Flow Task,Demo 工作流程,資料流程,特殊的工作流程：Data Flow Task資料處理導向，在記憶
7、體中，以管線流程的概念(pipeline)處理資料建立或使用資料紀錄可以觀察資料變化的過程Source Adapter、Transform、Destination Adapter,Demo 資料流程,事件處理流程,經由事件觸發的特殊流程(例如：OnError、OnPostExecute)階層的架構可以簡單地寄發一封 e-mail 或是複雜地執行另外一段 dataflow task 以處理錯誤的資料紀錄自訂的 components 從基礎類別自動繼承相關的事件(OnError,OnWarning)Component 的建立者可以自訂他的事件(例如：OnFTPFileFinishedCopy),D
8、emo 事件處理流程,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,變數,系統提供的變數：如 MachineName、StartName、ErrorDescription等等使用者自定變數，定義NamespaceScope資料型態初始值可以在工作、程式碼、資料轉換將產生的資料集將值、物件儲存在變數中,Demo 使用變數,封裝除錯,設計時期 若發生設定錯誤，自動提供錯誤提示 檢視 XML 原始碼(可提供搜尋，但不要編輯)監控執行 編輯中斷點 使用 Watch Window測試和除錯
9、停用/啟用某些工作 ForceExecutionResult 強制執行結果為：Success、Failure、Completion 會影響前置條件,交易管理,讓多個工作可以一起成功、失敗多個資料來源可以一致地修改資料連線到的資料來源需要支援分散式交易交易屬性設定在 Container 上Require、Supported、NotSupported透過不同 Container 對交易屬性的設定，可以建立參予一同執行的交易，或是分開不同的交易。,Demo SSIS 的交易管理,執行紀錄,支援多種記錄提供者文字檔、SQL Server Profiler、寫到 SQL Server 資料庫內 sysd
10、tslog90 資料表、Windows 事件、XML 檔案透過 LoggingMode 屬性，設定各工作是否可以獨立設定記錄的事件某些工作有特有的記錄事件如指令碼工作的 ScriptTaskLogEntry,Demo 設定封裝執行的紀錄,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝封裝設計的整體功能封裝的部署與執行,SSIS 生命週期相關的工具,設計 SSIS PackageBusiness Intelligence Studio(Visual Studio)為 SQL Server 2005 之前版本 packages 提
11、供的 Migration wizard整合版本控管(VSS)佈署/執行複製 packages 的佈署工具(dtutil.exe)命令列與使用者介面的執行工具(dtexec.exe 和 dtexecui.exe)彈性的設定選項支援工具豐富的 per-package Logging 透過 SQL Management Studio 監控正在執行的 packages 並組織管理 packages Checkpoint-Restartability,SSIS 相關工具,BI Studio,匯入/匯出精靈,佈署,安裝相關的檔案群組,Dtexec.exe,Dtexecui.exe,Dtutil.exe,執
12、行,檢視當下的執行狀況與匯入/匯出,佈署,管理,SSIS Security 概觀,Package 可以透過 Package Protection level property 屬性設定加解密(A)若存放在 MSDB，再透過 SQL Database roles 限制可以存取者的角色(B)透過作業系統設定對於目錄和 package 檔案設定存取權限利用程式碼簽署憑證替封裝簽章,對存放 Package 的 MSDB 具有Reader 和 Writer roles,作業系統 權限,SQL DB 角色,對於存放 Package 的檔案和目錄有存取權限,Package Protection Level
13、屬性,A,B,對具機密性的資料加密還是一般文字存放,Demo 設定 Package 加解密、簽章,SQL Management Studio,存取 SSIS service監控正在執行的 packages管理存放 package 的架構Ad hoc 執行 packageAgent Service 的作業步驟,Demo 以 SQL Management Studio 管理 SSIS,結論,大幅提升效率!相較 DTS 效率提升 600%雖然資料轉換的邏輯複雜，資料量龐大，依然可以有很好的效能，尤其在多顆 CPU 的機器上可以有效執行多執行緒的工作豐富的功能更多預建的資料存取介面、轉換功能以及輔助工作，可以大幅減少所需撰寫的程式可延升的物件模型，提供客製化的能力大幅提升生產力的設計環境，整合的除錯與部署與 BI 平台(IS-AS-RS)整合在一起,參考資源,
