Desenvolvendo Cargas Dinâmicas e Incrementais com SSIS

December 2015

Select Virtual Chapter Meetingsmore events and info at sqlpass.org/events

VIRTUAL CHAPTER MEETING TOPICGlobal Portuguese Dec 03 21:00-22:30 UTC-

02:00HDInsight!? Hadoop?! Hive?! Uma introdução do mundo Big Data para DBA’s presented by Bruno Feldman

Saturday Night SQL Dec 06 18:00-19:00 UTC-08:00

What’s new in SQL Server 2016 Integration Services presented by Jimmy Wong

Professional Development

Dec 07 14:00-15:00 UTC-05:00

PASS Speaker 2015 Speaker Idol – The Recap presented by Denny Cherry

DBA Fundamentals Dec 08 11:00-12:00 UTC-06:00

End to End TroubleShooting for SQL Server presented by Kevin Kline

High Availability & Disaster Recovery

Dec 08 12:00-13:00 UTC-06:00

Clusters! From the ground up, Let’s build one together presented by Paul Povovich Jr

DBA Fundamentals Dec 08 12:30-13:30 UTC+10:00

Index Fragmentation: Internals, Analysis and Solutions presented by Paul Randal

Data Architecture Dec 09 12:00-13:00 UTC-06:00

Server 2016: What’s New presented by Eric Petersen

Virtualization Dec 09 12:00-13:00 UTC-05:00

pNUMA & vNUMA with Shawn Meyers

Upcoming SQLSaturdaysNorth America International

• Dec 5 Washington DC• Dec 12 Providence• Jan 9 Atlanta BI

Edition• Jan 16 Nashville • Jan 30 Austin• Feb 6 Cleveland

• Dec 5 Lima• Dec 5 Southampton• Dec 5 Lviv• Dec 12 Santiago• Dec 12 Slovenia• Dec 12 Istanbul

Visit www.sqlsaturday.com to register for an event near you!

Join a Local Chapterhttp://sqlpass.org/PASSChapters/LocalChapters.aspx

Face-to-face networking In-person learning

Opportunities to present & share

No local group? Start one!

Contact ce@sqlpass.

org

Senior BI Analyst at Comp Line

BI and Database Consultant and Instructor - One Way Solution

Writer – SQL Magazine

OLAP and ETL Consultant and Instructor – BI do Brasil

Microsoft Certified Professional

Who am I?

Arthur Luz

Schedule

Extract, Transformation and Load – Introduce

Knowing the MS Integration Services Architecture of MS Integration Services Data Flow and SQL Execute Task Variables, Parameters and Expressions Foreach Loop Container Building Simple Load with SSIS Dynamic Load Process – Architecture and

Design Building the Incremental Load in SSIS Change Data Capture - Consuming Data

Extract, Transformation and Load – Introduce

O ETL visa trabalhar com toda a parte de extração de dados de fontes externas para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse.

Em tempo de criação e execução ele é divido em Extração, Transformação e Carga de dados.

Knowing the MS Integration Services

O Microsoft Integration Services é responsável por permitir a construção de cargas de integração de dados e ETL para Data Warehouse;

ProjectSolution

Package Control

FlowData Flow

Architecture of SSIS

Solution

Project 1

Project 2

Project 3

Recipiente Macro;

Dentro de uma Solução é possível

criar vários projetos da solução Microsoft – SSIS,

SSAS, SSRS;

Architecture of SSIS

Project

Package 1

Package 2

Connection 1

Recipiente onde se cria os pacotes de

ETL a seremdesenvolvido

s;Criação das

conexões globais;

Architecture of SSIS

Recipiente para desenvolvimento dos

Fluxos de controle e de dados.

Package

Control Flow

Architecture of SSIS

Control Flow Recipiente onde se

cria o fluxo de Dados;

Possibilidade de fazer algumas configurações.

Exemplo - Email

Container

Execute SQL

Send Mail

Data Flow

Architecture of SSIS

Data FlowTask usada para

trabalho a nível de Dados.

Inúmeras possibilidades;

Lookup

Merge Join

Sort

Merge

…

Architecture of SSIS

Destino 2

Destino 1

Condição

Mesclar

Origem 2

Origem 1

Task usada para trabalho a nível de Dados.

Arquivo txt

Destino 3

Data Flow Task

Usado para executar comandos em SQL padrão

ANSI e/ou T-SQL;

Execute SQL Task

Dentro da ferramenta do Integration Services é possível trabalhar com dois tipos de variáveis:

Variáveis de Usuário – Criadas dentro do Pacote pelo desenvolvedor.

Variáveis de Sistema – Guardam dados em tempo de execução do pacote.

DadosVariáve

l

Variables

Parâmetros são recipientes que recebem o valor corrente de uma determinada variável e aplica esse valor em uma determinada situação.

Dentro do SSIS um parâmetro é mapeado através do character ‘?’.

Parameters

VariávelParâmetr

o

Uma expressão é uma combinação de

símbolos (identificadores,

literais, funções e operadores) gera um único valor de dados.

Expressions

Funções MatemáticasFunções de StringFunções de Data e HoraFunções para tratamento de

NULLFunções para conversão de

tipo de dadosOperadores

Expressions – Function Types

Foreach Loop Container irá se repetir para cada elemento retornada de uma matriz.

Loop

Elemento 1Elemento 2Elemento 3

Foreach Loop Container

1. Diretório;2. Listagem Manual;3. Linhas retornadas de

um Objeto;4. Tabelas de banco de

dados5. Variável;6. XML;7. Objetos do Banco

(tabelas, views);

Foreach Loop Container - Types

Acha Parâmetros

Habilita a Trace Flag

610Desabilita a Trace Flag

610

Retorna Colunas

Carrega Tabela

Container

Dynamic Load process - Architecture and Design

Acha Parâmetros

Container

Habilita a Trace Flag 610 Return

Columns

Initial Load

Valida Tipo de Carga

Building a incremental load in SSIS

Desabilita a Trace

Flag 610Return Columns

Incremental Load

Change Data Capture – Consuming Data

O consumo de dados da feature Change

Data Capture é bem complexa se executada

de maneira padrão.

É possível realizar esse controle de carga

através do processo dinâmico e

incremental.

27

Volunteering Opportunities

PASS would not exist without its global network of passionate, dedicated, and

hardworking volunteers.

Volunteer today!

For local opportunities, please visit: volunteer.sqlpass.org

For PASS HQ related activities, please update the “MyVolunteering” section of your MyPASS

profile.

28

Want to Speak at Virtual PASS?

PASS would not exist without its global network of passionate, dedicated, and

hardworking volunteers.

E-mail us today! freccia@outlook.com

Stay Involved!• Sign up for a free membership today at sqlpass.org.

• Linked In: http://www.sqlpass.org/linkedin• Facebook: http://www.sqlpass.org/facebook• Twitter: @SQLPASS• PASS: http://www.sqlpass.org

Select Virtual Chapter Meetingsadditional events to fill in as the month progresses

VIRTUAL CHAPTER MEETING TOPICGlobal Portuguese Dec 10 21:00-22:30 UTC-

03:00A carreira do profissional de dados presented by Edvaldo Castro

Data Architecture Dec 16 12:00-13:00 UTC-06:00

Getting Started Reading Execution Plans Part 2 presented by Eric Peterson

Global Portuguese Dec 17 21:00-22:30 UTC-03:00

Desenvolvendo cargas dados Dinâmicas e Incrementais com o Integration Services

Email - arthurjosemberg@gmail.com

Linkedin – Arthur Luz

Twitter - @arthurjosemberg

Skype - arthurjosemberg

Blog – arthurluz.wordpress.com

Thank you, very Much!