Il DataBase di Exchange Server 2003: fondamenti, storage design, amministrazione 25 novembre 2005 - 10:30 Alessandro Appiani MCT MCSE (2000 NT 4.0 NT 3.5)

Il DataBase di Exchange Server Il DataBase di Exchange Server 2003: fondamenti, storage 2003: fondamenti, storage design, amministrazionedesign, amministrazione

25 novembre 2005 - 10:3025 novembre 2005 - 10:30

Alessandro AppianiAlessandro AppianiMCT MCSE (2000 NT 4.0 NT 3.5)MCT MCSE (2000 NT 4.0 NT 3.5)

AgendaAgenda Exchange database technologyExchange database technology

The Jet database primerThe Jet database primer

Exchange Database conceptsExchange Database concepts Storage Groups / DatabaseStorage Groups / Database

Come conservare e recuperare i datiCome conservare e recuperare i dati itemitem mailboxmailbox

Backup & RestoreBackup & Restore Recovery Storage GroupRecovery Storage Group

come ripristinare singoli item o mailboxcome ripristinare singoli item o mailbox miglioramenti SP1miglioramenti SP1

Exchange Server 2003 Data storeExchange Server 2003 Data store

Exchange Server 2003: DB storage e Exchange Server 2003: DB storage e mailing di classe enterprise!mailing di classe enterprise!

In the beginning….In the beginning…. ...there was JET ...there was JET Exchange (4.0) nasce con un’architettura ed Exchange (4.0) nasce con un’architettura ed

un motore di database proprietarioun motore di database proprietario

Oggi la stessa tecnologia di database è Oggi la stessa tecnologia di database è utilizzata, oltre che da Exchange, anche utilizzata, oltre che da Exchange, anche per altri componenti infrastrutturali (WINS, per altri componenti infrastrutturali (WINS, DHCP, ...)DHCP, ...)

Il più importante di questi è Active Il più importante di questi è Active DirectoryDirectory

I vantaggi di un DBMSI vantaggi di un DBMS Strutturazione delle informazioni per una Strutturazione delle informazioni per una

loro migliore gestioneloro migliore gestione Ottimizzazione dello spazio (es: attach Ottimizzazione dello spazio (es: attach

link)link) Ottimizzazione delle prestazioniOttimizzazione delle prestazioni

query, search, indexing, ...query, search, indexing, ...

Transazionalità dell’I/O (logging)Transazionalità dell’I/O (logging) commit, rollbackcommit, rollback

Capacità di recovery delle attività fino al Capacità di recovery delle attività fino al momento precedente al “crash”momento precedente al “crash” non solo fino al backup precedentenon solo fino al backup precedente da configurare opportunamenteda configurare opportunamente

Cenni alla struttura interna del Cenni alla struttura interna del DBDB Tabelle memorizzate con la tecnica dei B-Tabelle memorizzate con la tecnica dei B-

treetree Strutture di Indici per velocizzare gli Strutture di Indici per velocizzare gli

accessiaccessi Una tabella è una collection di b-treesUna tabella è una collection di b-trees

Data treeData tree Long-value tree (per grandi blocchi di dati)Long-value tree (per grandi blocchi di dati) Index treesIndex trees

B-treesB-trees Consentono di ottimizzare i tempi di Consentono di ottimizzare i tempi di

accesso ai datiaccesso ai dati minimizzando il numero di I/O richieste per minimizzando il numero di I/O richieste per

leggere un recordleggere un record

I dati sono ordinati secondo delle chiavi I dati sono ordinati secondo delle chiavi definite dall’applicazionedefinite dall’applicazione

Ogni B-tree è costituito da piccole pagine Ogni B-tree è costituito da piccole pagine tutte uguali di 4K/8Ktutte uguali di 4K/8K 4K per Exchange4K per Exchange 8K per Active Directory8K per Active Directory

Le pagine vengono messe in cache per Le pagine vengono messe in cache per migliorare le prestazionimigliorare le prestazioni

Un esempio di b-treeUn esempio di b-tree

Dati memorizzati solo nelle foglie (leaf) dell’albero (records)Dati memorizzati solo nelle foglie (leaf) dell’albero (records)

Root PageRoot Page

InternalInternal

LeafLeaf

PagePagePagePagePointerPointer

RecordRecord

Exchange databaseExchange database

Globals tableGlobals table Mailboxes tableMailboxes table Folders tableFolders table Message tableMessage table Attachments tableAttachments table MessageFolder tablesMessageFolder tables Search tablesSearch tables ......

eseutil /mseseutil /ms

TransazioniTransazioni

Transaction è una Transaction è una unit of workunit of work atomica atomica sul DBsul DB

Tutte le operazioni che la compongono Tutte le operazioni che la compongono vengono svolte o non svolte vengono svolte o non svolte completamente (commit/rollback)completamente (commit/rollback)

Es: spostare un messaggio tra cartelleEs: spostare un messaggio tra cartelle Delete from source folderDelete from source folder Insert into new folderInsert into new folder Update folder sizesUpdate folder sizes

Anche in caso di crash la situazione deve Anche in caso di crash la situazione deve essere consistente (o è nella vecchia o è nella essere consistente (o è nella vecchia o è nella nuova)nuova)

E’ necessario “loggare” le E’ necessario “loggare” le transazioni (journaling)transazioni (journaling)

I guasti succedono I guasti succedono Power failuresPower failures Disk crashesDisk crashes System errorsSystem errors

E’ necessario mantenere comunque la E’ necessario mantenere comunque la consistenza del DBconsistenza del DB

Non devono esserci operazioni in Non devono esserci operazioni in sospeso (no partially committed sospeso (no partially committed transactions)transactions)

LogfilesLogfiles

Il log è suddiviso in tanti piccoli files Il log è suddiviso in tanti piccoli files chiamati ‘generations’chiamati ‘generations’

Generations sono denominate Generations sono denominate EENNXXXXXNNXXXXX.LOG.LOG NNNN è lo storage group è lo storage group XXXXXXXXXX è la generation (hexadecimal) è la generation (hexadecimal)

EENNNN.LOG è la generation più recente.LOG è la generation più recente EENNNNTMP.LOG è in fase di creazione di un TMP.LOG è in fase di creazione di un

nuovo logfilenuovo logfile RESRESNN.LOG servono a riservare spazio .LOG servono a riservare spazio

discodisco

Previous LogsPrevious LogsCurrent LogCurrent Log

E0000001.LOGE0000002.LOG

.

.

.

Sequenza dei Log FilesSequenza dei Log FilesIl log corrente viene ridenominato quando si riempie (5MB)Il log corrente viene ridenominato quando si riempie (5MB)

E0000003.LOGRenamedRenamedRenamedRenamed3 MB5 MB

New E00.log(5 MB)

Transaction Logging Transaction Logging (*.LOG)(*.LOG)

““Write-ahead” loggingWrite-ahead” logging le pagine modificate del DB database non vengono le pagine modificate del DB database non vengono

scritte immediatamente sul disco (cached version)scritte immediatamente sul disco (cached version) appendere dati ai logfile è veloce (più delle scritture appendere dati ai logfile è veloce (più delle scritture

sul DB)sul DB) il DB viene aggiornato ogni tanto (blocco di scritture il DB viene aggiornato ogni tanto (blocco di scritture

contemporanee/batch)contemporanee/batch) I Checkpoint file (*.chk) tengono traccia della I Checkpoint file (*.chk) tengono traccia della

posizione dell’ultima transazione scritta sul posizione dell’ultima transazione scritta sul databasedatabase

Un database è consistente quando tutte le sue Un database è consistente quando tutte le sue transazioni sono state completate e scrittetransazioni sono state completate e scritte

Circular logging – cancellazione automatica dei Circular logging – cancellazione automatica dei logfiles più vecchi del checkpointlogfiles più vecchi del checkpoint

Checkpoint FilesCheckpoint Files

E0000001.log

E00.chk

Transaction LogEntries Writtento the Database

Transaction LogEntries Not Yet Written to the

Database

Exchange Store & filesExchange Store & files

First Storage Group

Mailbox Store

Public Folder Store

Sales Storage Group

Mailbox Store

.stm .edb

Store

Storage GroupStorage Group

Insieme di database che condividono gli Insieme di database che condividono gli stessi log filesstessi log files

E’ una istanza separata del motore Jet E’ una istanza separata del motore Jet (gestito sempre dall’Information Store) (gestito sempre dall’Information Store)

4 Storage groups per Server 4 Storage groups per Server 5 Databases per Storage Group5 Databases per Storage Group 1 Storage Group di riserva specifico per i 1 Storage Group di riserva specifico per i

restore (1 per server)restore (1 per server)

Exchange DatabasesExchange Databases

*.EDB Files*.EDB Files Properties DatabaseProperties Database MAPI Messages and AttachmentsMAPI Messages and Attachments Headers for STM pagesHeaders for STM pages

*.STM Files*.STM Files Raw ‘streaming’ data (MIME, documents, Raw ‘streaming’ data (MIME, documents,

multimedia, etc)multimedia, etc)

Current database =Current database = EDB + STM + Unflushed Log entries EDB + STM + Unflushed Log entries

StoreStore

Il flusso dei dati nello storeIl flusso dei dati nello store

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI

SMTP/NNTP/SMTP/NNTP/HTTPHTTP


POP3/IMAP4/POP3/IMAP4/NNTP/HTTPNNTP/HTTP


Private or Public MDBPrivate or Public MDB

Property Store(EDB)

Streaming Store(STM)

Data

Submit

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data

Retrieve

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data

On-demand ConversionOn-demand Conversion

Retrieve

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data Data

Submit

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data DataData

PropertyPromotion

PropertyPromotion

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data Data Data

Retrieve

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data Data Data

View/Search

MAPIMAPIMAPIMAPI

MAPIMAPIMAPIMAPI





StoreStore


Property Store(EDB)


Data Data Data

On-demand ConversionOn-demand Conversion

Retrieve

File Location (un esempio)File Location (un esempio)System Partition andBoot PartitionSystem Partition andBoot Partition

Mirror Set

C:\

Storage Group 1Transaction LogsStorage Group 1Transaction Logs

Mirror Set

E:\

Storage Group 2Transaction LogsStorage Group 2Transaction Logs

Mirror Set

F:\

Page FilePage FileD:\

All Database Files For Both Storage GroupsAll Database Files For Both Storage Groups

Stripe Set with Parity

G:\

STORESTORE

LOGLOG

EDBEDBEDBEDB

STMSTMSTMSTM

LOGLOGLOGLOG

EDBEDBEDBEDB

STMSTMSTMSTM

ESE InstanceESE InstanceESE InstanceESE Instance

Storage Group 1Storage Group 1

LOGLOG

EDBEDBEDBEDB

STMSTMSTMSTM

LOGLOGLOGLOG

EDBEDBEDBEDB

STMSTMSTMSTM

ESE InstanceESE InstanceESE InstanceESE Instance

Storage Group 2Storage Group 2

EDBEDBEDBEDB

STMSTMSTMSTM

Putting it all togetherPutting it all together

Quindi, dove è la mia mail?Quindi, dove è la mia mail?

sicuramente nei log!sicuramente nei log! le transazioni più recenti possono non le transazioni più recenti possono non

essere ancora state scritte nel dbessere ancora state scritte nel db il database viene chiuso correttamente il database viene chiuso correttamente

(shutdown cleanly) se (shutdown cleanly) se tutte le transazioni sono completatetutte le transazioni sono completate tutte le modifiche sono state applicate al tutte le modifiche sono state applicate al

databasedatabase ESEUTIL /MH riporta lo stato del dbESEUTIL /MH riporta lo stato del db

db & filesdb & files locationlocation movemove

BackupBackup

E’ fondamentale farlo!E’ fondamentale farlo! Si fa online, nessun fermo dei serviziSi fa online, nessun fermo dei servizi Archivia ed elimina i logArchivia ed elimina i log Deve essere effettuato in accordo con Deve essere effettuato in accordo con

ESE (DB Engine)ESE (DB Engine) exchange backup agentexchange backup agent

Streaming Backup TypesStreaming Backup Types

FullFull(Normal)(Normal)

Copy/DailyCopy/Daily

IncrementalIncremental

DifferentialDifferential

OfflineOffline

XX

XX

XX

XX

XX

XX

XX

XX

Type Copies DB Copy Logs Truncates LogsType Copies DB Copy Logs Truncates Logs

XX

XX

Avoid if at Avoid if at all possible all possible

Streaming BackupStreaming BackupProcess flowProcess flow

Backup APIs CalledBackup APIs CalledBackup APIs CalledBackup APIs Called ESE Backup ModeESE Backup ModeESE Backup ModeESE Backup Mode Begin BackupBegin Backup

•• Backup tells store Backup tells store backup will begin backup will begin• • Type of backupType of backup

• • Store informs ESEStore informs ESE and backup mode enteredand backup mode entered

• • Agent requests DB pagesAgent requests DB pages sequentiallysequentially• • Pages are check-summedPages are check-summed as readas read

End BackupEnd Backup

• • Page read completedPage read completed• • Logs copied to tapeLogs copied to tape• • Logs DeletedLogs Deleted• • Backup set closedBackup set closed

ESE Normal ModeESE Normal ModeESE Normal ModeESE Normal ModeBackup CompleteBackup CompleteBackup CompleteBackup Complete

Dismount DatabaseDismount DatabaseDismount DatabaseDismount Database ESE Restore ModeESE Restore ModeESE Restore ModeESE Restore Mode Begin RestoreBegin Restore

End RestoreEnd RestoreESE Normal ModeESE Normal ModeESE Normal ModeESE Normal ModeRestore CompleteRestore CompleteRestore CompleteRestore Complete

•• Backup Backup application or application or Administrator Administrator dismounts dismounts databasedatabase

• • Store informs ESE andStore informs ESE and restore mode enteredrestore mode entered• • Restore SG createdRestore SG created

• • Agent copies EDB/STMAgent copies EDB/STM from Tape to DB path from Tape to DB path• • Log files from backup Log files from backup set are copied set are copied To temp restore locationTo temp restore location

• • Logs are processedLogs are processed By ESE restore instanceBy ESE restore instance• • Current logs processedCurrent logs processed By ESE restore instanceBy ESE restore instance• • Cleanup/Restore SG killedCleanup/Restore SG killed

•• DB is mounted by SGDB is mounted by SG• • Data deleted from Data deleted from temporary directory temporary directory

Streaming RestoreStreaming RestoreProcess FlowProcess Flow

streaming backupstreaming backup streaming restorestreaming restore

RestoreRestore

Può essere un’attività “pesante” Può essere un’attività “pesante” (soprattutto per le versioni precedenti di (soprattutto per le versioni precedenti di exchange)exchange)

Il restore “classico” sovrascrive il Il restore “classico” sovrascrive il database inlinea con il backup (i dati database inlinea con il backup (i dati attuali potrebbero vengono sovrascritti!)attuali potrebbero vengono sovrascritti!)

Come evitarlo se possibile?Come evitarlo se possibile?

Exchange ha un insieme di funzionalità Exchange ha un insieme di funzionalità per cercare di minimizzare la necessità per cercare di minimizzare la necessità del restore di tutto il database del restore di tutto il database

Proteggere i dati sul serverProteggere i dati sul server

Item & Mailbox retentionItem & Mailbox retention Garantirsi di avere almeno un BackupGarantirsi di avere almeno un Backup Come ricoverare dati cancellatiCome ricoverare dati cancellati

itemitem mailboxmailbox

Le funzionalità client di Outlook & Le funzionalità client di Outlook & Outlook Web AccessOutlook Web Access

Retention policyRetention policy Item recovery (+ Dumpster)Item recovery (+ Dumpster) Mailbox Recovery CenterMailbox Recovery Center

Ma se non basta?Ma se non basta?

Ci sono situazioni in cui devo comunque Ci sono situazioni in cui devo comunque riprendere i backupriprendere i backup

l’utente si accorge tardi dei problemil’utente si accorge tardi dei problemi l’amministratore vuole riprendere una l’amministratore vuole riprendere una

mailboxmailbox ...... come fare un restore del database?come fare un restore del database?

Un problema “storico” …Un problema “storico” …

Perdita di tutto il databasePerdita di tutto il database In place recovery del/dei databaseIn place recovery del/dei database

Può richiedere molto tempo (nastri)Può richiedere molto tempo (nastri) Gli utenti non lavorano (db offline/unmounted)! Gli utenti non lavorano (db offline/unmounted)!

Perdita di un Item o MailboxPerdita di un Item o Mailbox Single Item/mailbox RestoreSingle Item/mailbox Restore Richiede una forest separata ed un server Richiede una forest separata ed un server

indipendente per il restore offline altrimenti si indipendente per il restore offline altrimenti si sovrascrivono anche i contenuti più sovrascrivono anche i contenuti più aggiornati (es: altre mailbox, item recenti, ...)aggiornati (es: altre mailbox, item recenti, ...)

La soluzione di Exchange 2003: La soluzione di Exchange 2003: Recovery Storage GroupRecovery Storage Group Storage group “di riserva” disponibile e Storage group “di riserva” disponibile e

specifico per il restorespecifico per il restore Pensato per ottenere gli stessi benefici Pensato per ottenere gli stessi benefici

del server di recovery...senza dover del server di recovery...senza dover dedicare il server di recovery!dedicare il server di recovery!

Può consentire di rendere operativi gli Può consentire di rendere operativi gli utenti da subito minimizzando i tempi di utenti da subito minimizzando i tempi di fermo per il restore (dialtone operation)fermo per il restore (dialtone operation)

Recovery Storage GroupRecovery Storage GroupCome funzionaCome funziona

Non è usabile per le attività di produzione Non è usabile per le attività di produzione (hosting mailbox & c.)(hosting mailbox & c.)

I client non si possono connettereI client non si possono connettere Le mailboxes non sono collegate agli Le mailboxes non sono collegate agli

user object in ADuser object in AD System & mailbox management policies System & mailbox management policies

non si applicanonon si applicano Online maintenance non viene eseguitaOnline maintenance non viene eseguita I database non vengono montati I database non vengono montati

automaticamenteautomaticamente

Come si usa…Come si usa… Si crea il RSG e si associa un DB da Si crea il RSG e si associa un DB da

restorarerestorare Via Exchange AdminVia Exchange Admin Consente di associare solo un db valido Consente di associare solo un db valido

(mbx)(mbx) Si avvia il backup e si ripristina Si avvia il backup e si ripristina

“normalmente” il database“normalmente” il database Finchè il RSG esiste, Exchange ridirige il Finchè il RSG esiste, Exchange ridirige il

restore nel RSG, il database online NON restore nel RSG, il database online NON VIENE TOCCATO (lo conferma il VIENE TOCCATO (lo conferma il mantenimento del flag “don’t override”)mantenimento del flag “don’t override”)

si rimette online la singola mailbox senza si rimette online la singola mailbox senza accedere al contenuto accedere al contenuto direttamente direttamente integrato in ESM (sp1 e successivi)integrato in ESM (sp1 e successivi)

Recovery Storage GroupRecovery Storage Group Recover Mailbox Data ToolRecover Mailbox Data Tool

Best PracticesBest Practices

Proteggere i database con RAID-5 o Proteggere i database con RAID-5 o RAID0+1 o RAID 10RAID0+1 o RAID 10

Proteggere i log con mirroring e volumi Proteggere i log con mirroring e volumi separati dai datiseparati dai dati

Attivare le funzionalità di retentionAttivare le funzionalità di retention Tenere spazio libero sui dischi (almeno Tenere spazio libero sui dischi (almeno

50%)50%)

Mai!Mai! usare il circular logging per mailbox usare il circular logging per mailbox storage groupsstorage groups

White PaperWhite Paper

Using Exchange Server 2003 Recovery Using Exchange Server 2003 Recovery Storage GroupsStorage Groupshttp://www.microsoft.com/technet/prodthttp://www.microsoft.com/technet/prodtechnol/exchange/2003/RMD.mspxechnol/exchange/2003/RMD.mspx

Exchange Server 2003 SP1 Recover Exchange Server 2003 SP1 Recover Mailbox Data FeatureMailbox Data Featurehttp://www.microsoft.com/technet/prodthttp://www.microsoft.com/technet/prodtechnol/exchange/2003/RMD.mspxechnol/exchange/2003/RMD.mspx

Support KBSupport KB

How to Use Recovery Storage Groups in How to Use Recovery Storage Groups in Exchange Server 2003Exchange Server 2003http://support.microsoft.com/default.aspx?http://support.microsoft.com/default.aspx?scid=kb;EN-US;824126scid=kb;EN-US;824126

HOW TO: Recover or Restore a Single Mailbox in HOW TO: Recover or Restore a Single Mailbox in Exchange Server 2003Exchange Server 2003http://support.microsoft.com/default.aspx?http://support.microsoft.com/default.aspx?scid=kb;EN-US;823176scid=kb;EN-US;823176

Deleted items are not available after you use Deleted items are not available after you use "Recover Deleted Items" in Outlook 2003 "Recover Deleted Items" in Outlook 2003 http://support.microsoft.com/default.aspx?http://support.microsoft.com/default.aspx?scid=kb;EN-US;886205 (Dumpster)scid=kb;EN-US;886205 (Dumpster)

Riferimenti e risorse (Exchange)Riferimenti e risorse (Exchange)Exchange HomeExchange Homehttp://www.microsoft.com/exchange http://www.microsoft.com/exchange

Exchange Italy HomeExchange Italy Homehttp://www.microsoft.com/italy/exchange http://www.microsoft.com/italy/exchange

Exchange Server TechCenterExchange Server TechCenterhttp://www.microsoft.com/technet/prodtechnol/exchange/default.mspxhttp://www.microsoft.com/technet/prodtechnol/exchange/default.mspx

Exchange Server 2003 Technical Documentation LibraryExchange Server 2003 Technical Documentation Libraryhttp://www.microsoft.com/technet/prodtechnol/exchange/2003/library/default.mspxhttp://www.microsoft.com/technet/prodtechnol/exchange/2003/library/default.mspx

Exchange Developer Documentation on MSDNExchange Developer Documentation on MSDNhttp://msdn.microsoft.com/exchangehttp://msdn.microsoft.com/exchange

Exchange Server 2003 Errors and Events Web SiteExchange Server 2003 Errors and Events Web Sitehttp://www.microsoft.com/technet/support/ee/search.aspx?http://www.microsoft.com/technet/support/ee/search.aspx?LCID=1033&DisplayName=Exchange%20Server%202003&ProdName=MicrosoftLCID=1033&DisplayName=Exchange%20Server%202003&ProdName=Microsoft%20Exchange&MajorMinor=6.5%20Exchange&MajorMinor=6.5

Exchange Support CenterExchange Support Centerhttp://support.microsoft.com/default.aspx?scid=fh;EN-US;exchangehttp://support.microsoft.com/default.aspx?scid=fh;EN-US;exchange

Exchange DownloadsExchange Downloadshttp://www.microsoft.com/exchange/downloads/http://www.microsoft.com/exchange/downloads/

Exchange Server Community CenterExchange Server Community Centerhttp://www.microsoft.com/Exchange/community/default.mspxhttp://www.microsoft.com/Exchange/community/default.mspx

http://www.microsoft.com/technet/prodtechnol/exchange/default.mspx

http://www.microsoft.com/technet/prodtechnol/exchange/2003/library/default.mspx

http://msdn.microsoft.com/exchange

Domande?Domande?

Feedback

https://msevents-eu.microsoft.com/cui/WelcomePage.aspx?EventID=118764272&culture=it-IT

Live Meeting Web

Changes directly made to this slide will not be displayed in Live Meeting. Edit this slide by selecting Properties in the Live Meeting Presentation menu.

© 2004 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Documents

Il DataBase di Exchange Server 2003: fondamenti, storage design, amministrazione 25 novembre 2005 - 10:30 Alessandro Appiani MCT MCSE (2000 NT 4.0 NT 3.5)