A First Course in Linear Algebra

A First Course in Linear Algebra

byRobert A. Beezer

Department of Mathematics and Computer ScienceUniversity of Puget Sound

Waldron EditionVersion 2.00 Content

July 16, 2008

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has been on the facultysince 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science) from the University ofSanta Clara in 1978, a M.S. in Statistics from the University of Illinois at Urbana-Champaign in 1982 and a Ph.D.in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebraand abstract algebra regularly, while his research interests include the applications of linear algebra to graph theory.His professional website is at http://buzzard.ups.edu.

EditionWaldron Edition, July 16, 2008.Based on Version 2.00.

Front CoverThe Summer Chair c 2008 by David R.D. Beezer. GNU Free Documentation License.Gentium Font, SIL Open Font License.

Back CoverAuthor photo by Ross Mulhausen.Computer Modern Font, Public Domain.

PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USA

c 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Docu-mentation License, Version 1.2 or any later version published by the Free Software Foundation; with no InvariantSections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license is included in the appendix entitledGNU Free Documentation License.

The most recent version of this work can always be found at http://linear.ups.edu.

http://buzzard.ups.eduhttp://linear.ups.edu

To my wife, Pat.

Contents

Table of Contents vii

Contributors xv

Definitions xvii

Theorems xxi

Notation xxvii

Diagrams xxix

Examples xxxi

Preface xxxix

Acknowledgements xliii

Part C Core

Chapter SLE Systems of Linear Equations 3WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

LA Linear + Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . 13READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . . . . . . . . 23RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

vii

viii CONTENTS

HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

Chapter V Vectors 79VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 79VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 100READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . 127NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . 128READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

Chapter M Matrices 169

CONTENTS ix

MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 169VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . 195IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 219CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . . . . . . . . . . . . . . 221CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

Chapter VS Vector Spaces 261VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

x CONTENTS

TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 323READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329GT Goldilocks Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341

Chapter D Determinants 343DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343

EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . . . . . . . . 359DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . . . . . . . . 360READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

Chapter E Eigenvalues 367EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

CONTENTS xi

PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 376READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402FS Fibonacci Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

Chapter LT Linear Transformations 417LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . 425PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436

ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439EILT Examples of Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 439KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . . . . . . 446ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . 447CILT Composition of Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 447READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450

SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 453RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . 460SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . 462CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 462READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466

IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 476SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . . . . . . . . 479READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480

xii CONTENTS

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

Chapter R Representations 489VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489

CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . . . . . . . . . . . . . . 529CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535CELT Computing Eigenvectors of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 540READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549

OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . 554NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558

NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 565CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . 569

IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583

JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611

Appendix CN Computation Notes 613MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613

ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617

SAGE SAGE: Open Source Mathematics Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617R.SAGE Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617

CONTENTS xiii

ME.SAGE Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617MI.SAGE Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618TM.SAGE Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618E.SAGE Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618

Appendix P Preliminaries 621CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624

SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626

PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636

Appendix A Archetypes 639A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 689O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711

Appendix GFDL GNU Free Documentation License 715

xiv CONTENTS

1. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7152. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7163. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7164. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7175. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7186. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7187. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . . . . . . . . 7188. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7189. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71810. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . . . . . . . . 719

Index

Contributors

Beezer, David. Belarmine Preparatory School, TacomaBeezer, Robert. University of Puget Sound http://buzzard.ups.edu/Bucht, Sara. University of Puget SoundCanfield, Steve. University of Puget SoundHubert, Dupont. Creteil, FranceFellez, Sarah. University of Puget SoundFickenscher, Eric. University of Puget SoundJackson, Martin. University of Puget Sound http://www.math.ups.edu/martinjHamrick, Mark. St. Louis UniversityLinenthal, Jacob. University of Puget SoundMillion, Elizabeth. University of Puget SoundOsborne, Travis. University of Puget SoundRiegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) comPhelps, Douglas. University of Puget SoundShoemaker, Mark. University of Puget SoundZimmer, Andy. University of Puget Sound

xv

xvi CONTRIBUTORS

Definitions

Section WILASection SSLESLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Section RREFM Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24MRLS Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . 57NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Section VOVSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

xvii

xviii DEFINITIONS

Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 123LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Section MOVSM Vector Space of m n Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

Section MMMVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

Section FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278

Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

DEFINITIONS xix

Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347

Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402

Section LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

Section IVLTIDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489

Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501

xx DEFINITIONS

Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 529CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530

Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557

Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563

Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

Section JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598

Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624

Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627

Section PT

Theorems

Section WILASection SSLEEOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Section RREFREMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . 27REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Section TSSRCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . . . . . . . . . . . . . . . 52

Section HSEHSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . . . . . . . . . . . . . . . 59

Section NMNMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . . . . . . . . . . . . . . . 68NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 70NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

Section VOVSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Section LCSLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . 90VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Section SSSSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Section LILIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . 125LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . 127NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . . . . . . . . . . . . . . 128NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

xxi

xxii THEOREMS

Section LDSDLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

Section OCRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . 153IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Section MOVSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . 174CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Section MMSLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . 181EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . . . . . . . . . . . . . . . 187MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . 187MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . 188MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

Section MISLETTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 199MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

Section MINMNPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

THEOREMS xxiii

NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . . . . . . . . . . . . . . 212UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

Section CRSCSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 226BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Section FSPEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

Section VSZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

Section STSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Section LISSVRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

Section BSUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

Section DSSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320DCM Dimension of Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320DP Dimension of Pn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320DM Dimension of Mmn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

Section PDELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

xxiv THEOREMS

G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . 332DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337

Section DMEMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . . . . . . . . . . . . . . . 346DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

Section PDMDZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . . . . . . . . . . . . . . 357DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . . . . . . . . . . . . . . . 360SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

Section EEEMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . . . . . . . . . . . . . . . 374EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Section PEEEDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . . . . . . . . . . . . . . . 387SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . . . . . . . . . . . . . . . 391DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 393HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . 394

THEOREMS xxv

Section SDSER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 404DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406

Section LTLTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 424LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 425LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . . . . . . 430MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . . . . . . . . . . . . . . 431VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432CLTLT Composition of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . 432

Section ILTKLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 443KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . . . . . . . . 446ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . 447CILTI Composition of Injective Linear Transformations is Injective . . . . . . . . . . . . . . . . . . . 448

Section SLTRLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 457RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . 460RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . 462CSLTS Composition of Surjective Linear Transformations is Surjective . . . . . . . . . . . . . . . . . . 462

Section IVLTILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . . . . . . . . . . . . . . . 471IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 471ILTIS Invertible Linear Transformations are Injective and Surjective . . . . . . . . . . . . . . . . . . 472CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 474ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 474IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . 476ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 477RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

Section VRVRLT Vector Representation is a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 489VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493VRILT Vector Representation is an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . 493CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . 493IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 494CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495

Section MR

xxvi THEOREMS

FTMR Fundamental Theorem of Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 503MRSLT Matrix Representation of a Sum of Linear Transformations . . . . . . . . . . . . . . . . . . . . 506MRMLT Matrix Representation of a Multiple of a Linear Transformation . . . . . . . . . . . . . . . . . 506MRCLT Matrix Representation of a Composition of Linear Transformations . . . . . . . . . . . . . . . 507KNSI Kernel and Null Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510RCSI Range and Column Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512IMR Invertible Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514IMILT Invertible Matrices, Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . 516NME9 Nonsingular Matrix Equivalences, Round 9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517

Section CBCB Change-of-Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530ICBM Inverse of Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531MRCB Matrix Representation and Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535SCB Similarity and Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537EER Eigenvalues, Eigenvectors, Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539

Section ODPTMT Product of Triangular Matrices is Triangular . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553ITMT Inverse of a Triangular Matrix is Triangular . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554OBUTR Orthonormal Basis for Upper Triangular Representation . . . . . . . . . . . . . . . . . . . . . 556OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558OBNM Orthonormal Bases and Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560

Section NLTNJB Nilpotent Jordan Blocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565ENLT Eigenvalues of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 566DNLT Diagonalizable Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 566KPLT Kernels of Powers of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566KPNLT Kernels of Powers of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 567CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 569

Section ISEIS Eigenspaces are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578KPIS Kernels of Powers are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579GESIS Generalized Eigenspace is an Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 580GEK Generalized Eigenspace as a Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581RGEN Restriction to Generalized Eigenspace is Nilpotent . . . . . . . . . . . . . . . . . . . . . . . . . 588MRRGE Matrix Representation of a Restriction to a Generalized Eigenspace . . . . . . . . . . . . . . . 590

Section JCFGESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593DGES Dimension of Generalized Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598JCFLT Jordan Canonical Form for a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . 599CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

Section CNOPCNA Properties of Complex Number Arithmetic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622CCRA Complex Conjugation Respects Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623CCRM Complex Conjugation Respects Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 623CCT Complex Conjugation Twice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623

Section SETSection PT

Notation

M A: Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23MC [A]ij : Matrix Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23CV v: Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23CVC [v]i: Column Vector Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23ZCV 0: Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24MRLS LS(A, b): Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . . 25AM [A | b]: Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25RO Ri Rj , Ri, Ri +Rj : Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RREFA r, D, F : Reduced Row-Echelon Form Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 28NSM N (A): Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59IM Im: Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68VSCV Cm: Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79CVE u = v: Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80CVA u + v: Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80CVSM u: Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81SSV S: Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107CCCV u: Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153IP u, v: Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154NV v: Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156SUV ei: Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158VSM Mmn: Vector Space of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169ME A = B: Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169MA A+B: Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169MSM A: Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170ZM O: Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171TM At: Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172CCM A: Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173A A: Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175MVP Au: Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181MI A1: Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196CSM C(A): Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219RSM R(A): Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225LNS L(A): Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239D dim (V ): Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317NOM n (A): Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322ROM r (A): Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322DS V = U W : Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334ELEM Ei,j , Ei (), Ei,j (): Elementary Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344SM A (i|j): SubMatrix . . .