A mátrix közül csak a négyzetes mátrixok esetében beszélhetünk az inverzről. Egyelőre más típusúakra nem volt értelme bevezetni a fogalmat, mert hasznos jelentéssel nem bírt.

Az A_nxn mátrix inverze egy szintén nxn típusú mátrix lehet, amelyre igaz, hogy az A mátrixszal bármely oldalról összeszorozva az egységmátrixot adja.

Formálisan: A_{nxn *} A^-1_{nxn =} A^-1_{nxn *} A_nxn = E, ahol E az nxn-es egységmátrix.

Tehát azt mondhatjuk, hogy az 2x2-es mátrix inverze azért a mátrix, mert azokat egymással bármely oldalról összeszorozva az egységmátrixot kapjuk.

Azonnal sejtjük, hogy az egységmátrixnak önmaga lesz az inverze, hiszen E*E=E.

Példaként a fentiekben említett K titkosító mátrixnak az inverzét megelőlegezve ellenőrizzük le, hogy tényleg az!

és

Természetesen nem olyan egyszerű az inverz kiszámítása, mint az algebrában (mert amíg a 3^-1 pl. egy végső alakja a valós számnak, addig az A^-1 végső mátrixformája még ismeretlen az egyes elemek meghatározása nélkül).

A K titkosító mátrix inverzét keresve a definíció segítségével annyi biztosan állítható, hogy egy 2x2-es mátrixot keresünk, tehát egyelőre a 4 ismeretlent pontosan elhelyezve alakban, a definíciós összefüggés mátrixos egyenletté válik:

A mátrixokat összeszorozva a következő négy egyenletet kapjuk, ami valójában nem is egy négyismeretlenes, négy egyenletből álló egyenletrendszer, hanem két különálló, két egyenletből álló kétismeretlenes egyenletrendszer. Ez a megoldás menetét nagyban segíti, különösen azzal, hogy a két egyenletrendszerben ugyanazok az ismeretlenek együtthatói. Lássuk a jobb oldali egységmátrix elemeinek oszlop-folytonos sorrendben való meghatározását a bal oldali szorzatokkal:

Eddigi ismereteink szerint tetszőleges módon elvégezve az ismeretlenek kiküszöbölését mindkét egyenletrendszerben

,majd a 2-2 megoldást pontosan visszahelyezve az ismeretlenek mátrixába, megkapjuk a K inverzét: