Rothkrepf József német származású iskolai tanító gyermekeként 1804-ig szülővárosában és a közeli Tápiószecsőn nevelkedett, ekkor azonban apját a pesti magyar iskola tanítójává nevezték ki, így a család odaköltözött. 1812-ben Mátray Gábor már gyerekfejjel írt egy kísérőzenét a Csernyi György című színműhöz. Ezt a szakemberek a legrégibb, fennmaradt magyar daljátékkíséretként tartják számon.
1804-től (hosszú bécsi tartózkodástól eltekintve) haláláig Pesten élt, ott végezte alapfokú, gimnáziumi és egyetemi (jogi) tanulmányait, majd egész életében Pesten munkálkodott.

1814-ben tanítóként dolgozott, majd és 1830 között nevelő volt Prónay Simon bárónál és Széchenyi Lajos grófnál Bécsben. Ezután visszatért Pestre és itt telepedett le. 1828 és 1832 között írta A’ Musikának Közönséges Története című munkáját. Ez eredményezte 1833-ban, hogy az MTA levelező tagjává választották. 1833-ban megindította Regélő – Honművész címen az első magyar szépirodalmi folyóiratot, mely egyszerre két társlapot tartalmazott, s 1841-ig jelent meg. Ekkor Pesti Divatalap néven Vachott Sándor vette át.

1837-ben jegyzőként vett részt a neves könyvgyűjtő, Jankovich Miklós hatalmas gyűjteményének átvételében és feldolgozásában a Széchényi Könyvtár számára. Amikor a nemzeti színház 1837-ben megnyílt, a színházi megyei bizottság őt választotta meg igazgatónak, de csak rövid ideig maradt ebben az állásban. József nádor a nemzeti múzeum egyes gyűjteményeinek rendezésével őt bízta meg, majd 1846-ban a Széchényi Könyvtár őrévé nevezte ki, s e hivatalát közel 30 évig viselte.
Munkássága jelentős volt a zenetörténet terén is. Régi kódexekből ő betűzte ki legelőször Tinódi Sebestyén dalait s más régi magyar énekeket, melyeket 1860-ban a Magyar Tudományos Akadémia ki is adott. Ő rendezett hazánkban legelőször történeti hangversenyeket és ő adott ki először nagyobb magyar népdalgyűjteményeket is. Mint a Nemzeti Zenede igazgatója sokat tett a zenei szakképzés és műveltség fejlesztésének terén. Az 1850-es években az összes magyar dal kiadását tervezte magyar és német nyelven zongorakísérettel, de e vállalkozásból csak néhány füzet jelenhetett meg, pártolók és anyagi fedezet híján.
Mátray Gábor sírja Budapesten a Kerepesi temetőben van, 34/1-1-27. alatt.