Mati Karelson on sündinud 27. detsembril 1948. aastal Tartus. 1964. aastal lõpetas ta Tartu 5. keskkooli legendaarse keemiaklassi. Edasiõppimisel olid kaalumisel nii keemia kui füüsika, kuid otsus langes siiski esimese kasuks ning 1972. aastal lõpetas ta Tartu ülikooli keemiaosakonna orgaanilise keemia erialal. 1975. aastal kaitses Mati Karelson kandidaaditöö teemal „Elektrostaatiliste mudelite kasutatavuse kontroll orgaanilises keemias“.
Pärast ülikooli lõpetamist töötas Mati Karelson aastatel 1972–1975 Tartu ülikooli orgaanilise keemia kateedris noorem- ja vanemteadurina, 1975–1992 keemilise kineetika ja katalüüsi labori vanemteaduri, sektorijuhataja ja juhatajana (alates 1988). Aastatel 1992–2004 oli ta Tartu ülikooli teoreetilise keemia korraline professor, 1999–2002 Tartu ülikooli tehnoloogiakeskuse direktor, 2004–2014 Tallinna tehnikaülikooli molekulaartehnoloogia professor. Ta on olnud külalisteadlaseks ja -professoriks USAs (Florida ülikool), Suurbritannias (Londoni ja Oxfordi ülikoolid), Saksamaal (Kieli ülikool, Max Plancki astrofüüsika instituut) ja mujal. Aastatel 2005–2021 oli Mati Karelson Tartu ülikooli molekulaartehnoloogia professor ning käesoleval ajal on ta emeriitprofessor ja keemia instituudi molekulaartehnoloogia õppetooli juhataja.
Eesti teaduste akadeemia liikmeks valiti Mati Karelson 2007. aastal loodusteaduste ja meditsiini alal.
Rahvusvaheliselt tunnustatud keemiateadlasena on Mati Karelson molekulaardisaini ja molekulaartehnoloogia suuna rajaja Eestis. Tema uurimisvaldkondadeks on kondenseeritud keskkondade kvantteooria, keemiliste ühendite reaktsioonivõime uurimine, kvantitatiivsed struktuur-aktiivsus/omadus sõltuvused, keemiliste ühendite tehnoloogiliste omaduste ja protsesside modelleerimine, heterotsükliliste ühendite keemia, tehisintellekt keemias, molekulaartehnoloogia ja biomeditsiiniline keemia. Ta on loonud molekulaardeskriptorite alusel töötavad arvutisüsteemid, mis võimaldavad ennustada keemiliste ühendite ja materjalide omadusi. Muuhulgas uurib ta võimalusi tarkvara abil kemikaalide mõju määramiseks, mis lubaks säästa katseloomade elu. Samuti on Mati Karelson olnud pioneeriks koostöö arendamisel Eesti ettevõtlusega.
Akadeemik Karelson olnud tegev mitmete nõukogude ja komisjonide esimehe ja liikmena. Nii oli ta aastatel 1996–2001 Euroopa teadus- ja tehnikaalase koostöö organisatsiooni juhtkomitee liige ning Eesti rahvuslik koordinaator, 1997–2002 Tartu Teaduspargi nõukogu esimees, 2005–2014 Eesti Vabariigi peaministri teadus- ja arendusnõunik, 2007–2012 Vabariigi presidendi mõttekoja liige.
Mati Karelsoni tööd on tunnustatud 2001. aastal teaduspreemiaga monograafia „Molekulaardeskriptorid kvantitatiivsetes struktuur-omadus sõltuvustes“ eest. 2006. aastal autasustati teda Eesti Vabariigi Valgetähe III klassi teenetemärgiga, 2008 pälvis ta Tartu aukodaniku nimetuse ning 2014 Eesti TA Wilhelm Ostwaldi medali. 2018. aastal autasustas Tartu ülikool Mati Karelsoni suure medali ja tänukirjaga ning 2020. aastal teenetemärgiga „100 semestrit Tartu Ülikoolis“.