Už jako dvanáctiletý střelil Shawn Corey Carter, jak zní rapperovou jméno, do ramene svého bratra, který kradl otcovy šperky.
Shawn navštěvoval střední školu Eli Whitney v Brooklynu. Poté, co byla škola zavřena, přešel na brooklynskou střední školu informačních technologií a pak další střední do New Jersey, kde se setkal například s rapperem Bustou Rhymesem. Carter ovšem neodmaturoval. Ve scých textech tvrdí, že ho totiž chytili, když prodával drogy.   
Jak tvrdí Carterova matka Gloria Carter, mladý Jay-Z (jmené vzniklo zkráceninou ze slova "Jazzy", jak na něj volali kluci ze sousedství) budíval své sourozence nočním bušením do stolu, když se snažil napodobit zvuk bicích. Matka se rozhodla jeho lásku k hudbě podpořit, k narozeninám proto Shawn dostal boom box. Začal s freestylem, psal texty a napodoboval muziku tehdy populárních umělců. V rappových battlech porazil Bustu Rhymese, ale prohrál například s rapperem Earlem Simmonsem aka DMX.

Nejúspěšnější rapper
Už jeho první sólový singl Ain`t No Nigga byl hlavně o penězích, které jsou na něm i dnes hodně vidět. Jay-Z prodal přes padesát milionů desek, byl výkonným ředitelem vydavatelství Def Jam, je také spoluvlastníkem basketbalového klubu a spoluzakladatelem značky oblečení Rocawear. Už jednou oznámil, že odchází do rapového důchodu, ale vrátil se a od MTV si vysloužil přívlastek nejlepší rapper všech dob, i když přesnější je spíše nejúspěšnější. Vysloužil si deset cen Grammy, jeho debutové album zařadil magazín Rolling Stone na 248. místo žebříčku nejlepších alb historie.

Jay-Z je od roku 2008 manželem zpěvačky Beyoncé.
V létě 2011 vydal spolu s Kanye Westem desku Watch the Throne.