Def Jam был основан Риком Рубином в его спальной комнате в Нью-Йоркском Университете и первый сингл, выпущенный им - это песня панк-рок группы Hose. Russell Simmons присоединился к Рубину Rubin сразу после того как они познакомились благодаря DJ Jazzy Jay. Первым синглом уже оффициально открытого лейбла стал T La Rock & Jazzy Jay "It's Yours". Следующими релизами от Def Jam Recordings стали LL Cool J's "I Need a Beat" и Beastie Boys', "Rock Hard" в 1984. Эти синглы продавались хорошо, что привело к сделке с CBS Records' (которая позже стала Sony Music Entertainment) и Columbia Records на год позже. Первым полнометражным альбомом, выпущенным в Def Jam Recordings стал LL Cool J - "Radio" в Ноябре 1985. Годами позже под управлением Def Jam был открыт лейбл, специализирующийся на R&B, OBR Records. Первым артистом этого лейбла стал Oran "Juice" Jones, который стал известным благодаря его хитовому синглу "The Rain". Потом Def Jam подписало трэш-метал группу Slayer и Ace Hood . Десятилетие близилось к концу и на лейбле появились Public Enemy, чья лирика спорного содержания подвергалась критике и презрению. Lyor Cohen стал президентом Def Jam в 1988, после победы в борьбе за власть с Рубином, который покинул компанию и открыл Def American Recordings (сейчас известно как American Recordings).

К 1992 году, несмотря на недавние мультиплатиновые релизы от LL Cool J, Public Enemy и EPMD, Def Jam столкнулся с серьезными финансовыми проблемами. Спасение пришло в 1994 году, когда PolyGram приобрел 50% акций Sony в Def Jam Recordings. После приобретения PolyGram'ом компании Def Jam, выходит альбом Warren G - Regulate... G Funk Era, который стал трижды платиновым и вернул лейбл к жизни.

В 1995 году PolyGram приобрел дополнительные 9,8% акций Def Jam Recordings, укреп за собой право собственности. Совсем скоро ветеран лейбла LL Cool J выпускает очень успешный альбом "Mr. Smith". Чуть позже на лейбл был подписан Jadakiss и Foxy Brown, чей дебютный альбом "III Na Na" стал мультиплатиновым в 1997 году.

В 1998 году PolyGram был куплен Сигрэмсом и был объединён с Universal Music Group. После поглощения Universal Music'ом PolyGram, к Def Jam Recordings начал проявлять большой интерес Расселл Симмонс. После Universal Music Group объединили Def Jam с Island Records и получилось Island Def Jam Music Group. Несмотря на формирование Island Def Jam Music Group, Def Jam и Island Records продолжали функционировать отдельно.

Lyor Cohen был назначен президентом IDJMG, а Kevin Liles его преемником на посту президента Def Jam. В 1999 году под управлением Def Jam был создан RnB лейбл под названием Def Soul Records, на который перешли многие городские артисты с Island Records: Dru Hill, Sisqo, The Isley Brothers и Kelly Price. Def Soul также записал Musiq, Montell Jordan, Case, 112,  Nas , Patti LaBelle, и Christina Milian.

Также в 1999 году, лейбл занялся дистрибьюторством лейбла Murder Inc. (сформированный Irv Gotti). На этом лейбле появятся такие известный артисты, как Ja Rule, Ashanti, Lloyd, Vita. Уже в 2000 под управлением Def Jam открыт еще один лейбл - Def Jam South, на который подписывали исполнителей южного рэпа: Ludacris, Chingy, Bobby Valentino, Trina, Rick Ross, Plies и других...

В 2000 году Lyor Cohen объявил об открытии Def Jam в Германии. Def Jam стал первым международным лейблом. Германский офис Def Jam расположился в Берлине 23 мая. Тут же на лейбл подписали немецких рэпперов Spezializtz и Philly MC. Такое расширение лейбла проходило по всему миру.

В 2002 году Def Soul был закрыт. В 2001 лейбл Murder Inc. был замечен в отмывании грязных денег от продажи наркотиков. В 2004 Def Jam купили лейбл Roc-A-Fella Records, где сразу же начал карьеру продюсера - рэпер Redman .

DMX помог компании достичь больших высот в 1998 и 1999 своими продажами в миллионы записей. Совсем скоро Cohen ушел с лейбла на Warner Music Group, и его заменил Arista LA Reid, который вскоре тоже ужел на Warner Music Group. Сразу началась война за контракт с Jay-Z и Reid  сделал Jay-Z президентом Def Jam.

Под руководством Jay-Z, Def Jam подписал несколько упешных Поп и RnB исполнителей - Ne-Yo и Rihanna. Контракт президента Def Jam не был продлен и Jay-Z ушел  с Def Jam, оставив за собой Roc-a-Fella. После отставки Jay-Z, место президента занял L.A. Reid.