Après cela, Bobby Rondinelli quitte le groupe à mi-tournée. Son remplaçant pour le restant de la tournée est, à la grande surprise de tous, le batteur originel de Black Sabbath, Bill Ward.
Mais, à la fin de la tournée, les routes de Ward et Butler se séparent à nouveau de celles de Iommi, Martin et Nicholls.
Une autre réunion se fait en 1995. Cette fois c'est le line-up de l'époque de "Tyr" qui se reforme, le batteur Cozy Powell et le bassiste Neil Murray rejoignent Iommi, Martin, et Nicholls pour enregistrer "Forbidden". L'album est produit par Ernie-C du groupe précurseur de nu metal, Body Count. À ce jour, "Forbidden" reste le dernier album studio complet de Black Sabbath toutes formations confondues.
Après l'enregistrement de l'album, Cozy Powell part à nouveau et il est remplacé, pour la tournée qui suit, par un revenant, Bobby Rondinelli.
En 1996, Castle Records (hors USA et Canada) remasterise et réédite l'intégralité du catalogue de Black Sabbath en CD jusqu'à "The Eternal Idol" de 1987, ainsi qu'une compilation des années 1988-1995 intitulée "The Sabbath Stones" pour terminer le contrat de Tony Iommi avec IRS Records.
En 1996, Ozzy Osbourne lançe la tournée de son Festival Metal à succès baptisé Ozzfest, qui est conçu au départ comme une soirée unique.
Durant la tournée de 1997, pour la dernière partie de chacune de ses performances sur scène, il est rejoint par Geezer Butler et Tony Iommi pour une compilation de quelques classiques du Sab (le batteur de Faith No More Mike Bordin assure les percussions).
Cependant, en Décembre 1997, le batteur originel Bill Ward rejoint Osbourne, Iommi, et Butler pour reformer officiellement le Black Sabbath des débuts de manière permanente, pour la première fois depuis 1979.
La reformation du groupe débouche sur la sortie de l'album "Reunion", un double album live de leurs concerts de fin 1997.
L'album inclut également les nouveaux morceaux "Selling My Soul" et "Psycho Man". Il s'agit des premiers morceaux originaux enregistrés en studio par Black Sabbath depuis 1995, et de leurs premiers avec cette formation depuis le départ d'Ozzy en 1979.
Depuis lors, le groupe sort diverses compilations, dont un coffret de huit cds appelé "Black Box : The Complete Original Black Sabbath (1970-1978)".
En 1998, Vinny Appice fait son retour après que Bill Ward ait été victime d'une crise cardiaque, peu de temps avant une tournée Européenne du groupe. Alors que Sabbath parcourt les États-Unis avec le reste de la tournée 1999 de la Ozzfest, Ward revient dans le groupe pour de bon. Ce line-up est resté inchangé depuis, partant occasionnellement en tournée.
Le groupe s'attaque à des sessions d'écriture en 2001, avec comme producteur le légendaire Rick Rubin.
Ils décident finalement que tout le travail accompli durant cette période n'a pas la qualité requise par rapport à l' 'héritage' de Sabbath, une décision qu'Ozzy défend plus fermement que n'importe quel autre membre du groupe.
Ils en jouent tout de même un morceau ("Scary Dreams") à l'occasion du Ozzfest 2001.
Le contrat personnel d'Ozzy freine la progression de l'album (Sabbath avait prévu une sortie fin 2001 mais Ozzy travaillait sur son disque à cette période, puis partit en tournée début 2002).
Sabbath reste donc inoccupé en 2002, car Ozzy doit travailler pour son émission de télévision 'The Osbournes' et mettre au point la programmation du Ozzfest 2002.
Sa carrière, comme cela avait été le cas avant la reformation du groupe, se déroule parallèlement à celle de Black Sabbath.
Sans aucune actualité aussi bien pendant la majeure partie de l'année 2002 que durant toute l'année 2003, le groupe fait son retour en 2004.
Le claviériste des sessions n'est autre qu'Adam Wakeman, le fils de Rick Wakeman.
Il avait déjà travaillé avec Ozzy et au grand désappointement de ses fans de la première heure, remplaça Geoff Nicholls.
Black Sabbath est programmé au Ozzfest 2004, puis au Ozzfest 2005. En novembre 2005, Black Sabbath se trouve intégré au Hall of Fame de la musique Britannique, et le groupe joue lors de la cérémonie de remise des prix.
Le même mois, on annonce également leur entrée dans le Rock and Roll Hall of Fame Américain pour le 13 mars 2006.
Cette fois-ci Sabbath ne joue rien, et c'est Metallica qui interpréte en leur hommage deux de leurs morceaux, "Hole in the Sky" et "Iron Man".
En septembre 2006, le webzine espagnol 'Rafabasa' signale que Iommi, Butler et Ward rejoindraient Ronnie James Dio pour une tournée des festivals d'été 2007 pendant le stand-by de Black Sabbath. Mais Ward décide par la suite de ne pas participer au projet, baptisé Heaven and Hell, et Vinny Appice reprend alors la place.
Un album live du groupe de 1981 sort à cette période également appelé "Black Sabbath - Live at Hammersmith Odeon".