Em 1974 ele tocou na trilha sonora do filme "Nordeste: cordel,Repente e Canção; de Tânia Quaresma.Em 1975 ,pela Rozenblit ,juntamente com Lula Côrtes seu primeiro álbum;"Paêbirú"(que atualmente suas cópias tem alto valor de venda por ser considerado um disco raro).
Em 1977 pela CBS (atual Sony Music),lança seu primeiro disco solo.Em 1979 lança "A Peleja do Diabo com o Dono Do Céu",que além da faixa título destaca se também "Admirável Gado Novo" que 17 anos depois ,em 1996 voltou a ter notoriedade por ser tema do líder sem terra Regino(Jackson Antunes) em "O Rei Do Gado",de Benedito Ruy Barbosa.Em 1982 lança "Força Verde" ,que também se destaca "Eternas Ondas",gravada também por Raimundo Fagner.Em 1985 emplaca "Mistérios Da Meia Noite" que fez parte da trilha sonora de "Roque Santeiro".
Após queda na popularidade durante a segunda metade da década de 1980 ,em 1992 lança "Frevoador " de onde destacam a regravação de "Cidadão"(sucesso na década de 1970 de Zé Geraldo),e "Entre a Serpente E A Estrela " ,que entrou para a trilha sonora de "Pedra Sobre Pedra",e voltou a ser trilha em 2018 de " O Sétimo Guardião ",também de autoria de Aguinaldo Silva.A canção "Avôhai" ,que escreveu em homenagem ao seu avô ,38 anos depois ,em 2016 entra para o volume 1 da trilha sonora da novela global das 18 hs."Êta Mundo Bom".
Em 1996 além de um álbum solo pela BMG(pertencente atualmente a Sony Music) ,lança em parceria com Alceu Valença,Elba Ramalho e Geraldo Azevedo o álbum ao vivo "O Grande Encontro" .
Em 2001 lança um disco em tributo ao saudoso Raul Seixas.Em 2003 participa de um álbum dos meninos passarinhos Chitãozinho & Xororó na faixa "Sinônimos".Em 2014 ao lado de Fagner lança "Fagner & Zé Ramalho Ao Vivo".
No ano de 2008 a revista "Rolling Stone " promoveu uma lista de Cem Maiores Artistas Da Música Brasileira" ,onde Zé Ramalho apareceu na 41ª posição.
