Nacido en Jerez de la Frontera en 1955 es descendiente del mítico Paco la Luz y sobrino de El Sernita y El Sordera. Siendo niño fue cantor de la escolanía de la Basílica de la Merced, de ahí su nombre artístico.
Debutó con doce años en su tierra natal, actuando en los festivales Jueves Flamencos, organizados por el guitarrista Manuel Morao.
En 1970 es contratado para el tablao La Cueva del Pájaro Azul, de Cádiz, junto a Rancapino, Juanito Villar y Pepa de Utrera. Sus primeros años Al año siguiente se traslada a Madrid y realiza sus primeras grabaciones, ilustra una conferencia de Domingo Manfredi, en el Ateneo de Madrid, y entra a formar parte del Tablao Torres Bermejas, para pasar seguidamente a cantarle al Trío Madrid, formado por Mario Maya, El Güito y Carmen Mora, en sus actuaciones por diversos teatros de Madrid y provincia. Desde 1973 a 1983, pertenece a la compañía de Antonio Gades, con quien hace la película Bodas de Sangre y recorre, en varias ocasiones los escenarios de Europa y América. Tras algunas actuaciones con el Ballet Nacional, empiezan sus recitales en centros culturales, peñas flamencas y festivales, participando en los Cursos Internacionales de Arte Flamenco de la Cátedra de Flamencología y Estudios Folclóricos Andaluces, entidad que le otorga la Copa Jerez. En 1985 realiza una excelente campaña en los festivales andaluces y en 1986 obtiene en el Concurso Nacional de Arte Flamenco de Córdoba los premios La Serneta y Niña de los Peines, lo que supone su consagración y su presencia en los principales acontecimientos flamencos, entre ellos, su selección para el II Concurso El Giraldillo del Cante, de la IV Bienal de Arte Flamenco Ciudad de Sevilla, clasificandose en segundo lugar. Los 80 de Mercé Desde 1986 es figura del tabalo Café de Chinitas.
Dominador de una gran gama de estilos, sobre todo los de Jerez, Cádiz y los Puertos y de Alcalá.
Manuel Ríos Ruiz asegura que "estamos, por una parte, ante un artista que desde sus inicios vislumbraba su destino, y que pese a su juventud ha tenido ya una proyección brillante a la vez que difícil, a través de la cual fue forjandose profesionalmente para cuajar en un interprete con amplio y profundo conocimiento de su arte". En los últimos años, José Mercé se ha inclinado por un flamenco con más acompañamiento y sobre todo más alegre, destacando su gran éxito "Aire", el cual se ha convertido en un disco estrella desde que el cantaor lo sacó al mercado.
