puedo quitar el apellido del padre a mi hijo si este tiene una condena penal de bastantes años?

Tengo un niño de cuatro años,su padre lleva muchos años en prision entra y sale como si se tratase de algo normal.y ahora hace poco mientras hacia disfrute de un permiso a vuelto a delinquir y le han caido bastantes años.el padre y su entorno no son el mas adecuado para mi niño.nunca se ha hecho cargo ni se a precupado y me hizo vivir junto a el un verdadero infierno,por eso queria saver si tengo derecho a quitarle el apellido a mi niño ya que esta persona pasara una larga temporada en prision y no creo que sea lo mas justo para el niño.muchas gracias