Ayuda!!! No sé si alejar a mi hijo de su padre para siempre!

Lo resumiré lo mejor que pueda ya que mi mala experiencia con ese hombre es larga... Él siempre me engañó con algunas mujeres y después de 4 años de estar juntos me vengo a enterar, lo que si sabía desde que lo conocí es que tiene un hijo pero su relación no funcionó y se separaron (ahora entiendo bien el porqué, yo lo conocí 2 años después de su separación.
Ahora yo recién tuve un hijo con él pero por lo que me enteré que hizo ya terminamos y lo largué de mi vida; tenemos un bebé hermoso ya cumplió 2 meses y en lo que estoy preocupada es en su relación con nuestro hijo, la verdad me alegra que lo ame pero desde que nació sólo estuvo presente el primer mes y el segundo sólo lo vio un fin de semana... El problema es que yo vivo en el norte de la ciudad y él en el Sur, como tiene otro hijo ya de 7 años debe repartir el tiempo entre su trabajo, su primer hijo (también sólo fines de semana), nuestro hijo y obvio como es mujeriego su tiempo con la de turno . Yo no estoy segura si definitivamente alejarlo de nuestras vidas, temo que ese poco tiempo le llegue a afectar ya que es su padre y verlo casi nunca es realmente duro, como es un bebé si lo hago en este momento no le afectaría, pero en el futuro sí y peor si este hombre llega a tener otro hijo o madura y se decide a tener familia.
Me duele porque sé que él ama a nuestro hijo, sólo temo que mi chiquito sufra, un amigo me dijo: "Para tener un padre de fines de semana o menos, es mejor no tener". Es mi hijo y no quiero negarle a su padre en especial si realmente lo ama, NO SÉ QUÉ HACER?

Por cierto, no voy a volver con él... No sólo fue el engaño, como peleamos cuando me enteré y recién dí a luz hace 2 meses me dijo que estoy horriblemente gorda, con unas estrías asquerosas, etc! que la mujer con quien está es delgada, hermosa y hace lo que yo nunca pude. Ni loca perdonaría a ese cretino!!! Fue muy doloroso oír esas cosas y tener que soportarlo para no transmitir esas emociones a mi bebé al darle de lactar.