Como tomar valor para dejarlo

Hola chicas se que lo que les voy a decir es un poco vergonzoso pero me gustaria que me dieran su opinion sobre mi problema... tengo 4 anos con un chico a quien quiero mucho pero cuando lo conoci me dijo que alguien que vivia con el se estaba mudando para otro lado que se habian dejado el y su ex novia bueno, primero no quise andar con el por ese motivo pero ya despues que fue pasando el tiempo le hize caso y sali con el, el me buscaba todo el tiempo me llamaba y siempre me iba a ver y despues de un ano y medio o dos anos el empezo a venir mas frequente a mi casa y hasta se quedaba aqui conmigo. Bueno ya no le tome importancia lo de la ex novia pues ya no la menciono pero despues salio que todavia seguia con ella yo no hise mucho caso y segui con el... ahora que ya paso vario tiempo a mi me duele que el la pone primero a ella y conmigo es muy celoso no me deja hacer nada ni ir a ningun lado, no le gusta que vaya hasta con mi familia. Yo le doy por su lado pero en veces me fastidia y le digo que es injusto por la forma de ser conmigo. Recientemente tuvimos un disgusto pues el andaba segun trabajando de dj en un baile y yo no le reclame nada ni le dije que no fuera pero cuando me llamo para ver donde estaba yo , yo le dije que andaba en la tienda comprando algo que necesitaba se molesto mucho conmigo hasta el puunto que termine llorando. ya despues que hablamos mas tarde le dije que no estaba bien que el iba a donde el queria y yo no podia ni ir a la tienda y explote y le dije y aun asi no vives conmigo terminas en casa de otra y duermes con otra honestamente yo soy la otra y el dijo si y nunca la voy a dejar, que alla estaba a gusto y le dije entonces que haces conmigo y dijo pues tu sigues conmiigo. el dice que me quiere que por eso me cela de todo lo que hago pero yo no creo que me quiera... honestamente quiero tener el valor de dejarlo porque a el le da igual lo que yo siento pero no se como hacerle me duele mucho.