Deja el trabajo
Yo sin duda dejaría el trabajo y más en la situación que has explicado, que tu marido cubre los gastos y lo que tú ganas es digamos para estar más desahogados y hacer cosas que obviamente con el sueldo de él no podríais. De todas formas, por encima de cualquier trabajo y del dinero está tú hija, o por lo menos debería estar, y por lo que leo lo estás pasando muy muy mal.
Si realmente puedes permitirte el no trabajar, hazlo, el trabajo siempre lo podrás retomar en el futuro, sino ése pues otro, y ya tu hija estará en situación de entenderlo. No dejes que sufra más y disfruta de ella.