¿Qué tan malo es dormir con lentes de contacto?

Todos los que usamos lentes de contacto lo hemos hecho, por cansancio, porque se nos olvidó o por necesidad, pero ¿qué tan malo es dormir así?