Como seguramente ya hayas escuchado, Android 5.0 tiene el cifrado activado por defecto, en lugar de ser una funcionalidad opcional como ocurría en versiones anteriores de Android.
Esta decisión fue tomada por Google ante el caso Snowden y el espionaje llevado a cabo por los gobiernos. Esto no solamente no ha sentado bien entre las autoridades sino que además podría reducir el rendimiento de los dispositivos móviles.
Los chicos de AnandTech han llevado a cabo una prueba para medir la velocidad de lectura/escritura. Según sus averiguaciones, parece que el Nexus 6 con cifrado activado muestra un rendimiento mucho peor que el Nexus 6 con el cifrado desactivado.
De hecho, el Nexus 5 con KitKat y Lollipop superan en rendimiento al Nexus 6 con el cifrado activado, como puedes ver en los resultados publicados.
En la práctica, a menos que tengas aplicaciones que leen y escriben muchos datos, probablemente no notes un deterioro notable en el rendimiento. En todo caso, si quieres desactivar el cifrado, las instrucciones están en el foro XDA.