Hola! =)
Esa carpeta que dices, la que se encuentra en Mis documentos>Mi música>iTunes, es como quién dice al ruta de tus canciones ala biblioteca iTunes.
Si lo borras, la biblioteca estará vacía y al sincronizar tu ipod, se te borrará todo. Eso, si lo gestionas automáticamente. Saludos 
Edito: aunque creo que si vas a seguir agregando archivos, me parece que te saldrá un aviso de que no se puede agregar porque no se
encuentra la carpeta :S
Y vuelvo a editar: ok, mira, esto dice la ayuda de iTunes:
Acerca del archivo de la biblioteca de iTunes
El archivo de la biblioteca de iTunes (iTunes Library) es una base de datos con las canciones y vídeos de la biblioteca y de las listas de reproducción creadas. Esta archivo está situado en la carpeta iTunes (a su vez situada dentro de la carpeta Mi Música de Mis Documentos). Si mueve o borra este archivo, iTunes creará una nueva copia vacía cuando se abra iTunes, pero se perderán todas las listas de reproducción, las puntuaciones de la canciones, los comentarios y cualquier otra información que haya introducido.
http://support.apple.com/kb/HT1660?viewlocale=es_ES
Pero como he dicho, si gestionas manualmente, en tu ipod se conservarán las listas, puntuaciones, etc. Solo esperemos que no te veas en la necesidad de restaurarlo
