En itunes sí puedes borrar los eliminados, pero no se borran del pc.
Tambien se borran del PC/Mac pero para eso tienes que tener los mp3 dentro de la carpeta iTunes Music pruebalo y lo veras

Para eliminar repetidas del pc, no sé si haya programas para eso.
Puedes combinar lo que comento arriba e ir al menu Visualización/Mostrar duplicados y eliminar lo indeseado.
Saludos.