No comprendo Liko. VLC es un reproductor multiformato y multicodec para el PC, aunque existe un trabajo por parte de ZodTTD para adaptarlo a nuestra plataforma. x264 no obstante no es un codec, es una implementación del codec h264, asi llamado por la ITE y MPEG4 Part 10 llamado por la MPEG o simplemente MPEG4 AVC. Todo es sinónimo, excepto x264, que es tan solo una implementación de código abierto de este codec, y además de ser de código abierto es de lejos la mejor implementación q existe a día de hoy.
Al margen de ello, ya no se si hablamos de VLC del PC, VLC del iPod o de que. Si es para el PC lógicamente no hay limitación alguna. Si hablamos para el iPod existe una limitación simple... la potencia. Tu podrías diseñar un Codec desde cero para manejar correctamente un contenedor dado como AVI, MP4 o MKV y el codec que quisieses e intentar hacerlo para iPod/iphone, pero tienes la limitación de la potencia de lhardware. Si bien es cierto que h264 es el codec más potente ahora mismo, tambien es el que más consume en recursos para codificar y decodificar, aunque es cierto que ya los decodificadores hardware están en todos lados... incluido el mismo iPod Touch. Y aquí comienzan los problemas. Hoy por hoy hacer un decodificador por software para h264 consume una considerable fuente de recursos. Por poner un ejemplo, si tienes un P4 a 3GHz y usas un decodificador como libavcodec (usado por ffdshow) posiblemente no puedas reproducir un video en Full HD y con trabajo y a medias uno en HD ready, es decir, 1280*720. Luego el soporte por Hardware para dispositivos portátiles es casi imprescindible. Y el problema con esto es que ese hardware el único que sabe manejarlo es Apple. Tu puedes hacer un codec e implementarlo para iPhone/ipod, si, pero esa implementación no tendrá soporte para hardware seguro.
No, no se cual es la limitación en cuanto a resolucion y prestaciones para el VLC para ipod (si es que te refieres a ello), pero en lo que se refiere a h264 posiblemente sean limitaciones mayores a las que tiene el mismo reproductor del touch. Es más, para verlo en el iPod, PAL es una resolución más que suficiente y sobrada!! es más importante implementar otros perfiles a no permitir mayor resolución. Recuerda que el iPod tan solo soporta baseline profile, con high profile o al menos main profile tendríamos un incremento simplemente impresionante en cuanto tamaño/calidad del video. Podríamos obtener básicamente una reducción de hasta un 20-50% en los tamaños de los videos para la misma calidad.
Sobre mkv? Sinceramente no soy nada partidario de dicho contenedor. Es un contenedor desde mi punto de vista sin mucho sentido, creado para hacer combinaciones extrañas. Al margen de ello y del soporte que tenga un reproductor para él, no deja de ser un contenedor, es decir... es muy simple hacer un cambio de contenedor: Extraer los stresms, y usar un muxer para mp4 por ejemplo y listo.