Por un lado los AMD no son precisamente una buena plataforma para codificar videos dado al conjunto de instrucciones que tienen, en comparación con un Nehalem, en los que la codificación es simplemente mayor a un 50% superior en igualdad de condiciones para el mismo reloj. Dejando eso como un apunte, seguimos con el resto.
El "problema" con los 64 bits es que una aplicación nativa en 64bits tan solo puede usar librerías que estén diseñadas para 64 bits, no pueden de 32. Esto puede ser un problema en codificación de video cuando usamos megui, dado que se requiere tener algunos conceptos muy claros.
Personalmente la mejor opción, aunque no es la más pura 64 bits, sería usar Megui de 32 bits, Avisynth de 32 bits y x264 de 64bits. De este modo toda la decodificación y procesado por avisynth se realizaría por 32 bits, y x264 de 64 bits simplemente recibiría el stream procedente de ellos. Evidentemente la codificación es lo que tiene mayor peso en todo el proceso
Opcionalmente puedes intentar crear todo un entorno de 64 bits. Para ello tendrías que hacerte con un Ffdshow 64 bits para la decodificación (existe), un Avisyhtn de 64 bits (existe) y un x264 de 64 bits. Megui de 64 no existe, pero no da problema alguno. El problema está en avishyn, dado que avisyth usa una gran variedad de librerías, y claro... si usas la version de 64 bits puede que alguna de ellas no esté disponible.
Te recomiendo el primer entorno, la version de 64 bits de x264 la tienes en la web oficial:
AQUI