Los plotters están especialmente fabricados para imprimir sin pixelarse incluso imágenes (al tamaño final) de 72 dpi de resolución, de lo contrario el peso de los archivos sería exageradamente grande. Yo he mandado plotear imágenes con 100 dpi de 2 x 1.5 metros y no se pixelean en lo más mínimo.
Cualquiera de los formatos sirve para que imprimir la imagen, pero si tu prioridad es la nitidez descarta el jpg, ya que dicho formato comprime el peso del archivo a costa de disminuir la calidad de los gráficos.
Un archivo para plotter no necesariamente debe estar en cmyk, existen muchos equipos capaces de imrpimir archivos RGB, para lo cual usan 6 tintas en lugar de 4 (a las 4 tintas de la cuatricromía le agregan verde y naranja). Por supuesto una impresión de este tipo es más cara, pero el resultado es espectacular.
En cuanto a los programas, te sirve cualquier aplicación profesional de diseño gráfico, para ese tipo de trabajos yo uso illustrator y Photoshop, por lo cual son las que te recomiendo.
Fuente: espanol.answers.yahoo.com