Да, имеет смысл пробывать -vo vesa. xv отдельно поставиьт не получится - наличие расширения зависит от драйвера видеокарты. Видимо для вашей модели драйвер matrox расширение vx не поддерживает (и врядли когда-нибуь будет
)
SDL - библиотека такая, сейчас я думаю, она врядли помоет... На вашей системе скорее всего максимальню производительность можно получить с vesa (можно экпириментировать с vesafb, fbdev, directfb и т.п.) - т.е. с выводом графики в обход xserver.