Vnc 유저 여럿을 등록해도 포트 1번으로만 접속 문제

우분투 12.10 버전 사용중이고요, vnc4server를 설치했습니다.

화면도 잘 돌고 다 잘 되는데… 문제는 서버 디스플레이를 :1 을 열든 :4 까지 열든

vncviewer로 접속시 어떤 포트를 선택해도 항상 :1에만 접속이 됩니다.

뒤에 포트 번호를 적지 않아도 자동으로 1에 접속되고요.

어느 설정을 건드려줘야 각 포트에 접속이 되서 서로 다른 디스플레이를 볼 수 있을까요?