고려가 거제현 사람들을 육지인 진주·거창 등지로 이주시킨 후 삼별초가 토벌됐음에도 곧바로 거제로 돌아오지 못하고 151년 동안 육지에서 더부살이를 한 것은 고려말 극심해진 왜구의 노략질 때문이었다. 

고려말 왜구들의 창궐로 거제를 비롯한 남해안 여러 고을은 왜구의 소굴이 됐다. 심지어 공민왕 때에는 왜인 중 원하는 자를 거제에 거주하게 했다는 기록도 나온다. 하지만 고려말 거제를 본관으로 하는 반씨가 사족으로 이름을 알리고 있는 점은 공도정책 이후 거제현이 육지로 옮겨 갔음에도 적잖은 사람들이 거제에 남았을 가능성을 보여준다. 

반씨는 고려 원종 시기에 활약한 반부(潘阜)대부터 사족으로 성장한 것으로 보인다. 반부는 원종 시기 몽고와 일본에 사신으로 다녀오는 활동을 했고, 충렬왕대에는 관직이 좌사의(고려시대 중서문하성에 속한 정사품 낭사 벼슬)에 이르렀다. 

거제는 일본과 한반도를 연결하는 교통요지였다. 이에 원종 12년 고려와 몽고 사신은 일본에 가기 위해 거제로 향했고 거제의 송변포에서 출발한 기록이 있다. 1112년 8월 고려 문종의 아들 탱이 거제로 유배 온 이후 고려시대 유배인의 기록은 많지 않다.

하지만 고려가 멸망하고 조선이 건국되는 시기에 고려의 많은 왕족(왕씨)들이 거제로 유배 왔다가 태조 3년(1394) 손흥종(孫興宗) 등에 의해 거제 바다에 던져지게 된다. 고려 멸망과 함께 거제에 은거한 인물도 있다.

정몽주의 제자이자 의령 옥씨 거제파의 시조인 정은(正隱) 옥사온(玉斯溫)이다. 그는 산방산 '옥굴'에 은거해 오랫동안 살다가 의령으로 돌아가 생을 마쳤다고 알려졌다. 이 기록은 의령 옥씨 대동보(1999년 발행)와 의령군이 만든 '내고장 의령(1985년 발행)' 인물편에 수록돼 있다.

고려는 공민왕의 개혁 실패 후 권문세족의 정치권력 독점과 대토지 소유가 더욱 확대되면서 정치 기강이 문란해지고 백성들의 생활은 더욱 어려워졌다.

여기다 홍건적과 왜구의 연이은 침입은 고려의 국력을 더욱 약하게 만들었는데 이때 홍건적과 왜구의 침입을 막으며 백성과 고려 조정의 명망을 받던 최영과 이성계 등 신흥 무인세력이 성장하게 된다.

최영과 이성계는 신진사대부 세력의 지원으로 권문세족의 횡포를 막기 위해 당시 권문세족의 우두머리였던 이인임 일파를 축출하며 권력을 잡는다. 그러나 최영과 이성계는 고려의 개혁에 대해 다른 방향을 생각하며 갈등이 생긴다.

이때 명나라가 철령 이북의 땅을 요구하면서 원나라를 지지했던 최영은 요동 정벌론을 내세웠고 명나라를 지지했던 이성계의 4불가론이 대립하게 된다.  결국 요동 정벌이 진행되고 이성계는 위화도에서 회군(1388)으로 고려를 장악했다.

이후 이성계와 급진개혁파(혁명파) 사대부 세력은 우왕·창왕을 폐위하고 신진 사대부의 경제적 기반을 마련해주기 위해 과전법 실시(1391) 후 조선을 건국하게 된다.(1392)