第一次南迁是在秦始皇时代。公元前221年秦始皇统一中国后,为了政治和军事的需要,派兵60万人“南征百越”。南下的秦军,从闽粤赣边入抵揭岭(即揭阳山,今揭阳县北150里),直抵兴宁、海丰二县界。公元前214年,秦始皇再派50万兵丁“南戍五岭”(今两广地区)。这些兵丁长期“戍五岭,与越杂处”。秦亡后,两批南下的秦兵都留在当地,成为首批客家人。
第二次南迁是在东晋“五胡乱华”时期。当时,为了避难,一部分中原居民辗转迁入闽粤赣边区。稍后,由于南北对峙,又有大约96万中原人民南迁至长江中游两岸。其中一部分人口流入赣南,一部分经宁都、石城进入闽粤地区。
第三次南迁是在唐末黄巢起义时期。先是唐朝安史之乱,给百姓带来巨大灾难,迫使大量中原汉人南逃。唐末黄巢起义,又有大批中原汉人逃入闽粤赣区。如宗室李孟,由长安迁汴梁,继迁福建宁化古壁乡。固始人王绪、王潮响应黄巢起义,率光、寿二州农民起义军五千下江西,致使闽赣边一带人口激增。
第四次南迁是宋南渡及宋末时期。金人入侵,建炎南渡,一部分官吏士民流移太湖流域一带。另一部分士民或南渡大庚岭,入南雄、始兴、韶州;或沿走洪、吉、虔州,而后由虔州入汀州;或滞留赣南各县。南宋末年,元军大举南下,又有大量江浙及江西宋民,从蒲田逃亡广东沿海潮汕至海南岛。