王浚在幽州可以說是自取滅亡，像他這樣的庸人加蠢貨如果能在十六國時期的政治舞臺上存在很長時間，那才真是一個“奇蹟”。幷州劉琨和石勒打的交道可不算少，他不出兵救幽州，並不會是因為真的相信了石勒所謂討王浚謝罪的騙術，（他原先也希望石勒真的是謝罪，但很快就知道了石勒真正的意圖）他也只是看到了王浚的必然滅亡，自己不願徒費兵力，另一方面他在晉陽方面也已經有些顧不過來，確實有點鞭長莫及。
當石勒滅掉王浚的勢力之後，回頭一看，晉朝留在關東的勢力，就只剩下劉琨了。這時，劉琨的東面是石勒的軍隊，南面是劉聰的軍隊，形勢非常危急。
不過劉琨的信心很足，他給晉愍帝的奏章中說的可是慷慨激昂，很有氣魄。他說：“自東北八州，勒滅其七，先朝所授，存者唯臣。是以勒朝夕謀慮，以圖臣為計，窺伺間隙，寇抄相尋，戎士不得解甲，百姓不得在野。天網雖張，靈澤未及，唯臣孑然與寇為伍。自守則稽聰之誅，進討則勒襲其後，進退唯谷，首尾狼狽。徒懷憤踴，力不從願，慚怖徵營，痛心疾首，形留所在，神馳寇庭（劉琨地處漢國的主力和石勒的勢力之間，雖是攻守的要地，卻無法同時面對兩大強敵，所以才發出這樣“有心殺敵，無力迴天，鞠躬盡瘁，死而後已”的感慨）。秋谷既登，胡馬已肥，前鋒諸軍並有至者，臣當首啟戎行，身先士卒。臣與二虜，勢不並立，聰、勒不梟，臣無歸志，庶憑陛下威靈，使微意獲展，然後隕首謝國，沒而無恨。”
劉琨的以胡制胡的策略依然奏效，漢國的匈奴軍好像特別怕鮮卑人似的。其中有一次，劉琨派遣一支鮮卑騎兵救援長安，因為道路不通而返，回軍路上與正在追擊晉軍的漢兵相遇。鮮卑騎兵於是進攻漢兵，沒想到原先還感覺聲勢浩大的漢軍一看見鮮卑人來了，立刻就不戰而退——要知道那可只是五百鮮卑騎兵。（這其中的原因的確說不清，同是騎兵，在中原大地上相遇，至少能夠一戰，很難說誰勝誰負。我想大概匈奴人患有“恐鮮卑症”吧。）
劉琨為了進一步拉攏拓跋鮮卑部，又上表請求朝廷封拓跋猗盧為代王，這個“代”就是後來那個代國的起源。（可不要小看這個代國，我想在當時大概誰也不會想到最終結束北方割據局面竟然會是這一支拓跋鮮卑。）
當然劉琨終究只是晉朝一將，真正處境艱難的其實是在長安搖搖欲墜的晉愍帝司馬鄴。自他即位以來，漢將劉曜的軍隊幾乎每年都要進犯長安，儘管屢屢被擊退，但形勢卻在一點點的變壞。
當時在長安以南的是已經佔據了漢中一帶的李雄的成國。關東大部落入石勒之手，漢國又控制了離長安較近的山西南部和洛陽附近的地區，遠在江南的琅邪王的力量是既不可即，也不願即。
司馬睿心裡明白，長安危在旦夕，皇帝的位子早晚是他的，救長安的提案即使可行，也很快會被否決掉。不過江南的晉朝人倒是有不少主張北伐的，劉琨年輕時的好友祖逖就是其中一位。
今天很多人傳頌祖逖年輕時聞雞起舞、報效國家的故事。可是誰又知道，祖逖當年北伐出兵時的景況有多麼的寒磣呢？
他苦口婆心地勸說司馬睿北伐，卻哪裡知道這位晉室宗親也沒有什麼大志，只是想著偏安一隅，以求半壁江山的統治。司馬睿想來想去，就給祖逖封了個豫州刺史的職位——這無非是給開個空頭支票而已，要知道當時豫州還在石勒的鐵騎之下。司馬睿言下之意就是：“這支票能否兌現，你自己看著想辦法吧。”——司馬睿給的物質資助不過是千人的糧食，三千匹布，連武器都不給他。
祖逖在親王那裡幾乎招了白眼，卻不屈不撓，還真把這北伐當回事，所以才有“祖逖中流擊楫”的故事，他當時說的話可真和劉琨像是一個模子裡刻出來的（不愧是“聞雞起舞”的好兄弟）：“祖逖若不能掃平中原，決不再渡過這條大江！”
祖逖渡過長江後，在江陰一帶休整，收編了二千多士兵，並修鑄了武器，力量逐漸強大。
這時石勒的力量主要在以襄國為中心的冀州及以北的幷州、幽州，祖逖面臨的豫州正是其力量薄弱地帶，當地一些強豪塢主紛紛聚集武裝力量，在自己的勢力圈內各自為大。
其中譙城（今安徽亳州）一帶有兩個塢主的勢力較強，一個是張平，一個是樊雅。晉朝的中央政府根本管不到這裡，即使是曾在三臺抵抗石勒的北中郎將劉演也無暇估計河南的這塊土地，於是做了順水人情，將這兩家一個封為豫州刺史，一個封為譙郡太守，其他小勢力均歸這兩家節制統領，你想那些手下多少也有幾百個兵的小軍閥們豈肯真心服從？
祖逖探知其中情況，就暗暗派人買通其中謝浮統率的一部，讓他約張平出來會面，乘機將其斬殺，獻於祖逖。
樊雅得到訊息，要為張平報仇，前來攻打祖逖。祖逖又向附近的蓬陂塢主陳川求援，反攻樊雅，終於攻克了譙城。
祖逖以譙城為根據地，又得到了晉朝的南中郎將王含的支助，附近的一些塢主多來依附，從而收復了河南的大片失地，也算是部分兌現了司馬睿給開的支票。然而石勒、石虎的騎兵實力雄厚，無法撼動，他也只能在黃河以南與其對峙，收復關東遙遙無期，更不要說逼近關中地區了。
司馬鄴在沒有援兵的情況下，幾乎是在長安坐以待斃。漢國的中山王劉曜花了三年的工夫，終於掃清了長安的外圍。
建興四年（公元316年）七月，劉曜攻下渭北重鎮涇陽，渭北諸城望風而潰，劉曜兵進逼長安。
三個月後，劉曜攻陷長安的外城，晉朝的守軍被衝散，退到距離長安較遠的城中據守。
於是漢兵將長安城團團包圍，斷絕了城內城外的一切聯絡。長安城內的饑民不斷增多，百姓餓得沒辦法，只好殺了別人來吃，餓死者不計其數。整整熬了將近一個月，連皇帝都沒什麼東西吃了。
司馬鄴無奈之下，大哭一通，開城投降，至此，統治北方五十二年，統治中國只有三十六年的西晉王朝宣告滅亡，晉王朝的另一段歷史在遠離長安千里之外的建康繼續展開。
漢人可以重建一個政權仍然叫“晉”，從而把所謂的“正統”帶到南方，但卻無法帶走北方的大片土地。在接下來的數百年中，續寫北中國歷史的權力，就被留給了北方的五個少數民族。
這五個民族分別是：匈奴、羯、氐、鮮卑和羌。