劉曜攻入長安的時候，關東的石勒正在攻打併州的樂平，樂平太守窘迫之際，向晉陽的劉琨求救。
由於代王拓跋猗盧死後國中大亂，劉琨得到了昔日拓跋猗盧的軍隊的支援，劉琨自感士氣旺盛，便決定出兵，豈料被石勒先算一著（估計又是張賓的計謀），劉琨的援兵遭到石勒伏兵攻擊，幾乎全軍覆沒。幷州城內又逢大旱，劉琨簡直陷入了絕望境地，此時盤踞幽州一帶的遼東鮮卑段匹磾邀請劉琨到幽州共謀大事，劉琨在萬般窘迫之下只好放棄晉陽，帶著身邊不多的軍隊投奔幽州。
石勒進入幷州，至此，石勒基本上控制了東北中國的所有州郡。
投入段部鮮卑的劉琨已經不能作為獨立的晉軍力量存在，整個北方唯一為晉朝保留了一州之地的，竟然是偏處在涼州，後來建立了前涼政權的西北張氏。
多年以前，長安一帶曾經流傳過這樣的一首童謠：
秦川中，血沒腕，
唯有涼州倚柱觀。
在當時，童謠和圖讖一樣，也具有傳說中神秘的東方式預言的“魔力”。涼州究竟有何獨特之處，沒有人能說得清。
早在永寧元年（公元301年），時任散騎常侍的安定人張軌向西晉朝廷上書，請赴涼州平亂。張軌以涼州刺史的身份來到姑臧，他討伐當地的鮮卑反叛，打擊盜賊流寇，安定了社會；接著他又發展生產，興辦學校，恢復了當地的經濟。
十年間，張氏在涼州的威望穩步提高。建興二年（公元314年），張軌去世，涼州人又推舉他的兒子張寔繼任刺史。
晉愍帝出降漢軍的前一天，密派手下人前往涼州，拜張寔為大都督、涼州牧，承製涼州一切大小事務。
長安失陷的第二年，張寔決定以攻代守，先發制人，派司馬韓璞和將軍張閬以步騎兵一萬進攻剛剛攻佔長安，還未在整個雍州站穩腳跟的漢軍。
韓璞的軍隊在南安一帶被當地的羌兵截斷退路，兩方相持一百多天，彈盡糧絕。
韓璞親自宰殺駕車的牛犒勞軍士，一邊吃著牛肉，一邊激動地問道：“大夥兒想念家中的父母麼？”
大家齊聲說：“想念！”
韓璞又問：“想念妻子兒女嗎？”
大家又齊聲高叫：“想念！”
“那你們想要活著回去麼？”
“當然想了！”
“那你們聽從我的命令麼？”
“誓死聽從！”
韓璞於是擂起戰鼓，指揮將士們奮力拼殺，正巧碰上張閬的軍隊也殺到，兩軍夾擊羌兵，大獲全勝。
雖然沒有獲得對漢軍的決定性勝利，但漢軍向涼州方向的進攻卻受到了有效的阻撓，加上涼州地處西北，漢軍的主力也一時鞭長莫及。從而在張氏政權的經營下，涼州得以暫時避免中原一帶的戰亂，真的成了一塊可以“倚柱觀”的“淨土”。
對於漢國而言，面對小小的涼州，捲土重來並不是沒有可能，但事實上他們內部潛藏的危機正在步步升級，一場政變以及緊跟著的一場大亂，似乎已經在所難免。
政變的起因還是那位生活極度荒淫的漢國皇帝劉聰。
儘管妃子越立越多，劉聰依然覺得不過癮，他把中護軍靳準的兩個女兒月光、月華納入後宮，封月光為上皇后，月華為右皇后，原先的皇后劉娥則為左皇后，於是劉聰的後宮出現了三個皇后並存的咄咄怪事。
陳元達極力進諫，指出此舉的非禮之處，劉聰很不高興。不久後陳元達查出上皇后月光的醜行，向劉聰奏明，這才迫使劉聰廢掉了月光。月光因此羞愧自殺，劉聰從此也開始暗暗憤恨這位敢於直諫的大臣。只過了一年，依然執迷不悟的他又看中原先張皇后的侍婢樊氏，將她立為上皇后，填補月光死後留下的“空缺”。
由於大多數的時間深居內宮，劉聰又開始寵幸身邊的太監王沈、郭猗等人。（寵幸太監似乎是自古以來昏君最大的“罪狀”之一。皇帝唯一的錯誤就是與外界過少的接觸，乃至整天接觸的人除了宮妃就是太監。）一切政事都交給他的兒子，相國劉粲處理。
這樣一來，野心家們開始行動了。
首先是郭猗和國丈靳準與皇太弟劉乂之間有私人恩怨。劉聰當初即位前就想讓劉乂為帝，他算是代攝其政而已，因此他的打算是將來將帝位傳給劉乂。由於劉乂身邊的大臣勸劉乂謀反，先被人告發，此時正被劉聰派兵軟禁。郭猗的聯合目標就瞄準了對帝位覬覷已久的劉粲。一個報私仇，一個爭皇位，幾個人剛一見面，就一拍即合。雙方決定一方面注意劉乂本人的行動，一方面慢慢除掉支援劉乂、反對王沈等人的大臣。
在王沈、郭猗等人屢進讒言的情況下，一大批與宦官矛盾甚深的大臣被劉聰下令誅殺。
大臣王易、陳元達等人上表苦諫，這回劉聰是誰也聽不進去了，還把上表交給太監們看，笑著說：“陳元達這幫人簡直成呆子了。”
王易直諫受阻，憂鬱而死。陳元達為此大哭，嘆道：“我既然再也不能說話了，還有什麼意義在這世上苟且偷生呢？”他就自殺了。
（嗚呼，陳元達這位出身匈奴部族的知識分子，見證了匈奴漢國興起的蓬勃，也見證了統治者腐化所導致的帝國的迅速衰敗，眼見得一個剛剛建立的國家因為不能吸取前朝失敗的教訓，僅僅幾年後就重蹈覆轍。敢於直諫、善於直諫的大臣因不能再諫而死，天下痛苦，莫過於此。）
劉粲利用太監的力量掃除了宮中的異己力量，就把目標轉向了皇太弟劉乂。
他派人向劉乂假傳詔書，說京師將有兵變，要穿戴盔甲以防不測，劉乂果然上當。
劉粲將訊息告知靳準等人。靳準馬上向劉聰進言：“劉乂欲謀反，都已經準備好盔甲了！”
劉聰大驚，派兵趕往東宮，果然如此。
劉聰當然大怒，將尚不知情的劉乂廢為北海王，王沈等人乘機將與自己有怨的人大殺一批。劉乂最終也被劉粲、靳準合謀殺害。
經過一番折騰，劉粲被立為皇太子，而靳準也掌握了國中大權，博取了劉聰的充分信任。
漢麟嘉三年（公元318年），劉聰病死，臨終前他想召手握重兵的劉曜和石勒到國都平陽輔政，兩人當然是“固辭不受”。
劉粲繼位，當然重用靳準，靳準又一次利用劉粲之手鏟除劉氏宗族中的異己分子，大殺在朝中任職的劉氏諸王。
劉粲的荒唐程度，一點不亞於其老子，靳準很快就得到了軍國大事的決策權。
僅僅一個月後，靳準領兵進入皇宮，將劉粲殺死，同時將劉氏一族不分老幼全部處斬，連劉聰的屍體也沒逃過此劫，被挖出來斬成兩段。
（劉聰生前生活糜爛，死後落得屍首糜爛的下場，真是報應不爽。劉淵一族，下場如此之慘，與十六國時期深深的民族矛盾是分不開的，石勒大殺晉朝宗親是一次，而這一回又是一次，在整個十六國時期，這樣的大殺戮還會有很多次。）
靳準自稱大將軍、漢天王，他覺得自己作為漢人，消滅了胡人的政權，定會得到漢人政權晉國的支援，於是又向晉稱藩。
靳準經過宮中的一番爭鬥後終於獲勝，但卻將自己置於眾矢之的，而他好像還沒意識到自己在軍事上根本抵擋不住他的對手。正當靳準在宮中大肆殺戮的時候，兩支精銳的部隊正由劉曜和石勒率領，分別從長安和襄國，向平陽進發。