涼州的事，得從呂光稱王說起。呂光本是苻堅身邊的將軍，奉命征討西域各國，若不是淝水之戰天下大亂，他或許會成為中國歷史上又一位張騫、班超式的人物。可惜歷史不給他機會在西域安心做他的將軍，也不讓他在前秦做個普通的大臣，而是逼著他在亂世之中成為又一個石勒、姚萇、慕容垂。
呂光論勇猛比不過石勒，論奸詐趕不上姚萇，論謀略又不如慕容垂。他能夠爭得自己的勢力範圍，靠了四個字：“相機行事”。他能在前秦變亂之初，從西域趕回，在各割據政權來不及動手之前，奪得了涼州；又在得知苻堅被害以後，下令官吏將士為苻堅服喪，追諡苻堅，使得自己在手下那些前秦的舊臣舊將面前的形象進一步提高。
他感覺人心也收買的夠了，力量也積蓄足了，就在前秦大安二年（公元386年），自稱中外大都督、大將軍、涼州牧、酒泉公，在涼州建立十六國時期第二個政權——後涼。
十六國的時候，涼州的面積已經比漢朝時小了很多，南面的一部分在三國時分設為秦州。即使如此，涼州仍然有八個郡之大，相當於今天甘肅的中北部，青海的東北部，以及寧夏、內蒙、新疆的一部分，這八個郡自東向西是金城郡（今甘肅蘭州，當時在西秦控制下）、西平郡（今青海西寧）、武威郡、張掖郡、西郡（今武威以西）、西海郡（今張掖一帶）、酒泉郡和敦煌郡（我之所以不厭其煩的羅列這八個郡，是因為對古絲綢之路特別是蘭州到敦煌的一段很感興趣，希望有一天能去實地感受一番，因此對照地圖把這八個郡的位置好好的查了一下。）
面積這麼大，自然有人不服呂光。先是王穆佔據了酒泉和敦煌，自稱涼州牧，然後是西平太守康寧自稱匈奴王，張掖太守彭晃也在第二年起兵反叛，東結康寧，西通王穆。
不到一年的時間，呂光就失去了四個郡的控制，顯然得采取措施。他看準了時機，決定先親自率兵攻打彭晃。
部將都認為康寧在南面（呂光的都城在姑臧，即武威的首縣），如果康寧在彭晃、王穆沒被消滅時又來進攻，勢必進退兩難。
呂光反駁說：“這看法似是而非。如果現在不主動進擊，等他們三方真正聯手，從東、西兩面一起進攻，那就沒戲了。彭晃剛反叛，與康寧、王穆的聯絡還不密切，此時突然出兵，取勝的把握要大得多。”
他親率三萬步騎兵，攻城二十天，一舉消滅彭晃。王穆與自己任命的敦煌太守索嘏兵戎相見，呂光又乘機攻克酒泉，王穆單騎逃走，被手下所殺。
呂光平定了叛亂，覺得自己還算是那麼回事兒，就忙不迭的要稱王。他先是在大安五年（公元387年）改元麟嘉，自稱三河王，接著又在麟嘉八年（公元396年）即天王位，設了百官，國號大涼，改元龍飛。
（天王的稱呼，在十六國時地位很特殊，後趙的石虎在稱帝之前，一直自稱大趙天王；苻堅一輩子沒稱帝，稱呼就是大秦天王；這樣的例子還有後來北燕的君主。這些人在死後都被諡為什麼什麼皇帝，我覺得天王的稱呼大致高於王，而稍低於皇帝，一般是君主認為天下尚未統一而用的謙稱，如石虎和苻堅的情況。故而柏楊所說的五位大帝之中就有苻堅，雖則苻堅從沒有稱帝。）
呂光的致命問題是對大臣過分猜忌，用刑又極重。他稱天王后不久，涼州就四分五裂。
呂光最大的外敵，佔據秦州的西秦乞伏氏，十年來與後涼在黃河一帶爭戰頻繁，乞伏乾歸甚至佔領了涼州的金城郡，並在此建都，引得呂光十分惱火。他在龍飛二年（公元397年）派兒子呂纂領兵大舉討伐西秦。
西秦王乞伏乾歸是個耍手段的高手，他的部下都勸他逃往成紀（今甘肅秦安北），他很鎮定，說：“曹操在官渡打敗袁紹，陸遜在白帝擊退劉備，靠的都是權略，不在軍隊的多少！呂光發動全州計程車兵，卻沒有長遠的打算，用不著害怕。更何況涼兵的前鋒呂延擁有精兵，卻勇而無謀，只要用點計謀，就能把他制住。我們只要打敗這支軍隊，涼兵全軍必退。”
乞伏乾歸說的沒錯，後涼的前鋒大將、呂光的弟弟呂延輕敵冒進，乞伏乾歸放出假情報說自己已退往成紀，呂延果然追擊，與乞伏乾歸一交鋒，就戰死。呂光受挫，也只得撤兵回到姑臧。
呂光征討西秦失敗，原本依附於呂光的河西鮮卑首領禿髮烏孤在廉川堡（今青海民和）自稱大將軍、大單于、西平王，很快攻下了金城，建立了南涼。鮮卑禿髮部與乞伏部雖然都在隴西一帶，卻不同宗。他們原屬漠北鮮卑一支，後來遷往河西走廊一帶。有人認為“禿髮”即“拓跋”的同詞異譯，如此看來則應與北魏拓跋氏同宗。《晉書》裡關於禿髮的傳說則更有趣，禿髮的祖先壽闐是他母親睡覺時在被子裡出生的，鮮卑語中“被”這個詞讀做“禿髮”，禿髮的姓由此而來。
姓氏來歷同樣有意思還有盧水胡人沮渠部。他們先輩世代在匈奴做左沮渠，後代就以這個官名做自己的姓氏。
後涼尚書沮渠羅仇就是沮渠部的後人，他隨呂延出征，打了敗仗，沮渠羅仇的弟弟三河太守沮渠麴粥深知呂光年老信讒，性好猜忌，很擔憂自己兄弟的命運，他勸羅仇率軍前往西平（當時西平的匈奴人勢力較強，不愁平定不了涼州。）。
羅仇回答道：“你說得有理，可是我們家世代以忠孝聞名於西北。寧人負我，無我負人。”不久，呂光果然聽信讒言，把呂延敗死的罪責推到羅仇身上，將羅仇和麴粥一併殺死。
沮渠羅仇的侄子沮渠蒙遜不像他伯父那麼迂腐，此人以善於隨機應變著稱，呂光曾對他很忌憚，他就肆意飲酒作樂來消除呂光的警惕。
沮渠蒙遜把伯父們的靈柩帶回家鄉安葬，前來參加葬禮的各部宗親有一萬多人。葬禮上沮渠蒙遜哭著對大家說：“我們的先輩自漢以後就雄據河西。涼王昏虐無道，濫殺無辜。我們怎能不上繼先祖遺志，下為二位伯父雪恥呢？”眾人頓時高呼萬歲。
於是，沮渠蒙遜起兵攻佔了臨松（今甘肅張掖南）、金山（今甘肅山丹一帶）兩地。蒙遜的堂兄沮渠男成也聚眾響應，因為勢力不夠強，他積極策反後涼的建康（今甘肅高臺南）太守段業。
段業本是個書生，不懂打仗，也沒有什麼野心，不願答應。他和男成在建康城內外相持半個多月，得不到後涼外援，動搖起來，深怕步沮渠羅仇的後塵，這才將男成迎入城內。男成推舉他為大都督，涼州牧、建康公。蒙遜率眾歸附，被任命為鎮西將軍。沮渠蒙遜一有兵權就大不一樣，他在一年之中先後攻下了後涼的西郡、張掖兩郡，聲勢大振，西面的敦煌等郡紛紛投降。涼州張掖以西諸郡至此不為後涼所有。
這期間，呂光屬下的郭黁也起兵反叛。郭黁通曉天文，能掐會算，民間都把他奉為聖人，他一造反，從者甚多。可惜“聖人”也不頂用，與呂纂的軍隊一交鋒，便敗得灰頭土面。郭黁又與部眾推後將軍楊軌為盟主。楊軌自稱大將軍、涼州牧、西平公，又戰敗，楊軌投往禿髮烏孤，郭黁投奔乞伏乾歸。
後涼境內叛軍一呼百應，呂光疲於應付，終於在龍飛四年（公元399年）一病不起。他自知不久於人世，就立太子呂紹為天王，自號太上皇帝，又讓兩個兒子呂纂、呂弘分別擔任太尉和司徒。
臨終前，他叮囑呂紹說：“如今三寇（應該是指乞伏乾歸、段業和禿髮烏孤三家）窺伺，我死之後，呂纂統領軍隊，呂弘治理朝政，你自己恭謹無為，把重任交給兩個兄弟，也許還可以求得太平。如果兄弟互相猜忌，那麼西晉、後趙的禍亂就在旦夕之間了。”
他又跟呂纂、呂弘說：“永業（呂紹字）沒有撥亂反正的才能，只因他是嫡子，才讓他做國君。現在外有強敵，人心未定，你們兄弟同心，國運方能長久，否則禍不遠矣。”
結果，呂光的話是白說，他一死，就發生了宮廷政變，導致後涼衰亡。整個涼州的混戰，也就不可避免。