晉懷帝永嘉三年（公元309年），劉淵採納大臣們的建議，遷都平陽（今山西臨汾附近），大赦境內，改元河瑞。漢軍當時的攻勢漸漸形成滅晉之勢。
晉朝內部傳出的訊息令人失望，由於東海王司馬越獨攬大權，他所立的晉懷帝也已經與他產生了尖銳的矛盾，懷帝多次秘密會見其親信大臣繆播等人，有除掉司馬越之意，司馬越覺察到繆播等人的行徑，在宮中發動突然的軍事行動，將正與晉懷帝討論密事的繆播等人一併誅殺，同時斥逐保衛皇宮的武將，司馬越與諸官之間形成對立。
司馬越兵權在握，而所謂的皇帝的親信大臣們又尚未得到可以信賴的寸兵一卒，且一旦變故，沒有實權的皇帝只能在一邊偷偷流眼淚。（權臣之難以對付，眾多的例子可以做上一個最好的註腳。但所謂對內可以靠自己的權術，對外則得靠真正的軍事實力和軍事才能，而實力與才能顯然不可能靠動點小聰明就改變的，這就是司馬越與曹孟德、司馬懿之輩的最大的差距。）
晉朝的左積弩將軍朱誕痛恨司馬越的倒行逆施，失望之下叛降劉淵，並向劉淵陳述洛陽防守的弱點，勸劉淵出兵攻打晉都洛陽。劉淵本有此意，當即以朱誕為前鋒都督，為漢軍開路，以平晉大將軍劉景為大都督，向洛陽方向進發。漢軍很快攻克黎陽、延津等地，並擊敗晉車騎將軍王堪，劉景在延津附近將晉朝的三萬百姓沉入黃河。
劉淵聞聽這個訊息，勃然大怒，說：“劉景有何顏面回來見朕？更何況天理豈能容他！我要除掉的，司馬氏罷了，百姓何罪？”立刻將劉景降為平虜將軍。
（劉淵此時再次顯示出他重視漢政權對晉朝百姓的影響，可見其欲匡扶天下之心。比起他的那些接班人，以及十六國中不少只知窮兵黷武，屠戮生靈的統治者，這點已經很不容易了。）
在東線戰場，即冀州一帶，石勒先後攻陷了冀州郡縣壁壘百餘個，兵力增至十餘萬人。
石勒的軍事勝利不僅影響了周圍的諸胡部落，也影響了不少報國無門的晉朝的漢人士族。
趙郡（今河北高邑西南）有個漢人叫張賓，是個相當有才華的低階士人。他自嘆世風日下，難逢明主，總是對他的兄弟們說：“我自以為才智謀略不比張子房差，可惜我卻遇不到我的漢高祖啊。”
石勒大軍席捲河北大地，張賓興奮地對親人們說：“我看過的當今為將者多了，惟獨這位石勒將軍可與之共成大事。”
他立即提劍來到石勒軍中，大叫著要見石勒。起初石勒並未覺得此人有何特殊之處，但經過接觸以後，終於意識到張賓確有獨到的見解，漸漸開始重用他。
當時來投奔石勒計程車人越來越多，石勒認識到自己欲成大事，必須依靠這些在晉朝不得志計程車人的幫助，他以張賓為謀主，加上不少低階士族，別立一營，號為“君子營”，為他出謀劃策。石勒對漢人的利用，有甚於劉淵。同時主要聚居在幷州的羯人更是積極投奔石勒，石勒借助其在冀州一帶的成功很大程度地增強了自己的實力。
連戰連勝之後，這年八月，劉淵正式發動進攻洛陽的總攻勢。他派楚王劉聰與晉叛將王彌攻打壺關，並以石勒為前鋒都督。漢軍在擊敗了幷州刺史劉琨的軍隊之後，很快逼近洛陽，東海王司馬越派平北將軍曹武和將軍宋抽、彭默等出兵抵抗，均被漢將劉聰擊敗。劉聰長驅直下宜陽，平昌公司馬模派將軍淳于定、呂默等從長安方面出發前往抵抗。兩軍戰於宜陽，淳于定等又被擊敗。
眼看洛陽危急，弘農太守垣延獻詐降計投奔劉聰，而連勝的劉聰卻有些頭腦發昏，竟不設防，垣延對漢軍發動夜間突然襲擊，劉聰大敗而還，漢軍進攻洛陽的第一次戰爭以晉軍大勝結束。這場戰爭的失敗顯然給急於滅晉的劉淵當頭一棒，劉淵穿著素服迎接劉聰的敗軍。
這年冬天，劉淵不甘心失敗，以舉國之兵力，令劉聰、王彌、劉曜、劉景等率精騎兵五萬為前鋒，以其岳父大司空呼延翼率步兵、騎兵為後繼，向洛陽發動突然襲擊。晉軍一時間有些猝不及防，在河南被漢軍擊敗，但漢軍顯然未從幾個月前的第一次的慘敗中完全恢復過來，晉護軍賈胤等率勇士千餘人夜攻劉聰軍，兩軍戰於大夏門，劉聰軍潰散。劉聰轉而向南，駐軍於洛水，進而進屯於洛陽宣陽門之外，此時呼延翼被部下殺死，其部下兵士潰散。
劉淵得到老丈人被害的訊息，自覺暫時難勝晉軍，就下令劉聰還師。劉聰認為晉軍勢弱，不可輕退，請求留下來繼續攻打洛陽；劉淵總算同意了他的請求。但劉聰取勝的信心也開始動搖，他竟然自己一個人跑到中嶽嵩山，去禱告天神，將留守大營的任務交給了部下劉厲和呼延朗。
司馬越乘著漢軍主帥在外的空虛之際，採納了參軍孫詢的建議，令部將孫誨等率精兵三千人自宣陽門出擊漢軍，漢軍大敗，陣斬呼延朗，劉厲無奈之下投水自殺。
劉聰得不到天神的保佑，從嵩山下來，只能垂頭面對殘兵敗將，王彌對他說：“當前我軍失利，洛陽城守備更加堅固，我們的糧草也支撐不上多少時間了，殿下不如率部退回平陽，徐徐圖之。”劉聰心想當初提出留下與晉軍決戰的正是自己，如今若是就這麼退兵未免顏面掃地，而且還有可能被治罪，踟躇不定。
在平陽觀望戰事的劉淵得到戰敗的訊息，也是失望之極，身邊一個卜卦的大臣宣於修之進言：“攻克洛陽，歲在辛未（指兩年後的公元311年）；現在晉軍氣盛，大軍不歸，必將潰敗。”劉淵也明白“心急吃不成熱豆腐”，只好將劉聰的軍隊召回。
漢晉在洛陽附近的兩次大戰，均以晉軍的勝利告終，這使得晉朝的緊張局勢得到暫時的緩和。但是，由於晉朝未能解決自身內部的問題，取勝的背後依然不能掩蓋其問題的存在，其頹勢已非一人一將所能阻止；漢國雖然進攻洛陽遭到暫時的挫折，但也使其轉而加強內部政權上，其下一次全面的進攻就將是更加兇猛的。
可惜，劉淵再等不到辛未年了，洛陽大戰的第二年（即公元310年），他在平陽去世，太子劉和即位。
劉淵將他的滅晉大業留給了他的後人，而使他無法想到的是，在漢國的內部，一場殘酷的帝位之爭正在醞釀之中。