关中，是指潼关以西广大地区，面积以邢州大得多，沃野千里，人口稠密。忽必烈在关中设置了安抚、经略、宣抚三司机构，官员多数是汉人。关中采取“选人以居职，颁俸以养廉，去污以清政，劝农以富民”等措施，很快实现大治，社会稳定，经济发展，百姓安居乐业。
忽必烈在邢州、关中取得经验后，逐步在河北、河南、山东等地推广，都取得明显效果。与此同时，忽必烈也获得良好声誉，许多中原民众改变了对蒙古统治者的看法。在此期间，忽必烈率兵攻灭大理国，立下大功，使他的权势和声望如日中天。
然而，忽必烈推行汉治的做法，违背了蒙古传统的统治方式，提高了汉人地位，触犯了蒙古贵族的利益，招致许多蒙古贵族的不满和反对。以朝中大臣阿兰答儿为首的一批官员，纷纷向蒙哥进谗言，说忽必烈大肆收买中原人士，必有不臣之心。
蒙哥对忽必烈的做法也不满意，并且起了猜忌之心。公元1257年，蒙哥下令削夺忽必烈兵权，收回了邢州、关中、河南等地权力，撤消了一批汉族官员的职务，忽必烈推行汉治遭受了重大挫折。
金莲川幕府的士大夫们也遭到打击迫害，不少人被免除职务。不过，士大夫们并没有离散，反而更加团结，并且纷纷为忽必烈出谋献策。鉴于蒙哥和蒙古贵族势力庞大，他们建议忽必烈韬光养晦，暂且忍耐，等待时机。忽必烈听从了，于是以脚疾为由，在开平养病休息。
时间不长，忽必烈的机就来了。蒙哥大举伐宋，他自己率军攻打四川，让宗王塔察儿率东路军进攻荆襄地区。塔察儿没有领兵才能，屡吃败仗，进军不利，蒙哥十分恼火。
忽必烈见机会难得，赶紧给蒙哥上书，说自己的病好了，愿意领兵出征，为兄长效力。蒙哥没有办法，只好将东路军交给忽必烈统领，忽必烈重新掌握了兵权。
公元1259年，蒙哥死于四川钓鱼城下，这给了忽必烈一个天大的机会。当时，忽必烈率东路军所向披靡，一举渡过长江天险，包围了鄂州。蒙哥死讯传来，忽必烈由于战事顺利，并不想立即撤兵。士大夫们纷纷劝他说，凡事要有轻重缓急，眼下最要紧的，是回去争夺汗位。忽必烈的妻子察必，也派人劝他速回。于是，忽必烈撤军北返，驻军在燕京一带。
此时，忽必烈的弟弟阿里不哥，正在紧锣密鼓地做着登基准备。阿里不哥受蒙哥宠信，长期镇守都城和林，主持朝政，因而得到蒙哥皇后和儿子以及朝中大臣们的支持，蒙古贵族多数倾支持阿里不哥，而倾向忽必烈的却不是很多。阿里不哥几次派使者来，邀请忽必烈去和林，共商大事，企图逼他就范。
公元1260年，忽必烈在汉族士大夫们的建议下，抢先在开平宣布继承汗位。阿里不哥大怒，也在和林宣布登位。随后，两兄弟之间展开了长达四年的内战。忽必烈在士大夫们的帮助下，凭借漠南汉地雄厚的经济实力，最终打败了阿里不哥。
忽必烈获胜，掌握了统治权，可是，由于两兄弟的内战，四大汗国借机独立，大蒙古国解体了。
公元1271年，在刘秉忠等士大夫们的策划下，忽必烈宣布将大蒙古国改名为“大元”，定都大都（今北京），从此开始了元朝对全国近百年的统治。