他上台伊始就开始加强皇权、重树皇威。
史书上提到两个细节。一个是要求全国避他的名讳。
古代下对上讲究避讳以示尊重。比如皇上叫李世民，臣下徐世勣（《隋唐演义》里面的牛鼻子老道徐茂公）就赶紧改名叫徐绩。有些皇帝比较体恤民情，登基后把名字改成生僻字减少民间的麻烦。
宋太祖登基要求全国严格执行避讳制度，人名、地名都得改。弟弟赵匡义按家谱排的“匡”字也被改为“光”字。
宋太祖通过避讳一事强调尊卑上下，突出皇帝的尊严。
历朝历代的皇帝和宰相级的大臣商讨国事时，与会者都有一个座位。大家坐在一起畅所欲言。
宋太祖召集宰相开会时不给宰相设座位，让他们站着说话。即使他们贵为百官之首也不能和皇帝平起平坐。与座位一起消失的是宰相的权力。宰相的权力被拆分、制约。
以前的宰相是一人之下万人之上，位高权重。宋太祖将宰相的权力一分为三，设立枢密院和三司分掌军权和财权。宰相只管治国治民。宋朝形成“中书主民，枢密院主兵，三司主财，各不相知”的局面。虽然宰相手下管着兵部，但兵部已经有名无实，只是一个虚职。宰相位高而权不重。
为了进一步制约宰相的权力，宋太祖又设“参政”分管不同部门，使宰相不能搞“一言堂”。
各级权力机关也增设副职，拆分和制约一把手的权力。
这样做虽然对加强皇权有利但也制造了大量的冗官冗吏。
军权对皇权的威胁最大。宋太祖深知这一点，但轻易不敢对军权下手。历朝历代皇帝削藩很少能得到好的结果。宋太祖刚上台立足未稳，不想搞乱自己的阵脚。
宋太祖对藩镇和将领尽力笼络，给他们加官进爵，多加赏赐。
大部分藩镇有奶便是娘，对宋太祖登基表示祝贺。但有些藩镇怀念郭威，不承认宋太祖是合法皇帝，认为他是个篡位者。
宋太祖派使者去昭义镇，通知节度使李筠新皇登基。李筠先是拒见使者，后来在大家的劝说下勉强跟使者见了个面。到饭口了，大家在一起吃个饭吧。李筠在饭桌上突然拿出郭威的画像，对着画像痛哭不已。陪同人员赶紧打圆场说李筠喝多了，不要见怪。
使者回去告诉宋太祖。宋太祖非常不悦，开始对李筠多加防备。
李筠的儿子进京面圣。宋太祖对他说，回去告诉你爹，我没做天子时，他爱怎样怎样，跟我没一毛钱关系；我既然做了天子，他要是不乖，我就不能不管了。
李筠知道宋太祖对他已经有了猜忌之心，决定举兵反叛。他勾结北汉，为北汉做先锋，出兵袭取了泽州（山西晋城）。
宋太祖速派大将石守信率兵讨伐，自己率大军随后增援。李筠率军三万迎战石守信，被石守信击败，退守泽州。宋太祖率军赶到，与石守信一起包围了泽州。宋太祖要求部队抢在北汉军队赶到之前攻下泽州。但是泽州防守顽强，宋军打了十天半个月也没能打下来。宋太祖急了，组织敢死队强攻泽州，自己率大军跟进。在宋太祖亲自督战下，宋军冒死冲锋终于攻破泽州。李筠在城破之时，投火自尽。
淮南节度使李重进是郭威的外甥，也郭威手下一员大将。他听说李筠起兵后派亲信翟守珣去跟李筠联络，打算跟李筠联手南北夹击推翻宋太祖。但翟守珣跟宋太祖是旧相识，不支持叛乱，偷偷跑到宋太祖那里告发了李重进。宋太祖闻听大惊，请翟守珣务必设法拖住李重进，别让他跟李筠一起发难，等他平定李筠后再去解决李重进。翟守珣回去后劝李重进不要急着出兵，等李筠跟宋太祖两败俱伤之时再下山摘桃子。李重进相信他话，按兵不动。
宋太祖平定李筠后，下令调李重进到平卢任职。
李重进意识到宋太祖已经发现自己的阴谋，举兵反叛。宋太祖早有准备，再次御驾亲征讨伐李重进。石守信作为先锋，长途奔袭李重进据守的扬州。宋太祖赶到扬州时正赶上扬州被石守信攻破。李重进在城破之时跟李筠一样zf而死。
宋太祖两战两胜，平定了藩镇之乱。