铲除权臣宇文护之后，周武帝开始亲自执政。他针对北周境内僧人过多，大量占有人口、土地的问题，于574年下令，禁断佛教、道教，销毁佛教、道教的经书、佛像、天尊像，命令道士、道姑、和尚、尼姑全部还俗，凡是不符合规定的祭祀，全部废除。

周武帝志在统一天下，他问群臣：“我应该首先灭哪一个？”

大臣伊娄谦答道：“齐国君主高纬听信倡优，杀害名将，沉迷于酒色，君臣上下不和，百姓有怨恨而不敢说出，这样的国家最容易攻取了。”

575年，周武帝亲自率领周师，进入齐国境内，周武帝下令，不准军人砍伐百姓的树木，践踏北齐百姓的庄稼，违令者斩首。

周武帝与北齐皇帝高纬大战，高纬临阵脱逃，北齐大败。周武帝看到将士很疲惫，打算班师回到长安，大臣梁士彦说道：“齐师败走，全国军心涣散，趁着他们惶恐不安之极，一举拿下齐国。”周武帝下令周师追击高纬。

周武帝率领周军围攻北齐的重镇晋阳（今天的太原），晋阳守军在高延宗的率领下誓死抵抗。周武帝亲自率领一部分军队趁着天黑进入晋阳，高延宗组织两路人马夹攻周武帝，周军失败，被杀两千多人，周武帝踏着很多人的死尸，侥幸逃出晋阳城。高延宗认为周武帝被自己杀死，十分兴奋，竟然在当天晚上举行盛大宴会，很多人喝得酩酊大醉。队伍再也无法暂时整齐起来。

周武帝出了晋阳城后，立即组织汇拢自己的人马，趁着高延宗不备，再次进攻晋阳城，将齐军打得大败，活捉了高延宗。

周武帝下令大赦境内，废除高纬的苛政，网络北齐的各种人才，加以任用。周武帝拿出齐国皇宫中的金银珠宝、宫女两千人，赏赐有功将士。

周武帝攻入北齐首都邺城，长乐人熊安生听说周武帝要进城，命令家人打扫庭院，准备迎接贵宾，家人很奇怪，问道：“谁会来到我家？”

熊安生说道：“周主重视儒学，必定会来访问我。”果然如此，周武帝知道熊安生精通儒经，亲自来到熊府，赏赐他很多财物，让他随驾入朝做官。

郑州一带发现了一支九尾狐狸，有人将九尾狐献给周武帝，周武帝说道：“只有至德之人，才能得到祥瑞之物，现在国家大乱，四海未定，出现九尾狐狸，不是什么祥瑞。”周武帝命人烧掉。

周武帝看见北齐的宫殿豪华，命人拆掉，让百姓随意取走，用作自家房屋建设。

周武帝一生喜欢节俭，常身穿布袍，行军打仗，与士兵一起跋山涉水，忍受常人所不能忍受的劳苦，执法严明上下都畏惧他的威严，乐于为他效命。