另一边，义成公主作为隋突和亲的公主，自然还站在隋这一边，她接到炀帝的求救信，便对始毕可汗说：“北部边境出现战乱，请可汗大人速速回援。”始毕可汗一愣，心想：“北边有战事，我怎么可能不知道？”正巧，又有人来报：“来自洛阳和其他诸郡的隋朝援军已经抵达忻口（今属山西省忻州市）。”始毕可汗皱了皱眉，不过他想到此次围困雁门，已经让隋炀帝尝到了不少苦头，更何况他本来决定突袭隋炀帝车驾，就是为了打压一下隋炀帝嚣张的气焰，现在目的已经达成，便不再在此地多费时日。于是，这一年的九月，始毕可汗下令撤军，历时一个月的雁门之围得解。隋炀帝听说始毕可汗撤兵，赶紧派人出城打探消息是否属实，回报说：“山谷皆空，无胡马。”隋炀帝终于松了一口气，下令车驾返回东都洛阳。雁门之围虽解，但隋朝政府和突厥之间因此产生的裂痕却不能弥补了，《隋书·突厥传》记载：“由是，朝贡遂绝。明年，复寇马邑，唐公以兵击走之。”突厥停止对隋朝进贡，并且再次开始劫掠隋突边境一带的城市，虽然突厥军被李渊击退，但以隋朝为主导的东亚文明体系已经崩溃却是不争的事实。除此之外，回到洛阳后，炀帝并没有兑现此前对将士的承诺，克扣了许多封赏，并且再一次开始商议征讨高句丽的事。“高句丽”一词，几乎成为了隋朝军民的敏感词汇，大家谈“高”色变，加上封赏克扣，因此对炀帝越来越不满。隋朝此时的状况，真可以用“内外交困”来形容了。
更令人可悲的是，隋炀帝对这样的情况仍然没有一个清醒的认识，面对国内的乱局，隋炀帝表现出来的情绪更多是恐慌与不安，甚至有一些异乎常人的举动。在这一点上，父亲杨坚的强势他没有继承下来，恐怕他只继承了皇族的高贵以及一些虚伪、带着面具的骗术。根据《资治通鉴》的记载，隋炀帝出现了一些类似于狂想症的举动。大业十二年（公元616年）四月，城中一处宫殿发生火灾，隋炀帝却以为是起义军已经打了进来，大呼着跑了出去，趴到草丛里，哆哆嗦嗦不敢出来。大业八年（公元612年）以来，隋炀帝常常做梦梦到义军推翻了自己的王朝，每到这时，他便从梦中惊醒，再也睡不着。这一症状发展到后来，以至于需要许多嫔妃一边摇着一边哄着，他才能睡着。这是一个多么可悲的帝王！笔者读《资治通鉴》每每读到这里，常常对炀帝心生怜悯之心，但可怜人必有可恨之处，炀帝咎由自取，做过什么样的亏心事，青史书卷知道，他自己心里也知道。
不过笔者认为，隋炀帝的恐惧，并非来自于软弱，恰恰相反，这一股恐惧来源于自信。隋炀帝内心的自信，是如同皇权那样神圣不可侵犯的。无论遇到什么挫折，他内心或许会恐惧到极点，但他永远不会低下骄傲的头颅。这也是笔者前文提到“恐怕他只继承了皇族的高贵以及一些虚伪、带着面具的骗术”的原因。笔者举几个例子来证明这一点。是年，隋炀帝有一次向诸臣问起天下起义军的情况。宇文述只会逢迎帝好，于是对炀帝说：“陛下请放心，现在起义军数量还不到之前的十分之一。”这一番话让一个人倍感尴尬——苏威。苏威不愿意听宇文述在朝堂之上胡言乱语，于是躲到了柱子后面去。隋炀帝很奇怪，赶紧叫他出来，问他缘由。苏威叹了口气，慢慢地说：“臣不知道具体有多少义军，只知道他们离这里越来越近了！”隋炀帝更加不解，便追问下去，《隋书·苏威传》记载，苏威说：“他日贼据长白山，今者近在荥阳、汜水。”《资治通鉴》所记更加详细：
他日贼据长白山，今近在汜水。且往日租赋丁役，今皆何在！岂非其人皆化为盗乎！比见奏贼皆不以实，遂使失于支计，不时翦除。又昔在雁门，许罢征辽，今复征发，贼何由息！
苏威的意思是自王薄首义于长白山以来，整个中原大地迅速陷入战火，各地都有义军形成，国家收上来的租税越来越少，原因何在？很明显是少掉的那些人都去起义了嘛！当时在雁门，您已经承诺不再讨伐高句丽，现在却出尔反尔，义军的数量怎么会少！苏威这一番话把隋炀帝这两年做的傻事和盘托出，隋炀帝一时无地自容，但念及苏威有功，也不方便直接惩罚他，便直接宣布退朝。过了几天，端午节到了。百官按礼法，都向隋炀帝进献礼物，唯独苏威将一部《尚书》送给了隋炀帝。隋炀帝起初没明白是怎么回事，还以为是苏威特地挑选了这么正经的礼物送给自己以勉励自己。事后有人翻开《尚书》，指着《五子之歌》对炀帝说：“陛下可曾知道五子之歌的故事？苏威此举，实为讽您失国！”所谓五子之歌，指的是夏朝太康的五个弟弟唱的五首歌。这五首歌皆是劝谏太康要勤政爱民，以国事为先，但最终太康还是因喜好声色犬马而失国了。因此才会有人借题发挥，在炀帝面前狠狠弹劾了苏威一番。隋炀帝非常生气，但这一次，他还是选择了忍气吞声。不久之后，隋炀帝又开始与苏威商讨征伐高句丽的事宜。苏威没有办法，只好给炀帝出了一条计策：“赦免天下诸盗，让他们去打高句丽，他们都是戴罪之身，走投无路才走