置河北道行台尚书省于并州，以晋王广为尚书令。置河南道行台尚书省于洛州，以秦王俊为尚书令。置西南道行台尚书省于益州，以蜀王秀为尚书令。
行台是始于曹魏的地方行政机构，在地方独大，可以说是在地方上的“中央政府”，杨坚把自己的儿子皆封为行台尚书令，即行台长官，目的就是加强对地方的管理以拱卫王室，力求达到一种“众星拱月”的效果。平陈之后，杨坚废除行台，另设大总管府，其根本性质与行台相似，都是为了加强对地方的控制而设的机构，《隋书》载：
天下唯置四大总管，并、扬、益三州，并亲王临统，唯荆州委于世康，时论以为美。
这是载于《隋书·韦世康传》中的一段文字，我们可以看到，大总管的位子仍然多是以亲王来坐，所以韦世康能坐上荆州大总管时人才能传为美谈。立行台也好，设大总管府也罢，这些行动皆是隋文帝杨坚为了加强对地方的监控而采取的第一步措施，他的第二步措施并没有拖得太久，而是几乎与第一步措施并行而施。这第二步措施为“废郡”。
当时，有个叫杨尚希的人，任度支尚书，也就是我们常说的户部尚书，负责管理百姓、户籍、人口，他发现历朝历代遗留下的地方建制问题非常严重，这些问题在隋朝的主要表现是州郡数量过多，地方官员数量过于庞大，造成一种冗官的现象，冗官所带来的必然就是冗费，各种各样的苛捐杂税铺天盖地，百姓生活负担非常重，同时由于官僚系统太过复杂，所以行政效率非常低，于是开皇三年（公元583年），他给杨坚上了一篇表文，就此问题提出了自己的看法，这篇表文被收录在了《隋书·杨尚希传》以及《北史·杨尚希传》中：
自秦并天下，罢侯置守，汉、魏及晋，邦邑屡改。窃见当今郡县，倍多于古，或地无百里，数县并置，或户不满千，二郡分领。具僚以众，资费日多；吏卒人倍，租调税减。清干良才，百分无一，动须数万，如何可觅？所谓民少官多，十羊九牧。琴有更张之义，瑟无胶柱之理。今存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才，敢陈管见，伏听裁处。
这篇表文的思路非常清晰。杨尚希希望通过此表，能向隋文帝杨坚反映南北朝遗留下来的官多民少，赋税沉重，人口、郡县配置不合理等诸多问题。笔者在此引复旦大学韩昇老师《隋文帝传》中的统计结果对此做一个说明，韩老师治学严谨，南朝北朝皆有统计，但由于隋朝是承北周而来，因此笔者在此先引北周一段：
北周的情况更是有过之而无不及，大象二年（580），其旧境有州一百五十六，郡三百四十六，县七百三十九，足可惊人。实际上，此时的州甚至比以往的郡还小，而且，经常是几级机构挤在一地办公。
这种尾大不掉的地方官僚系统自然让隋朝政府像一个笨重的胖子一样运转不灵，做事一向雷厉风行的杨坚对此自然不敢轻慢。当然，杨尚希也不是单纯地只想反映问题，他还给杨坚提出了自己的办法：“存要去闲，并小为大”，不难理解，杨尚希认为需要保留主要州郡，之前南北朝为了拉拢地方豪强而多设的零碎州郡可以合并进来，以达到为地方运作系统“瘦身”的目的。但杨坚不这样想，他虽然非常赞赏杨尚希能够及时向他反映这个问题，但是他心目中的做法显然要比杨尚希更加彻底、极端。《隋书·杨尚希传》载：“帝览而嘉之，于是遂罢天下诸郡。”由这条史料我们可以知道，杨坚没有刻意去调整郡县、人口、官僚的比例，而是直接把郡这一级省掉了，这样一来地方上的建制就由原来的州、郡、县sān_jí变成了州、县两级，地方上的行政体系就精简了许多。须知杨坚在地方上进行这样大刀阔斧的改革，许多州官郡官自然是首当其冲，这些在南北朝时期因皇权旁落而尝遍甜头的官僚对杨坚的这一举措非常不满。杨坚一方面坚持把这场改革推行下去，另一方面安抚这些地方上的土豪劣绅，久而久之，慢慢消解了社会上的不利舆论。杨坚在地方建制上的种种强硬举措，体现了他个人长远的眼光和果敢的品质，有得必有舍，能够在新朝初立时不惜牺牲这么多人的利益而达到巩固统治的目的，杨坚的胆魄可见一斑。虽然我们在前面分析杨坚去世前后的诸多事件时提到杨坚的种种表现都体现了他的目光短浅、急躁妄行，但须知他的这些行为是在自己弥留之际且杨广又做出调戏宣华夫人之事的情况下表现出来的，而且总的来看，这仍然属于皇帝家事的范