严格说来，中国古代的监察制度出现于战国时期，是当时官僚制度的一个组成部分。在战国的郡县制下，郡守和县令可以集行政、军事、司法大权于一身。为了切实保证君主的诏令能够得到有效的贯彻执行，实现对守令活动的控制，加强监察就成为重要的事情。于是，御史一职遂被赋予监察职能。当时，在魏、韩等国的县级机构中，都设置了这一职官，秦统一全国后，进一步强化监察职能，全国建立了自上而下的监察职官体系：中央设御史大夫，总管全国的监察，郡设监御史负责郡县的监察。这套制度为后来封建社会的监察制度奠定了基础。

汉朝建立初期，中央百官主要由御史大夫的属官御史中丞负责督率，地方则不设监御史，郡国吏治由中央临时派出的御史负责监察。汉武帝元封五年（前106），为有效监控地方，始置刺史。规定把全国除三辅（京兆尹、左冯翊、右扶风）、三河（河内、河南、河东）和弘农以外的地区，划分为十三个监察区域，称为十三州部。每个州部设刺史一人。刺史没有固定的治所，每年八月巡视所部郡国，考察吏治，奖惩官员，断治冤狱。刺史多由六百石官选任，秩俸不高，却可以监察郡守、诸侯相，甚至还可以监察诸侯王。刺史以卑临尊，在当时收到了很好的效果。

汉成帝以后刺史逐渐改成州牧，刺史的性质也发生很大的变化。作为监察区域的州逐渐变成郡的上一级地方行政组织，刺史也成了具有统郡职能的长官。到东汉末年，刺史又有了领兵之权，更成为名符其实的地方最高军政大员，从而开东汉末年军阀割据之渐。这样的结果，完全背离了汉武帝设置刺史以加强中央集权政治的本意。

除刺史外，司隶校尉、丞相司直，也是汉朝重要的监察官。司隶校尉专门负责三辅、三河、弘农地区的监察事务。由于京师地处这一范围，所以司隶也有权监察百官。丞相司直是丞相的属官，主要职掌负责朝官的监察。汉廷通过各个方面的监察活动，来督促官员遵守国家的法纪，保证政令的畅通。

魏晋时期，全国最高的监察机构是御史台，长官是御史中丞。又置殿中侍御史、禁防御史、检校御史等，具体负责中外监察事务。

隋朝初年，御史台是惟一的监察机构，隋场帝时始增谒者、司隶二台，合称“三台”。唐承隋制，以御史台为最高监察机构。唐高宗龙朔二年（662）将御史台改称“宪法台”，武后光宅元年（684）又称“肃政台”。御史台设有台院、殿院和察院，合称“三院”，分别由传御史、殿中传御史、监察御史掌其职、合称“三院御史”。三官既有合作，又有分工，共同构成一个严密的监