Sebelum terbentuknya Komisi Yudisial (KY), pembentukan lembaga pengawas peradilan sebenarnya sempat digagas. Misalnya, Majelis Pertimbangan Penelitian Hakim (MPPH) dan Dewan Kehormatan Hakim (DKH). MPPH yang telah diwacanakan sejak tahun 1968 berfungsi memberikan pertimbangan dan mengambil keputusan terakhir mengenai saran-saran dan/atau usul-usul yang berkenaan dengan pengangkatan, promosi, kepindahan, pemberhentian, dan tindakan/hukuman jabatan para hakim yang diajukan, baik oleh Mahkamah Agung maupun oleh Menteri Kehakiman. Sayangnya, ide tersebut menemui kegagalan sehingga tidak berhasil menjadi materi muatan Undang-Undang Nomor 14 Tahun 1970 tentang Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman. Sementara Dewan Kehormatan Hakim (DKH) yang tertuang dalam Undang-Undang Nomor 35 Tahun 1999 berwenang mengawasi perilaku hakim, memberikan rekomendasi mengenai perekrutan, promosi, dan mutasi hakim, serta menyusun kode etik (code of conduct) bagi para hakim. Melalui Amendemen Ketiga Undang–Undang Dasar Negara Republik Indonesia Tahun 1945 pada tahun 2001 disepakati tentang pembentukan Komisi Yudisial. Ketentuan mengenai Komisi Yudisial diatur dalam Pasal 24B Undang-Undang Dasar Negara Republik Indonesia Tahun 1945. Maksud dasar yang menjadi semangat pembentukan Komisi Yudisial disandarkan pada keprihatinan mendalam mengenai kondisi wajah peradilan yang muram dan keadilan di Indonesia yang tak kunjung tegak. Komisi Yudisial karenanya dibentuk dengan dua kewenangan konstitutif, yaitu untuk mengusulkan pengangkatan hakim agung dan mempunyai wewenang lain dalam rangka menjaga dan menegakkan kehormatan, keluhuran martabat, serta perilaku hakim. Selanjutnya, dalam rangka mengoperasionalkan keberadaan Komisi Yudisial, dibentuk Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial yang disahkan di Jakarta pada tanggal 13 Agustus 2004.