Οι αρμοδιότητες του Υπουργείου εκτείνονταν σε όλα τα ζητήματα σχετικά με τη Δημόσια Διοίκηση, τόσο σε επίπεδο οργανωτικό, όπως η απλούστευση διοικητικών διαδικασιών, οι σχέσεις κράτους - πολίτη (Κέντρα Εξυπηρέτησης Πολιτών, Κ.Ε.Π.), η οργάνωση των δημοσίων υπηρεσιών και οι διοικητικές μεταρρυθμίσεις, όσο και σε επίπεδο ανθρώπινου δυναμικού, όπως η νομοθεσία σχετικά με τους δημοσίους υπαλλήλους και τους υπαλλήλους με συμβάσεις ιδιωτικού δικαίου αορίστου χρόνου (Ι.Δ.Α.Χ.) και ορισμένου χρόνου (Ι.Δ.Ο.Χ.), οι οποίοι απασχολούνταν στον δημόσιο τομέα. Ήταν αρμόδιο επίσης για τα θέματα ηλεκτρονικής διακυβέρνησης και ανάπτυξης της πληροφορικής και των νέων τεχνολογιών στη δημόσια διοίκηση (π.χ. ανοικτή διακυβέρνηση). Σε αυτό υπάγονταν ακόμα το Σώμα Επιθεωρητών-Ελεγκτών Δημόσιας Διοίκησης και ο Γενικός Επιθεωρητής Δημόσιας Διοίκησης, το Εθνικό Τυπογραφείο και οι ανεξάρτητες αρχές Συνήγορος του Πολίτη και Ανώτατο Συμβούλιο Επιλογής Προσωπικού (Α.Σ.Ε.Π.). Τέλος ασκούσε εποπτεία επί του Εθνικού Κέντρου Δημόσιας Διοίκησης και Αυτοδιοίκησης (Ε.Κ.Δ.Δ.Α.) και της ανώνυμης εταιρείας "Κοινωνία της Πληροφορίας".
Την 1 Αυγούστου 1974 με την απόφαση 14984/31.7.1974[1] του Πρωθυπουργού Κ. Καραμανλή η εποπτεία επί της Γενικής Διεύθυνσης Δημοσίας Διοικήσεως ανατέθηκε στον Υφυπουργό παρά τω Πρωθυπουργώ Ιωάννη Μπούτο. Στις 21 Σεπτεμβρίου 1974 η ανωτέρω απόφαση αντικαταστάθηκε από την απόφαση 17546/21.9.1974[2] χωρίς τροποποίηση των αντίστοιχων αρμοδιοτήτων του Υφυπουργού.
Στις 11 Οκτωβρίου 1974 με την απόφαση 20020/11.10.1974[3] του Πρωθυπουργού Κ. Καραμανλή η εποπτεία επί της Γενικής Διεύθυνσης Δημοσίας Διοικήσεως ανατέθηκε στον Υπουργό παρά τω Πρωθυπουργώ Άγγελο Βλάχο.
Στις 5 Δεκεμβρίου 1974 με την απόφαση 24682/3.12.1974[4] του Πρωθυπουργού Κ. Καραμανλή η εποπτεία επί της Γενικής Διεύθυνσης Δημοσίας Διοικήσεως ανατέθηκε στον Υπουργό παρά τω Πρωθυπουργώ Γεώργιο Ράλλη.
Την 1 Ιανουαρίου 1975 με το Ν.Δ. 216/1974[5], μετά από πρόταση της Κυβέρνησης Κ. Καραμανλή, συνεστήθη το Υπουργείο Προεδρίας Κυβερνήσεως, στο οποίο μεταφέρθηκε, μεταξύ άλλων, η Γενική Διεύθυνση Δημοσίας Διοικήσεως. Συγχρόνως η θέση του Υπουργού παρά τω Πρωθυπουργώ, ο οποίος ασκούσε την εποπτεία επί της Γενικής Διεύθυνσης, καταργήθηκε.
Στις 14 Σεπτεμβρίου 1995 με το Π.Δ. 373/1995[6], μετά από πρόταση του Πρωθυπουργού Α. Παπανδρέου, το Υπουργείο Προεδρίας της Κυβέρνησης συγχωνεύθηκε με το Υπουργείο Εσωτερικών στο Υπουργείο Εσωτερικών, Δημόσιας Διοίκησης και Αποκέντρωσης και την 1 Νοεμβρίου 1995 με το Π.Δ. 400/1995[7] οι υπηρεσίες του συγκρότησαν τη Γενική Γραμματεία Δημόσιας Διοίκησης.
Στις 9 Δεκεμβρίου 2003 με το Ν. 3200/2003[8] η Γενική Γραμματεία Δημόσιας Διοίκησης μετονομάσθηκε σε Γενική Γραμματεία Δημόσιας Διοίκησης και Ηλεκτρονικής Διακυβέρνησης.
Στις 19 Σεπτεμβρίου 2007 με το Π.Δ. 205/2007[9], μετά από πρόταση του Πρωθυπουργού Κ. Καραμανλή, το Υπουργείο Εσωτερικών, Δημόσιας Διοίκησης και Αποκέντρωσης συγχωνεύθηκε με το Υπουργείο Δημόσιας Τάξης στο Υπουργείο Εσωτερικών.
Στις 7 Οκτωβρίου 2009 με την απόφαση 2876/7.10.2009[10] του Πρωθυπουργού Γ. Παπανδρέου το Υπουργείο Εσωτερικών μετονομάστηκε σε Υπουργείο Εσωτερικών, Αποκέντρωσης και Ηλεκτρονικής Διακυβέρνησης.
Στις 27 Ιουνίου 2011 με το Π.Δ. 65/2011[11], μετά από πρόταση του Πρωθυπουργού Γ. Παπανδρέου, η Γενική Γραμματεία Δημόσιας Διοίκησης και Ηλεκτρονικής Διακυβέρνησης του Υπουργείου Εσωτερικών, Αποκέντρωσης και Ηλεκτρονικής Διακυβέρνησης συγκροτήθηκε σε Υπουργείο Διοικητικής Μεταρρύθμισης και Ηλεκτρονικής Διακυβέρνησης.