IKIP Yogyakarta diresmikan oleh Menteri Pendidikan Tinggi dan Ilmu Pengetahuan (PTIP) pada tanggal 21 Mei 1964.
Sejarah IKIP Yogyakarta tidak dapat dilepaskan dengan keberadaan Fakultas Pedagogik (FP) Universitas Gajah Mada yang didirikan pada tanggal 19 September 1955.
Pada waktu itu FP UGM memiliki dua bagian, yaitu Bagian Pendidikan dan Bagian Pendidikan Jasmani.
Pada tanggal 2 Februari 1962, Fakultas Pedagogik dipecah menjadi tiga fakultas, yaitu Fakultas Ilmu Pendidikan (FIP), Fakultas Pendidikan Djasmani (FPD), dan Fakultas Keguruan dan ilmu Pendidikan (FKIP).
Namun pada 1963 FPD dimasukan kedalam lingkungan Departemen Olahraga dan dijadikan Sekolah Tinggi Olahraga (STO).
Pada masa itu tuntutan terhadap dunia pendidikan semakin tinggi sehingga permintaan tenaga pengajar juga tinggi.
FKIP UGM begitu digemari sehingga jumlah mahasiswa pada tahun 1962 mencapai 1469 orang.
Untuk mengatasi hal itu maka kemudian muncul Surat Keputusan Menteri Pendidikan dan Kebudayaan No. 92 th 1962 tentang didirikannya Institut Pendidikan Guru (IPG).
Pada 3 Januari 1963 diterapkan penyatuan antara FKIP dan IPG menjadi IKIP. Begitu juga dengan FIP yang kemudian juga disatukan kedalam IKIP.
Saat awal pertumbuhannya dibulan September 1965, IKIP Yogyakarta memiliki lima fakultas, yakni Fakultas Ilmu Pendidikan (FIP), Fakultas Keguruan Ilmu Eksata (FKIE), Fakultas Keguruan Sastra dan Seni (FKSS), Fakultas Keguruan Ilmu Sosial (FKIS), dan Fakultas Keguruan Teknik (FKT).
IKIP Yogyakarta juga belum memiliki gedung sendiri. Kegiatan perkuliahan masih menumpang di gedung milik UGM, berbagai sekolah negeri (SD, SMP,dan SMA) di Yogyakarta, dan gedung gedung milik Kraton Kesultanan Yogyakarta.
Pada tahun 1977, STO bergabung menjadi bagian IKIP Yogyakarta dengan nama Fakultas Keguruan Ilmu Keolahragaan (FKIK).
Pada tanggal 1 januari 1971, terjadi perkembangan penting di IKIP Yogyakarta yaitu berdirinya Perpustakaan Pusat IKIP Yogyakarta.
Sebagai jantung ilmu pengetahuan di perguruan tinggi, pembinaan perpustakaan dilakukan langsung di bawah rektor. Sementara itu, mulai tahun 1972 IKIP Yogyakarta menggunakan Sistem Kredit Semester (SKS) untuk perkuliahan.
Dengan berlakunya SKS ini maka mulai 1973 dalam satu tahun ada dua pendaftaran perkuliahan yang dilaksanakan secara semesteran menggantikan sistem sebelumnya.