Pematang Siantar. Ayah Harun juga seorang ulama yang menguasai kitab-kitab Jawi dan suka membaca kitab kuning berbahasa Melayu. Sedangkan, ibunya seorang boru Mandailing Tapanuli, Maimunah keturunan seorang ulama, pernah bermukim di Mekkah, dan mengikuti beberapa kegiatan di Masjidil Haram. Harun berasal dari keturunan yang taat beragama, keturunan orang terpandang, dan mempunyai strata ekonomi yang lumayan. Kondisi keluarganya yang seperti itu membuat Harun bisa lancar dalam melanjutkan cita-citanya mendalami ilmu pengetahuan.
Harun memulai pendidikannya di sekolah Belanda, Hollandsch Inlandche School (HIS) pada waktu berumur 7 tahun. Selama tujuh tahun, Harun belajar bahasa Belanda dan ilmu pengetahuan umum di HIS itu. Dia berada dalam lingkungan disiplin yang ketat. Di lingkungan keluarga, Harun memulai pendidikan agama dari lingkungan keluarganya dengan belajar mengaji, shalat dan ibadah lainnya.
Selama 7 tahun ia belajar di HIS dan tamat pada tahun 1934 ketika berumur 14 tahun. Pelajaran yang disenanginya adalah ilmu pengetahuan alam dan sejarah.
Harun melanjutkan pendidikan ke sekolah agama yang bersemangat modern (MIK). Setelah sekolah di MIK, ternyata sikap keberagamaan Harun mulai tampak berbeda dengan sikap keberagamaan yang selama ini dijalankan oleh orang tuanya, termasuk lingkungan kampungnya. Harun bersikap rasional sedang orang tua dan lingkungannya bersikap tradisional.
Di negeri gurun pasir itu, Harun tidak lama dan memohon pada orang tuanya agar mengizinkannya pindah studi ke Mesir. Di Mesir, dia mulai mendalami Islam pada Fakultas Ushuluddin, Universitas Al-Azhar, di Kairo.
Pada usia 24 tahun beliau rnenikahi gadis Mesir, Sayedah. Pada saat itu pula Harun telah menyelesaikan studinya di Uninversitas Amerika di Cairo yang berhasil mendapatkan gelar B. A (serjana muda).
