Targan, Osmanlı Devleti'nin son Mekke emiri ve evkaf nazırlarından Ali Haydar Paşa ile Sabiha Hanım'ın oğlu olarak 21 Ocak 1892'de Çamlıca'da dünyaya geldi.
Arap dünyasında "Şerif Muhiddin Haydar" olarak da tanınan ve tam adı Fehametli Şerif Muhiddin bin Ali Haydar olan sanatçı, üniversite yıllarına kadar özel derslerle öğrenimini sürdürdü.
Evlerinde düzenlenen haftalık toplantılar sayesinde musikiyle tanışan Targan, çocukken piyano ve ut çalmaya başladı.
Targan, amcası Ali Cabir Paşa'nın önerisiyle 1906'da Mösyö Riki'den viyolonsel dersleri almaya başladı, sonrasında ise Klevder, Eringer Triyanon ve çeşitli eğitmenlerden solfej, armoni ve piyano öğrendi.
Irak'tan gelen resmi davetle Bağdat'a taşındı
Sanatçı, Ali Rifat Bey'den Türk musikisi klasiklerinden önemli fasıllar, Rauf Yekta Bey'den nazariyat, Zekaizade Hafız Ahmet Efendi'den ise makam ve usul dersleri aldı. Targan, 1908'de Darülfünun Hukuk Fakültesi, ardından Edebiyat Fakültesinde eğitim gördü ve mezun oldu.
Mekke emirliğine tayin olan babasıyla 1916'da Hicaz'a giden sanatçı, bir süre Şam'da yaşadı.
Şerif Muhittin Targan'ın ailesi, I. Dünya Savaşı'nın ardından Şerif Hüseyin'in Osmanlı Devleti'ne karşı Arabistan'da başlattığı isyana katılmadığı için maddi ve manevi büyük kayıp yaşadı.
Cumhuriyetin kurulmasının ardından sanat çevrelerinden yeterince ilgi görmeyen Targan, 1924'te gittiği Amerika'da 8 yıl kaldı. ABD'nin önemli konser salonlarında çok sayıda konser veren sanatçı, New York'ta geçirdiği bir ameliyat sonrası 1932'de İstanbul'a döndü.
Usta sanatçı, Irak hükümetinin davetiyle 1934'te Bağdat'a gitti. Doğu ve Batı musikisi bölümlerinin yer aldığı Bağdat Konservatuvarını kuran Targan, ud ve viyolonsel dersleri verdi. Daha sonra Güzel Sanatlar Akademisi haline getirilen okulda tiyatro ve heykel bölümlerini açtı.
Targan, Bağdat'ta yaşadığı yıllarda ünlü udiler Cemil ve Münir Beşir kardeşler ile sanatçı Selman Şükür'ü de yetiştirdi.
1950'de ünlü sanatçı Safiye Ayla ile evlendi
Usta sanatçı, geçirdiği bir rahatsızlık nedeniyle 1948'de İstanbul'a döndü. Aynı yıl Hüseyin Sadettin Arel'in istifasıyla boşalan İstanbul Belediye Konservatuvarı ilmi kurul başkanlığına getirildi.
Sanatçı Safiye Ayla ile 1950'de dünya evine giren Targan, sağlık sorunları dolayısıyla 1951'de konservatuvardaki görevinden istifa etti.
Kemani, viyolonselist ve piyanist Şerif Abdülmecit Targan'ın kardeşi de olan sanatçı, Arapça, Farsça, İngilizce ve Fransızca biliyordu. Zarif ve mütevazı kişiliğiyle tanınan, çeşitli portre ve peyzaj eserlere imza atan sanatçı, 13 Eylül 1967'de İstanbul'da vefat etti. Sanatçının cenazesi Zincirlikuyu Mezarlığı'na defnedildi.
Vefatının ardından koleksiyonunda bulunan kitaplar, tablolar, Türk ve Batı musikisine ait notalar, vasiyeti üzerine eşi Safiye Ayla tarafından Süleymaniye Kütüphanesi'ne bağışlandı.
Sanatçı, Türk musikisi eserlerini Batıya da dinletebilmek için çok sesli armoniden çok kontrpuana dayanan, aynı zamanda milli karakterini kaybetmeyen bir musikinin meydana getirilmesinin gerektiğini savundu.
Bestelediği 25 eserin sadece üçü şarkı formunda olan Targan, dügah, ferahfeza, hüzzam ve uşşak saz semaileri ile tanındı.
Targan, hüzzam saz semaisi olan ilk eserini Mehmed Akif Ersoy'a ithaf etti. Eserin bir bölümünü 13 yaşında besteleyen sanatçı, diğer bölümünü ise 1924'te tamamladı.