Рафи родился 24 декабря 1924 года. в городе Амритсар в мусульманской семье со средним достатком.То что Рафи обладает незаурядным голосом впервые заметил его старший брат - Джанаб Хамид Сахаб. И он решил сделать все для того чтобы его младшего брата заметили в огромном музыкальном мире .В возрасте  7 лет Рафи начал учиться индийской классической музыке под руководством Устада Баре Гулям Али Кхана и Вахиды Кхан. Старт его карьеры начался в 20 лет с пенджабской песни Soniye Hiriye в фильме 'Gul Baloch", который вышел на экраны 28 февраля 1944 года. До этого он пел только детские песни, после этого же фильма он спел в фильме "Gaon ki Gori" Этот фильм был очень успешен и о голосе рафи заговорила вся страна.