永平十一年，明帝敕令在洛陽西雍門外三裡禦道北興建僧院，取名白馬寺。同年秋，江夏安陸黃氏一戶人家喜添一名男嬰，因院中桂花香氣撲鼻，故取名黃香。黃香自幼家境貧寒，沒錢供他讀書，他從小就一邊幫家裡大人做事一邊向附近有學問的人請教學習。當地讀書人見黃香這麼小就求學好問都感到驚奇，於是十分喜愛他，對他傳授知識也都不曾有所保留，幾乎傾囊相授。黃香九歲時母親因病故去，至親的離世使他幼小的心靈遭到了巨大的打擊。黃香一度茶飯不思神誌恍惚，後來生了一場大病竟然差點死掉。黃香在昏沉中呼喚著母親，無論大夫怎樣叫都醒轉不來。黃香的父親哭泣著抱起黃香說道：“我到底犯了什麼樣的過錯，上天要一次帶走我的兩個親人。”奇怪的是黃香好似聽到了他父親的聲音，呼吸慢慢平穩下來，終於在幾日後恢複了正常