Ayvansaray, Tekfur Sarayı'ndan Haliç'e doğru inen İstanbul kara tarafı surlarının deniz tarafı surlarıyla birleştiği bölgededir. Surların bu bölümü Heraklikus ve Leon Surları olarak anılır.
Semt ismini Blaherna Sarayı'ndan alıyor. "Eyvanlı Saray"ın geçmişten günümüze değişmiş halidir.