Burası, Bizans İmparatoru Iustinianos tarafından 530 yılına doğru kilise olarak inşa ettirilmiş. Camiye çevrilmeden önceki adı Sergios ve Bakkhos Kilisesi.
Kuruluş efsanesine göre I. Iustinianos, amcası I. Iustinos aleyhine bir ayaklanmaya karıştığı için cezalandırılacağı sırada asker azizlerden Sergios ve Bakkhos’un Iustinos’un rüyasına girerek lehinde tanıklık etmeleriyle kurtulmuş ve Iustinianos imparator olunca da şükran borcunu ödemek üzere bu azizlerin adına kiliseyi yaptırmış.
16. yüzyılın başlarında II. Bayezid döneminin Kapıağası Hüseyin Ağa tarafından camiye çevrilmiş.
Erken Hıristiyan döneminin merkezî planlı ve galerili yapılarının en güzellerinden biri olan Sergios ve Bakkhos Kilisesi cami haline getirilirken ana mekân o çağın Osmanlı sanat üslûbunda elemanlarla bezenmiş.
Duvarlardaki sıva ve badanaların altında duvar resimlerinin kalıntıları hala duruyor olabilir.
Taş işçiliği İlkçağ sanatından Bizans sanatına geçiş döneminin izlerini gösteriyor. Bilhassa alt kattaki sepet biçimli sütun başlıkları matkapla işlenmiş bezemeleriyle kuvvetli gölge ışık etkisine sahip. Ortalarında Iustinianos’un monogramları var.
İki katı ayıran mermer frizler de tamamen İlkçağ sanatı üslûbunda. Bunların arasında, binanın içini dolaşan bir friz yüzeyinde VI. yüzyıl Bizans yazı sanatının güzel bir örneği olan kabartma harflerle işlenmiş bir yazı Iustinianos ve eşi Teodora’nın adlarını vererek kilisenin Sergios’a adandığını bildiriyor.
Küçük Ayasofya Camii, merkezî planlı Erken Bizans dönemi yapılarının güzel bir örneği. Kubbe kabuğu tamamen düz bir yüzey halinde olmayıp dalgalı biçimde örülmüş.