Masjid Kampung Kling ini di bina pada tahun 1748 oleh peniaga Muslim India sebagai binaan kayu. Kemudian,  pada tahun 1872 masjid ini telah dibina semula dari batu bata.