Berlokasi di Jalan Kali Besar Barat 17, di sisi sungai Ciliwung, bagian dari Roa Malaka, Toko Merah sebelumnya merupakan kediaman dari Willem Baron van Imhoff, yang dikemudian hari menjadi Gubernur Jenderal Perusahaan Kongsi Hindia Timur (VOC) periode 1743-1750.

Dalam sejarah panjangnya, bangunan ini pernah diubah menjadi akademi maritim dari tahun 1743-1755, akademi maritim pertama dan bergengsi di Timur Jauh pada saat itu. Dikemudian hari bangunan juga pernah digunakan menjadi tempat tinggal sementara dari  pejabat tinggi pemerintahan dari tahun 1787-1808.

William Bligh, komandan dari kapal Bounty, dimana wakilnya melakukan pemberontakan di atas kapal pada tanggal 28 April 1789,  pernah menjadi tamu disini. Pemberontakan ini menjadi terkenal dengan dibuatnya film ‘The Mutiny on the Bounty’ dengan Anthony Hopkins sebagai ‘Bligh’ dan Mel Gibson sebagai wakil komandan ‘Christian Fletcher’.

Pada tahun 1851, bangunan ini dibeli oleh pedagang Cina yang mengecat semua tembok batu batanya dengan warna merah.  Sejak saat itu bangunan ini dikenal sebagai Toko Merah. Dominasi warna merah tampak baik di luar maupun di dalam ruangan.

Dalam periode yang sama, bangunan ini menjadi pusat perdagangan budak di koloni Belanda. Hal ini dapat dilacak dari nama-nama daerah yang berada disekitar  lokasi, seperti Manggarai sebagai contohnya yang merupakan desa para budak dari Flores, Kampung Bali yang merupakan desa budak dari Bali dan Kampung Ambon, yaitu desa para budak dari Maluku.

Pada abad ke 18, kapal-kapal dapat berlayar sampai ke Ciliwung di Kali Besar, dan bersandar langsung didepan deretan toko untuk menurunkan muatan berharga mereka. Daerah ini pada saat itu dikenal dengan ‘Pusat Bisnis’, dengan lalu lintas yang sangat padat baik di darat maupun di sungai. Saat ini, dengan kedangkalan sungai, tidak ada satupun kapal yang dapat masuk kedaerah Kali Besar, walaupun lalu lintas di darat tetap sibuk.

Toko Merah dibangun dengan arsitektur Barok abad ke 18. Ornamen-ornamen yang terdapat di bangunan merupakan campuran dekorasi klasik Eropa dan Cina. Tangga dengan dekorasi Barok di bangunan ini merupakan hal yang paling mengagumkan dari Toko Merah.