En 1777, hôtel particulier de la duchesse de Kingston exilée à Calais, l’immeuble qui abritera plus-tard l’hôtel consulaire, passa par plusieurs mains avant de devenir au XIXème siècle un hôtel-restaurant, un pensionnat de jeunes filles, un couvent de religieuses.
Racheté en 1892, par la chambre de commerce, l’imposante bâtisse était en triste état. Une nouvelle façade tournée vers le bassin du Paradis fut construite ainsi que deux ailes latérales, l’une donnant sur les rues de la Poissonnerie à l’est, et Jean-Noël Dubout à l’ouest.
Endommagé lors de la guerre 1914-1918, l’hôtel consulaire fût pratiquement rasé par les bombes lors de la guerre 1940-1945.