Coube a um francês de Marselha, Louis Dominique Pharoux (?-1867), a implementação do primeiro hotel de luxo no Brasil. Depois de lutar ao lado de Napoleão e ser derrotado, ele veio se exilar no Brasil em 1815 ou 1816. Fundou primeiro uma hospedaria modesta na rua da Quitanda e, em 1838, transferiu o hotel para um edifício de três andares, além do térreo, na então chamada rua da Fresca na esquina com o Largo do Paço (atual Praça XV). O hotel que levava seu nome inaugurou um novo padrão para as hospedarias da capital do Império, que até então só oferecia alojamentos bastante simples e, em geral, sujos.
O Hotel Pharoux, nos moldes dos europeus, tinha um grande restaurante, móveis sofisticados e roupas de cama confortáveis. Para comodidade de seus hóspedes, havia em frente ao hotel um cais onde podiam desembarcar dos navios e suas malas eram diretamente carregadas para a hospedaria. O cais ficou conhecido com o nome do hotel, como se pode ver na gravura do militar e pintor, também francês, Adolphe d'Hastrel (1805-1874), que passou pelo Rio de Janeiro em 1840, ao retornar do Rio da Prata onde participara de operações militares. Essa gravura e outras que integram o acervo da Brasiliana Iconográfica são parte do álbum Rio de Janeiro ou Souvenirs du Brésil, publicado na França em 1847.
Fato raro para a época, o Pharoux oferecia também serviço de banho, com banheiras de mármore e metal, torneiras de água quente e fria que permitiam regular a temperatura e toalhas brancas. Além de ter acomodações mais modernas e sofisticadas que os seus predecessores, o Pharoux também ficou conhecido por sua cozinha e pelo fato de servir bons vinhos franceses, o que era bastante raro na corte em que os vinhos portugueses predominavam. Grandes jantares eram servidos no salão que abrigava mais de oitenta pessoas, em mesas com toalhas brancas e com menu francês. Outro atrativo do hotel eram suas três mesas de bilhar.
Assim, durante alguns anos, o Pharoux foi ponto de referência para os viajantes que chegavam ao Rio de Janeiro. Em janeiro de 1840, apenas um ano depois de o daguerreótipo ser apresentado na França, foi da sacada do hotel que o abade Louis Compte obteve os primeiros registros fotográficos feitos no Brasil, como noticiou o Jornal do Commércio (17/01/1840): "Finalmente passou o daguerreótipo para cá os mares e a fotografia, que até agora só era conhecida no Rio de Janeiro por teoria (...) Hoje de manhã teve lugar na hospedaria Pharoux um ensaio fotográfico tanto mais interessante, quanto é a primeira vez que a nova maravilha se apresenta aos olhos dos brasileiros. Foi o abade Compte que fez a experiência: é um dos viajantes que se acha a bordo da corveta francesa L'Orientale, o qual trouxe consigo o engenhoso instrumento de Daguerre...".
Somente três dias depois de registrar imagens do Largo do Paço, o abade foi a São Cristóvão mostrar a novidade para D. Pedro II (1825-1891), que viria a se tornar um grande admirador e colecionador de fotografias.
Dois anos depois, Augustus Morand Jr. (1815-1862?) e seu sócio e ajudante James E. Smith, americanos vindos de Nova York, abriram o primeiro estabelecimento comercial de fotografia no Hotel Pharoux. Na véspera do natal de 1842, eles anunciaram no Jornal do Commércio: “Morand e Smith, artistas do daguerreotypo, têm a honra de informar ao respeitável público desta corte que estabelecerão o seu gabinete no hotel Pharoux salão 52, casa nova, 2º andar, onde trabalharão todos os dias das 8 horas da manhã às 3 da tarde. Os anunciantes, tendo a convicção de poder satisfazer completamente as pessoas que se dignarem honrá-los, convidam os amadores das artes, e todo os que desejarem ter um retrato perfeito, um quadro de família ou vista qualquer, a visitar o seu gabinete”.
A empreitada durou pouco: em abril de 1843, eles deixaram o estúdio e voltaram para os Estados Unidos, mas antes fizeram vários retratos da família real a pedido de D. Pedro II.
O hotel Pharoux começou a ser desativado por volta de 1858. Louis Dominique Pharoux voltou para a França em 1864 e morreu três anos depois. O prédio foi ocupado pela Casa de Saúde N. Sra. da Glória e também por um outro hotel, o Real, mas já sem o mesmo glamour. Depois virou a Casa de Saúde Dr. Catta Pretta & Werneck, um dos primeiros hospitais particulares do Rio. Em 1959, o prédio foi demolido para a construção do elevado da Perimetral.