ハリスは1856年8月、秘書兼通訳のヒュースケンを伴い、米国初代駐日総領事として下田に到着しました。ハリスの役割は日本を開国させ、通商の道筋を付けることにありました。

下田柿崎の玉泉ぎょくせん寺を領事館とし、下田奉行と交渉を開始しましたが、幕府に開国・通商の意志はなく、将軍謁見、幕閣との交渉の要請は幾度も拒否されました。言葉も通じず、風俗習慣も異なる地で下田奉行を相手に忍耐強く、時には威嚇も交えて交渉を重ねました。

将軍に謁見し、直接幕閣と交渉するため江戸に迎えられたのは下田着任後15ヶ月も経った1857年12月です。江戸へは300名とも言われる大名行列で天城を越え8日間の行程でした。ここに展示の羽織はハリスの脇を固める召使いや駕篭かきが着たもののレプリカですが、合衆国の紋章バルトイーグルが染められています。

ハリスは将軍に謁見し、幕閣に世界の情勢を説き、交渉を重ね、遂に日米修好通商条約の締結に成功しました。条約締結は1858年7月29日(安政5年6月19日)、神奈川小柴こしば沖のポーハタン号上でおこなわれ、新たに横浜・長崎・新潟・神戸の港を開き、江戸・大坂の開市が約束されました。ここで日本は鎖国をやめ、開国通商に踏み出すことを世界に宣言したことになったわけです。

アメリカに続いて西欧諸国も次々と日本に開国通商を迫り、幕府はハリスと条約締結後3ヶ月に満たない間に、オランダ、ロシア、イギリス、フランスと通商条約を結びました。ハリスはこれらの国々との条約締結に仲介の労をとり、条約内容は日米条約が基になっています。