Thomas Whaley byggde denna familjegendom år 1857 på platsen där San Diegos första offentliga galgplats tidigare hade funnits. Kort efter att han flyttade in rapporterade han om att han hörde “Yankee” Jim Robinsons tunga fotsteg. Robinson var en kringvandrande tjuv som hade blivit hängd på platsen fyra år före huset byggdes. Whaleys familjehistoria blev fylld av tragiska dödsfall och självmord – många av dem inträffade inne i huset självt. Enligt Whaley House Museum spökar fortfarande vissa av familjemedlemmarna i landmärket, springer upp för trapporna och slår av och på lampor.
Många besökare till Whaley House har rapporterat att de sett och hört konstiga företeelser som tillskrivs spöket av Jim Robinson. Vissa har påstått att de hört ljudet av fotsteg, tung andning eller ljudet av galgplankans fallucka som öppnas och stängs. Andra har rapporterat att de sett en spöklik figur som liknar Robinson, klädd i tidsenliga kläder och ibland bär en rep eller snara.
Medan vissa människor är skeptiska till existensen av spöken, tror andra att Whaley House verkligen är hemsökt av andarna av dem som en gång bodde där, inklusive spöket av Jim Robinson. Oavsett om dessa rapporter är sanna eller inte så är Whaley House fortfarande en populär destination för dem som är intresserade av det paranormala och spökhistorier.