富岡舊名為「猴子」,是早期東海岸原住民由綠島登島的第一站,再由此處向海岸線遷居,地緣附近仍留下部份遺址;當地原住民仍留於現今港區西南側較高的海階上,富岡漁港興建之後,又有部份居民遷址到附近漁民的西側海階上,為昔日的富岡新村,多為漢人族群;以附近農業為生的居民則是沿街面而居住。