Inúmeros devem ter sido os piratas e corsários que passaram por estas águas calmas e protegidas, a procura de abrigos naturais, mas são poucos os registros oficiais. Um desses fatos remonta a 1591, quando o sanguinário Thomas Cavendish de origem inglesa, esteve por aqui de passagem, após saquear a cidade de Santos. Outro episódio data da década de 1850, quando houvera grande movimentação de navios piratas, corsários e negreiros na região.
Já os naufrágios não foram raros, com algumas embarcações de grande porte, tais como o patacho português Flor do Porto (1885 - entre a Ilha do Arvoredo e a Ilha do Macuco); o vapor brasileiro Orion (1912 - Ilha do Macuco); o navio de passageiros O Rio (1926 - Ilha do Macuco) e o cargueiro Lili (1957 - Ilha das Galés). Este último, com importante acervo histórico, recuperado e exposto no Museu e Aquário Marinho do CEMAR em Bombinhas.Todo esse passado motivou a população local a contar estórias e lendas sobre tesouros, como o caso do navio espanhol, que no início do século XIX realizou um desembarque e sepultamento na Praia do Cantinho, Praia da Sepultura. Tempos depois teria retornado para buscar o caixão, que segundo contam, ao invés de conter um cadáver, estava repleto de moedas de ouro e prata e de pedras preciosas.
