Он пытался покончить жизнь самоубийством, проглотив пригоршню успокоительных; также он едва не убил себя несколько раз, мчась на мотоцикле и будучи под ЛСД и кокаином. После своего ухода из мира спортивного плавания, он словно исчез. В 2004-м его уволили из тату-салона в Беркли. Он играл на гитаре в группе под названием «Оружие Массового Поражения», а также некоторое время продавал музыкальные инструменты в специализированном магазине. В 2005-м его так сильно тронуло горе жертв цунами, что он продал свою золотую медаль за 17’000$ и пожертвовал вырученные деньги на оказание помощи пострадавшим.
Медленное, но верное «возвращение» Эрвина началось в 2008-м, когда он восстановился в качестве студента в калифорнийский университет в Беркли. Он изучал литературу и открыл в себе страсть к средневековым текстам. И, в конце концов, в 2011 он вновь захотел плавать.