ポッター家はとても古い家系だが、魔法界の歴史において最前線にいたことはなく (ハリー・ジェームズ・ポッターの誕生までは)、堅実で快適な淀みでの暮らしに甘んじていた。

　ポッターはマグルの名字としても珍しいというわけではなく、この理由からいわゆる「聖28族」にも入っていない。おそらく最も権威ある純血リストの匿名の編集者が、ポッター家は彼自身が汚い血と考えるところから派生したのではないかと疑ったのである。しかし、魔法界のポッター家には著名な起源があり、そのいくつかが『死の秘宝』で暗示されている。

　マグル界では「ポッター」は職業名字で、陶器 (ポッタリー/pottery) を作る者という意味がある。魔法界のポッター家は、12世紀のスティンチコンブのリンフレッドという、地元で愛された変人魔法使いの子孫であり、そのニックネーム「ぶらぶら歩くやつ (ザ・ポッタラー/the Potterer)」が時が経つにつれて訛り、「ポッター」になった。リンフレッドはぼんやりした頭が空っぽな男で、近所の人はよく彼の医療サービスを訪れていた。リンフレッドの天然痘やマラリアに対する素晴らしい治療が魔法によるものだと気づいた者はいなかった。彼らはみな、リンフレッドのことをおかしな植物の生えた庭をただぶらぶら歩いている害のない愛すべき男だと思っていた。良い意味で変人だという評判は、リンフレッドにとって都合がよかった。そのおかげで人知れず一連の実験を続けることができ、それがポッター家の財産の土台を築いたのだった。歴史家たちはリンフレッドを、骨生え薬や元気爆発薬を含む、現在でも使われている薬に発展した治療薬の開発者であるとしている。仲間の魔女や魔法使いへのこのような治療薬の売り上げのおかげで、リンフレッドは死後も7人の子どもたちに相当の財産を残すことができた。

　リンフレッドの長男ハードウィンは、ゴドリックの谷の村出身の若く美しい魔女ロランス・ぺヴェレルと結婚した。彼女はイグノタス・ぺヴェレルの孫娘で、男性の継承者が不在だったため、彼女の代で1番年上だったロランスが祖父の透明マントを受け継いだ。ロランスはハードウィンに彼女の家の伝統でこのマントの所有は秘密にされているのだと説明し、夫もその思いを尊重した。このときから、透明マントは新しい世代の最も年上の子どもに受け継がれるようになった。

　ポッター家は近所の人たち、時にはマグルと結婚してイングランド西部に住み続け、何代にもわたり財産を増やしてきた。その勤勉さと、そしてこうも言わねばなるまい、彼らの先祖リンフレッドによって特徴づけられた、発明品の控えめなブランド力によって。

　時折、ポッター家の人間が成功してロンドンに来ることもあり、2人がウィゼンガモットに席を持ったことがある。ラルストン・ポッターは1612年から1652年の間在籍しており、機密保持法の熱心な支持者で (彼は戦闘派の唱える対マグル戦争に反対していた)、ヘンリー・ポッター (ハリーという名の由来) はハードウィンとロランスの直系の子孫で、1913年から1921年の間ウィゼンガモットで勤務していた。ヘンリーは、魔法族がマグルの第一次世界大戦に手を貸すのを禁じた当時の魔法大臣アーチャー・エヴァーモンドを公的に死刑にし、軽い騒動を起こした。彼のマグルを擁護する歯に着せぬ物言いは、ポッター家の聖28族からの除外の大きな一因にもなった。

　ヘンリーの息子はフリーモント・ポッターという名だった。フリーモントという名前がつけられたのは、ヘンリーの母親が消滅してしまう生家の苗字を残したいと強く願ったためであった。彼はその重荷を非常によく耐え抜いた。ホグワーツで誰かにその名をからかわれて決闘になるということが何度もあったが、フリーモントはいつもそこで決闘における巧妙さを身につけたのだと言った。一族の財産を4倍にしたのはフリーモントだった。彼は魔法のスクイージーのヘアポーション (2滴でどんなに厄介な髪の毛も制御する) を開発した。彼は退職するときに会社を巨額で売却したが、裕福な暮らしも妻ユーフェミアとの間で子どもに恵まれなかったという事実の埋め合わせにはならなかった。ユーフェミアが妊娠しているとわかったときには、2人は息子か娘を授かることへの望みはかなり諦めていたため、大変驚き喜んだ。そうして待望の男の子ジェームズが生まれた。

　フリーモントとユーフェミアは、ジェームズがリリー・エヴァンズというマグル生まれの女の子と結婚するのを見届けることはできたが、孫のハリーには会えなかった。龍痘が数日の間に高齢の2人の命を奪い去り、ジェームズ・ポッターはイグノタス・ぺヴェレルの透明マントを継承した。