In der Fritzbox ist nur ein Häckchen für "DNS des Zugangsproviders nutzen (empfohlen) und darunter Felder für die manuelle Eingabe. Dort hatte ich vor langem mal die von Google eingetragen.
Der Server des ISPs wird dort meines Wissens nach nicht angezeigt.