"I am not a lawyer" but:
"Deutsche im Sinne des Art. 116 Abs. 1 GG sind nach § 1 Personalausweisgesetz (PAuswG) verpflichtet, sobald sie 16 Jahre alt sind und der allgemeinen Meldepflicht unterliegen oder sich überwiegend in Deutschland aufhalten, einen gültigen Ausweis zu besitzen und ihn auf Verlangen einer zur Feststellung der Identität berechtigten Behörde vorzulegen sowie einen Abgleich mit dem Lichtbild des Ausweises zu ermöglichen."
You must either carry a national ID document or, if you are requested to identify yourself by the police, make it available to them in reasonable time on request (say, if you left it at home, show it to them at a police station the next day).