Aus den Erwägungen:
II. 3. Gemäss Art. 221 Abs. 1 StPO ist Untersuchungshaft nur zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtigt ist und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion zu entziehen versucht (lit. a), Personen beeinflusst oder auf Beweismittel einwirkt, um so die Wahrheitsfindung zu beeinträchtigen (lit. b) oder durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Delikte verübt hat (lit. c). Haft ist auch zulässig, wenn ernsthaft zu befürchten ist, eine Person werde ihre Drohung, ein schweres Verbrechen auszuführen, wahrmachen (Abs. 2).
4. Ein dringender Tatverdacht liegt vor, wenn genügend konkrete Anhaltspunkte für ein Verbrechen oder Vergehen und eine Beteiligung der beschuldigten Person an dieser Tat vorliegen. Im Haftprüfungsverfahren genügt dabei der Nachweis von konkreten Verdachtsmomenten, wonach das inkriminierte Verhalten mit erheblicher Wahrscheinlichkeit die fraglichen Tatbestandsmerkmale erfüllen könnte (BSK StPO – Marc Forster, Art. 221 N 3). Dabei ist keine abschliessende bzw. umfassende Würdigung aller be- und entlastenden Anhaltspunkte vorzunehmen. Dies ist Aufgabe des Sachrichters.
4.1. Die Vorinstanz erachtet die Verdachtsmomente insbesondere hinsichtlich des Diebstahls gemäss Art. 139 Ziff. 1 StGB und des Hausfriedensbruchs gemäss Art. 186 StGB als dringend.
4.2. Bezüglich des vorgeworfenen Diebstahl ist allerdings anzumerken, dass derzeit lediglich eine Deliktssumme von gut Fr. 150.– im Raum steht, weshalb insofern (in objektiver Hinsicht) von einem geringfügigen Vermögensdelikt i.S.v. Art. 172ter StGB auszugehen ist (BSK StGB – Philippe Weissenberger, Art. 172ter N 29). Dabei handelt es sich um eine blosse Übertretung i.S.v. Art. 103 StGB, welche Untersuchungshaft von vornherein nicht zu rechtfertigen vermag. Die Privilegierung des Art. 172ter StGB entfällt zwar, wenn der Vorsatz des Täters auf einen höheren Wert gerichtet war (BSK StGB – Philippe Weissenberger, Art. 172ter N 37). Solches wurde vom Beschwerdeführer aber bestritten, von der Staatsanwaltschaft im Haftverfahren weder behauptet noch belegt und von der Vorinstanz nicht erwogen. Ein dringender Tatverdacht auf einen Diebstahl gemäss Art. 139 Ziff. 1 StGB (im Sinne eines Vergehens) ist daher zumindest aufgrund der hier im Recht liegenden Akten nicht zu erkennen. Aus den Akten ergibt sich ebenso wenig, dass dem Beschwerdeführer zwischenzeitlich weitere Straftaten hätten zugeordnet werden können. Aktenkundig ist allerdings, dass Abklärungen anlässlich der Anhaltung des Beschwerdeführers vom 4. März 2017 keine Hinweise auf Verbindungen mit Einbruchsdelikten ergaben.
4.3. Dem Beschwerdeführer wird ferner Hausfriedensbruch gemäss Art. 186 StGB vorgeworfen. Bei diesem Tatbestand handelt es sich um ein Vergehen (Art. 10 Abs.3 StGB), das entsprechend für die Anordnung von Untersuchungshaft grundsätzlich ausreichend sein kann. Der Tatverdacht ist zudem ein dringender, wurde der Beschwerdeführer doch in flagranti im Keller überrascht und von der Polizei vor der Tiefgarage angehalten. Er bestreitet dies auch nicht. Das Eindringen in einen unverschlossenen Kellerraum dürfte allerdings keine allzu intensive Beeinträchtigung des durch die Strafnorm geschützten Hausrechts und damit der Privatsphäre bewirken.
4.4. Die Staatsanwaltschaft wirft dem Beschwerdeführer zudem die Einreise ohne gültige Ausweispapiere vor, was gemäss Art. 115 Abs. 1 lit. a und b AuG mit Geldstrafe oder Freiheitsstrafe bis zu einem Jahr bestraft wird. Damit ist auch diese Strafbestimmung als (leichteres) Vergehen zu qualifizieren, das zumindest in formeller Hinsicht zur Begründung der Untersuchungshaft in Betracht kommen könnte. Diese Verstösse bilden allerdings kein tragendes Motiv des angefochtenen Entscheids und werden in diesem auch nicht eigens erwähnt.
4.5. Damit ist erstellt, dass gegen den Beschwerdeführer ein dringender Tatverdacht hinsichtlich zweier Vergehen besteht. Ob und inwiefern aufgrund dieses Tatverdachts allerdings Untersuchungshaft angeordnet werden darf, ist im Rahmen der nachfolgenden Verhältnismässigkeitsprüfung zu klären. In diesem Zusammenhang bleibt anzumerken, dass der auch im Beschwerdeverfahren vorgetragene Standpunkt des Beschwerdeführers, er habe die Kellerräume aufgrund seiner beruflichen Tätigkeit als investigativer Journalist durchsucht, nicht zu überzeugen vermag, zumal er dabei noch nicht einmal ernsthaft bestreitet, den Keller betreten und die fraglichen Gegenstände an sich genommen zu haben.
5. Die beschuldigte Person bleibt während des Strafverfahrens grundsätzlich in Freiheit und darf nur im Rahmen der Bestimmungen der Strafprozessordnung freiheitsentziehenden Zwangsmassnahmen unterworfen werden. Untersuchungs- und Sicherheitshaft dürfen dabei nicht länger dauern als die zu erwartende Freiheitsstrafe (Art. 212 StPO). Die Bedeutung der Straftat muss die Zwangsmassnahme rechtfertigen, diese muss also zumutbar sein (Art. 197 Abs. 1 lit. d StPO). Die Zumutbarkeit erschliesst sich dabei über eine Abwägung der öffentlichen (Strafverfolgungs-)Interessen gegen die Beeinträchtigung der individuellen Grundrechte des Betroffenen (BSK StPO – Jonas Weber, Art. 197 N 11).
5.1. Nach der Verdachtslage werden dem Beschwerdeführer konkret ein geringfügiges Vermögensdelikt, ein Hausfriedensbruch sowie Widerhandlungen gegen das Ausländergesetz vorgeworfenen. Während das geringfügige Vermögensdelikt im Zusammenhang mit der Haftanordnung von vornherein ausser Betracht fällt, wiegt das Eindringen in einen unverschlossenen Kellerraum – wenngleich nicht zu bagatellisieren – angesichts des Spektrums der von Art. 186 StGB erfassten Tathandlungen doch auch nicht allzu schwer. Der Verstoss gegen das Ausländergesetz wiederum bewegt sich mit einem maximalen Strafrahmen von einem Jahr Freiheitsstrafe ohnehin im unteren Bereich der Vergehenstatbestände. Die Straftaten erscheinen daher je für sich, aber auch in Kombination, nicht sehr schwer. Demgegenüber steht eine mehrmonatige freiheitsentziehende Zwangsmassnahme, die einen schweren Eingriff in die Grundrechte des Beschwerdeführers darstellt. Die Anklagekammer erachtet die konkrete Dauer der angeordneten (und weitgehend vollzogenen) Untersuchungshaft insgesamt als unverhältnismässig. Während eine kurze Inhaftierung zwecks Abklärung allfällig weiterer deliktischer Aktivitäten in derartigen Konstellationen durchaus sachgerecht sein kann, muss die Gesamtdauer der zulässigen Haft angesichts der überschaubaren Tatvorwürfe doch eine klare zeitliche Grenze finden.
5.2. Die Staatsanwaltschaft geht in ihrem Haftantrag aufgrund der Vorstrafensituation und der Deliktsmehrheit von einer zu erwartenden mehrmonatigen unbedingten Freiheitsstrafe aus. Nach der bereits erstandenen knapp zweimonatigen Haft rückt diese allerdings schon in beträchtliche zeitliche Nähe zur realistischerweise zu erwartenden Freiheitsstrafe, weshalb die Haftdauer auch aus dieser Sicht problematisch erscheint.
5.3. Insgesamt erweist sich damit die angeordnete Dauer der Untersuchungshaft gemessen an den konkreten Tatvorwürfen als unverhältnismässig. Die Anklagekammer zieht dabei durchaus in Erwägung, dass die vom Beschwerdeführer verdachtsweise begangenen Taten eine obligatorische Landesverweisung im Sinne von Art. 66 Abs. 1 lit. d StGB nach sich ziehen könnten. Die Strafsache kann daher nicht – wie noch unter altem Recht – mit einer Kombination aus Strafbefehl und ausländerrechtlichen Fernhaltemassnahmen innert weniger Tage erledigt werden, sondern muss beim Gericht zur Anklage gebracht werden. Dies wirkt sich systembedingt unvermeidbar auf die Dauer des Verfahrens aus. Bei weniger gravierenden Delikten kann dabei die unbefriedigend wirkende Situation entstehen, dass Beschuldigte vor dem gerichtlichen Verfahren und vor einer dort allenfalls anzuordnenden Landesverweisung aus der strafprozessualen Haft zu entlassen sind. Allfällig unzulängliche gesetzliche Vorkehren vermögen aber gleichwohl keine unverhältnismässigen Grundrechtseingriffe zu rechtfertigen, weshalb dieses Ergebnis letztlich hinzunehmen ist.
6. Da der angefochtene Entscheid bereits aus Gründen der Verhältnismässigkeit aufzuheben ist, erübrigt sich die Prüfung der besonderen Haftgründe.