Aus den Erwägungen:
II. 2. Die Anordnung einer amtlichen Verteidigung gemäss Art. 132 Abs. 1 StPO ist dann geboten, wenn entweder ein Fall notwendiger Verteidigung vorliegt, aber keine Wahlverteidigung (mehr) besteht (lit. a), oder wenn die beschuldigte Person nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung ihrer Interessen geboten ist (lit. b).
2.1. Eine beschuldigte Person muss gemäss Art. 130 StPO notwendig verteidigt werden, wenn die Untersuchungshaft einschliesslich einer vorläufigen Festnahme mehr als 10 Tage gedauert hat (lit. a), eine Freiheitsstrafe von mehr als einem Jahr oder eine freiheitsentziehende Massnahme droht (lit. b), wenn sie ihre Verfahrensinteressen wegen ihres körperlichen oder geistigen Zustands oder aus anderen Gründen nicht selber oder durch ihre gesetzliche Vertretung hinreichend wahren kann (lit. c), wenn die Staatsanwaltschaft vor dem erstinstanzlichen Gericht oder dem Berufungsgericht persönlich auftritt (lit. d) oder wenn ein abgekürztes Verfahren durchgeführt wird (lit. e).
2.2. In allen anderen Fällen ordnet die Verfahrensleitung die amtliche Verteidigung dann an, wenn die beschuldigte Person nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung ihrer Interessen geboten ist. Zur Wahrung der Interessen der beschuldigten Person ist die Verteidigung namentlich geboten, wenn es sich nicht um einen Bagatellfall handelt und der Straffall in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, denen die beschuldigte Person allein nicht gewachsen wäre (Art. 132 Abs. 2 StPO). Ein Bagatellfall liegt jedenfalls dann nicht mehr vor, wenn eine Freiheitsstrafe von mehr als vier Monaten, eine Geldstrafe von mehr als 120 Tagessätzen oder gemeinnützige Arbeit von mehr als 480 Stunden zu erwarten ist (Abs. 132 Abs. 3 StPO). Die vorgenannten Strafen orientieren sich am Mittelwert der bundesgerichtlichen Rechtsprechung, was im Einzelfall nicht ausschliesst, dass eine amtliche Verteidigung auch bei einer geringeren Sanktion geboten sein und deshalb bewilligt werden kann. Demgegenüber verneint das Bundesgericht bei offensichtlichen Bagatelldelikten, bei denen nur eine Busse oder geringfügige Freiheitsstrafe in Frage kommt, jeglichen verfassungsmässigen Anspruch auf unentgeltliche Rechtsverbeiständung (BSK StPO – Niklaus Ruckstuhl, Art. 132 N 42, m.w.H.).
2.3. Bei der Beurteilung, ob der Straffall in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, ist den Umständen des Einzelfalles Rechnung zu tragen. Schwierigkeiten in tatsächlicher Hinsicht liegen insbesondere vor, wenn der objektive oder subjektive Tatbestand umstritten ist und dazu verschiedene Zeugen einvernommen oder Gutachten eingeholt werden müssen, oder wenn die Beweislage umstritten ist (Patrick Guidon, Die Beschwerde gemäss Schweizerischer Strafprozessordnung, Diss. Zürich/ St. Gallen 2011, N 327; Niklaus Oberholzer, Grundzüge des Strafprozessrechts, 3. Aufl., Bern 2012, N 453 f.). Schwierigkeiten in rechtlicher Hinsicht sind etwa anzunehmen, wenn die rechtliche Subsumtion Anlass zu Zweifeln gibt oder die in Frage kommenden Sanktionen strittig sind (BGer. 1B_102/2012 E.2.2 m.w.H.). Der Grad der Schwierigkeiten ist einerseits an den Fähigkeiten und prozessualen Erfahrungen der beschuldigten Person zu messen, andererseits sind die konkreten Verfahrenshandlungen zu berücksichtigen, die für eine wirksame Verteidigung erforderlich sind (Niklaus Oberholzer, a.a.O., N 454).
3. Ein Fall notwendiger Verteidigung liegt bei der vorliegend zu beurteilenden Sache nicht vor:
3.1. Der Beschwerdeführer wurde am 26. April 2016 festgenommen und am 4. Mai 2016 wieder entlassen. Er befand sich entsprechend während neun Tagen in Untersuchungshaft, währenddem die Schwelle für eine notwendige Verteidigung bei einer Haftdauer von mehr als zehn Tagen liegt (Art. 130 lit. a StPO). Da ein tieferer Schwellenwert in der parlamentarischen Debatte wohl zur Diskussion stand, aber keine Mehrheit fand, ergibt sich aus der vom Beschwerdeführer erstandenen Haft klarerweise kein Anwendungsfall der notwendigen Verteidigung (vgl. Viktor Lieber, in: Donatsch/Hansjakob/Lieber, Kommentar StPO, Art. 130 N 12, m.w.H.). Für die Beurteilung, ob ein Fall notwendiger Verteidigung gegeben ist, ist sodann nicht auf die vom Zwangsmassnahmenrichter maximal angeordnete, sondern auf die tatsächlich erstandene Haftdauer abzustellen. Eine notwendige Verteidigung ist daher erst ab dem elften Tag erforderlich (BSK StPO – Niklaus Ruckstuhl, Art. 130 N 12).
3.2. Die Verteidigung schliesst aus dem Aussageverhalten des Beschwerdeführers sodann auf ein erhebliches psychisches Problem, welches jenem die eigene Interessenwahrung verunmögliche. In der Tat nahm auch die Vorinstanz die Einvernahme des Beschwerdeführers vom 28. April 2016 als schwierig wahr, währendem die Einvernahme vom 4. Mai 2016 aber "völlig unproblematisch" verlaufen sei. Die Durchsicht der Befragungsprotokoll bestätigt den von der Vorinstanz geschilderten Eindruck ohne weiteres. Anlässlich der Einvernahme vom 4. Mai 2016 verstand der Beschwerdeführer die an ihn gerichteten Fragen und vermochte diese auch angemessen zu beantworten. Aufgrund des im Recht liegenden Befragungsprotokolls ergibt sich auf jeden Fall nicht der Eindruck, der Beschwerdeführer sei mit der Situation überfordert gewesen. Das spezielle Aussageverhalten, das er noch anlässlich der Festnahmeeröffnung vom 28. April 2016 gezeigt hat, kann durchaus mit dem Schock über die erfolgte Inhaftierung, einer dadurch verursachten Nervosität und Angespanntheit sowie mit dem bei ihm offenbar vorhandenen Ärger über die Strafverfolgungsbehörden erklärt werden. Das Aussageverhalten erweckt aber insgesamt nicht den Eindruck, der körperliche oder geistige Zustand des Beschwerdeführers verunmögliche diesem seine Interessenwahrung in einer Weise, welche eine notwendige Verteidigung im Sinne von Art. 130 lit. c StPO erforderlich macht.
4. Bei dieser Ausgangslage bleibt zu prüfen, ob die amtliche Verteidigung aus anderen Gründen geboten ist (Art. 132 Abs. 2 lit. b StPO). Die Vorinstanz verneinte dies mit der Begründung, bei der gegenwärtigen Verdachtslage komme eine Sanktion von weniger als vier Monaten Freiheitsstrafe bzw. 120 Tagessätzen Geldstrafe in Frage, weshalb ein Bagatellfall vorliege. Der Beschwerdeführer zeige zwar Stimmungsschwankungen, könne seine Interessen aber selber vertreten.
4.1. Dem Beschwerdeführer wird nach aktueller Verdachtslage konkret vorgehalten, er sei an der Entwendung eines Fahrzeugs in Brüttisellen beteiligt gewesen und er habe dieses in der Folge von der Bruggwaldstrasse an die Schulstrasse in Wittenbach gelenkt, obwohl er keinen Führerausweis besitzt, er habe – ohne im Besitz eines Waffenerwerbscheins zu sein – in seiner Wohnung eine Faustfeuerwaffe (FO Express 7) aufbewahrt, er habe auf dem Balkon 22 Hanfsetzlinge gezogen und gelegentlich Marihuana konsumiert und er habe zusammen mit einem Bekannten in einem Lebensmittelgeschäft eine Flasche Wodka gestohlen.
4.2. Die Einschätzung der Vorinstanz, die Sanktion für diese Delikte liege im Falle einer Verurteilung unter vier Monaten Freiheitsstrafe bzw. unter 120 Tagessätzen Geldstrafe, erscheint zutreffend. Auch der Blick in den Strafregisterauszug des Beschwerdeführers bestätigt diesen Eindruck. Dieser weist u.a. Strafbefehle vom 18. Dezember 2012 und 12. August 2013 aus, die mit den aktuell zur Diskussion stehenden Delikten sehr vergleichbar sind. Am 18. Dezember 2012 wurde der Beschwerdeführer wegen mehrfacher Verletzung von Verkehrsregeln, unberechtigtem Verwenden eines Motorfahrrades, mehrfacher Übertretung des Betäubungsmittelgesetzes sowie Vergehens gegen das Waffengesetz zu einer (unbedingten) Geldstrafe von 50 Tagessätzen zu je Fr. 30.– verurteilt. Am 12. August 2012 folgte eine Verurteilung zu einer (unbedingten) Geldstrafe von 60 Tagessätzen zu je Fr. 10.– wegen Übertretung des Betäubungsmittelgesetzes, mehrfachen Fahrens in fahrunfähigem Zustand (Alkohol und andere Gründe), Entwendung eines Motorfahrzeugs zum Gebrauch, Führens eines Motorfahrzeugs ohne erforderlichen Führerausweis und Widerhandlungen gegen Art. 99 Abs. 3 SVG in Zusatz zu einem früheren Urteil. Auch wenn im laufenden Strafverfahren aufgrund von Konkurrenzen und Vorstrafen allenfalls eine etwas höhere Strafe zumindest denkbar erscheint, ist aktuell nicht zu erwarten, dass diese den Bagatellbereich von Art. 132 Abs. 3 StPO überschreiten wird.
4.3. Die dem Beschwerdeführer vorgeworfenen Delikte sind zudem sowohl einzeln als auch gesamthaft übersichtlich. Sie bieten weder in rechtlicher noch tatsächlicher Hinsicht grössere Schwierigkeiten. Aufgrund der beim Beschwerdeführer verzeichneten zahlreichen (einschlägigen) Vorstrafen ist jener zudem als verfahrensgewohnt zu betrachten.
4.4. Zusammenfassend ist damit eine amtliche Verteidigung auch gestützt auf Art. 132 Abs. 1 lit. b StPO nicht geboten.
5. Während die Vorinstanz in ihrer angefochtenen Verfügung vorbrachte, bereits vor Beginn der Festnahmeeröffnung vom 28. April 2016 darauf hingewiesen zu haben, dass derzeit die Voraussetzungen für eine amtliche Verteidigung nicht gegeben seien, machte der Verteidiger des Beschwerdeführers in seiner Beschwerdeschrift geltend, solche Äusserungen nicht wahrgenommen zu haben. Wie es sich damit verhält, kann vorliegend offen bleiben, da bereits im Zeitpunkt der Festnahmeeröffnung – wie dargelegt – klar und erkennbar von einem Bagatellfall auszugehen war.
6. Die angefochtene Verfügung erweist sich damit insgesamt als recht- und verhältnismässig, weshalb die Beschwerde abzuweisen ist.