1904-ben otthagyja a strasbourgi Ecole des Arts et Métiers-t, ahol műszaki tanulmányokat folytatott, és Párizsba utazik. Itt jelennek meg első költeményei. 1905-1907-ig a weimari Kunstschuléban tanul, majd 1908-ban ismét Párizsba megy, ahol az Académie Julian hallgatója lesz. 1909-ben Svájcba költözik, s 1911-ben a Moderner Bund alapítói között van. A következő évben Párizsban találkozik Robert és Sonja Delunay-vel, Münchenben pedig Vaszilij Kandinszkijjal. 1913-ban részt vesz a berlini Galerie Der Sturmban az Erster deutscher Herbstsalonon. Hosszan tartó barátságot köt Max Ernsttel. 1914-ben visszatér Párizsba, és megismeri Guillaume Apollinaire-t, Max Jacobot, Amadeo Modiglianit és Pablo Picassót. 1915-ben Zürichbe költözik, ahol kollázsokat és falikárpitokat készít, gyakran későbbi felesége, Sophie Taeuber (aki 1922-ben kötött házasságukat követően Sophie Taeuber-Arp néven válik ismertté) közreműködésével. 1916-ban Hugo Ball megnyitja Zürichben a Cabaret Voltaire-t, amely az Arpból, Marcel Jancóból, Tristan Tzarából és másokból álló csoport, a dada tevékenységének központja lesz. ~ egészen 1919-ig, Kölnbe költözéséig tagja a dada-mozgalomnak. 1922-ben részt vesz a weimari Kongress der Konstruktivistenen, valamint a párizsi Galerie Montaigne-ban rendezett Exposition Internationale Dada kiállításon. Kevéssel ezután írni kezd a Merz, a Mécano és a De Stijl c. újságoknak, később pedig a La Révolution surréaliste-nak. 1925-ben szerepel a szürrealisták első kiállításán, a párizsi Galerie Pierre-ben. 1926-ban a franciaországi Meudonban telepszik le.
Azok közé a művészek közé tartozik, akik elutasítják a tradicionális burzsoá értékrendet és ízlést. Az illuzionisztikus művészetet a valóság hamis reprodukciójának tekinti, s ehelyett olyan absztrakt művészetet kíván létrehozni, amely a valóság igazabb kifejezője, mivel teremtő elvei a természetét visszhangozzák. Műveinek visszatérő motívuma a véletlen kifejezése, melyben felfedezhető a dadaisták vágya a racionalitástól való megszabadulásra. Számára a véletlen egyben az organikus világ alapvető törvényét is képviseli: első domborművei, melyek a háború alatt készülnek, növényi és állati formák színes és szellemes megjelenítései rétegelt lemezeken.
A 30-as évek elején kikristályosodik konstellációelmélete, melyet írásaiban és képzőművészeti alkotásaiban egyaránt alkalmaz. A szövegalkotás során meghatározott szócsoportok variálhatóságára fókuszál. Módszerét ahhoz a felfoghatatlan változatossághoz hasonlítja, amellyel a természet rendez el egy virágfajt a mezőn. Constellation c. domborműsorozatának megalkotásakor a téma megjelölését követően – öt fehér és két kisebb fekete biomorf alakzat fehér alapon – különböző konfigurációkat hoz létre az elemekből. Variációi a természet puszta másolása helyett az élet körforgásával együtt járó metamorfózis és változás költői megidézései.
A 20-30-as években művei tükrözik mind a szürrealizmus, mind a tiszta absztrakcióra törekvő neoplaszticizmus hatását. Az e két mozgalomban való egyidejű részvétel elméletileg kölcsönösen kizárná egymást, ~ mégis képes mindkettővel kapcsolatot tartani. Csakúgy, mint Joan Miró, ő is az alkotói folyamat szintjén alkalmazza a szürrealizmust: az automatista stratégiát a racionális gondolkodás beszűkülésein való túljutásra használja fel. Piet Mondrianhoz hasonlóan azonban ő is a neoplatonisták elvét tartja szem előtt, mely szerint az absztrakció magasabb szintű realitást hivatott képviselni. A művészetben addig összeegyeztethetetlen fogalmakat kapcsol össze: a szürrealizmust és az absztrakciót.
1931-ben együttműködik a párizsi székhelyű Abstraction-Création csoporttal, valamint a Transition c. folyóirattal. Az 1930-as évektől élete végéig verseket és esszéket ír és ad ki. 1949-ben a New York-i Curt Valentin’s Buchholz Gallery egyéni kiállítást rendez műveiből. 1950-ben felkérést kap egy dombormű elkészítésére a massachusettsi Harvard Graduate Center számára. 1954-ben megkapja a velencei biennálé szobrászati nagydíját. Nagyméretű bronz domborművet készít az UNESCO párizsi székházába. 1958-ban a New York-i Museum of Modern Art, 1962-ben pedig a párizsi Musée National d’Art Moderne rendez retrospektív kiállítást műveiből.