梵語（サンスクリット語）の「マンダラ」からきたものという説が有力です。

マンダラ（曼荼羅もしくは曼陀羅）は、神聖な壇（だん＝領域）に仏・菩薩を記した図絵で、悟りの世界（宇宙の万物が大調和した姿）を象徴的に表したものですが、画面いっぱいにいろいろな色や形でさまざまな仏・菩薩が描かれていることから、種々の色がところどころに入り交じっていることをマダラというようになったようです。

クルマエビを「曼陀羅海老」と言い、斑馬（シマウマ）を「まんだらめ」、斑犬（ぶちいぬ）を「まんだら犬」と呼んだことも、その関係を示唆しています。