به گفته hackster.io:
«پژوهشگران با معرفی سامانه A11yShape مبتنی بر GPT-4o، امکانی انقلابی برای توسعه دهندگان نابینا فراهم کردند تا مدل های سه بعدی پیچیده را طراحی و راستی آزمایی کنند. این سیستم با توصیف متنی مدل های کدنویسی شده در OpenSCAD، به کاربران اجازه می دهد بدون نیاز به بینایی، خروجی کار خود را درک و اصلاح کنند.»
مدل زبانی بزرگ (LLM) GPT-4o از OpenAI هسته سامانه ای است که برای توصیف مدل های OpenSCAD و توسعه تکرارشونده آن ها طراحی شده است.
پژوهشگران University of Washington، Purdue University، Massachusetts Institute of Technology (MIT)، Hong Kong University of Science and Technology، Stanford University، University of Washington، University of Michigan و University of Texas at Dallas با همکاری NVIDIA سامانه ای برای ساخت، ویرایش و راستی آزمایی مدل های سه بعدی توسط افراد نابینا و کم بینا توسعه داده اند: A11yShape.
Liang He، نویسنده ارشد این کار که ایده را از چالش های یک همکلاسی نابینای دوره تحصیلات تکمیلی در انجام وظایف مدل سازی سه بعدی الهام گرفته است، می گوید: «کارهایی مانند چاپ سه بعدی و نمونه سازی مدار برای کاربران نابینا، به ویژه وقتی تنها هستند، بسیار چالش برانگیز است. او برای هر تکلیف باید از کسی کمک می گرفت و نتیجه را تأیید می کرد. این نخستین گام برای فراهم کردن دسترسی برابر به ابزارهای خلاقانه، از جمله مدل سازی سه بعدی، برای افراد دارای اختلال بینایی است.»
A11yShape می کوشد مدل سازی سه بعدی در OpenSCAD را برای توسعه دهندگان نابینا و کم بینا دسترس پذیر کند.
چگونه A11yShape کار می کند
این سامانه بر پایه GPT-4o بنا شده و جریان کاری آن با ابزارهای کمکی موجود سازگار است:
ورودی: تصاویر رندرشده از مدل های سه بعدی که کاربر در OpenSCAD تولید می کند. خود فرایند مدل سازی در OpenSCAD متنی است و بنابراین با صفحه خوان ها (screen reader)، نمایش های بریل (Braille display) و سایر فناوری های کمکی موجود به خوبی کار می کند.
پردازش: GPT-4o تصویر مدل را به جریان توکن تبدیل کرده و با انتخاب آماری توکن های تداومی، توصیفی متنی از ویژگی های مدل تولید می کند.
خروجی: بهترین توصیف ممکن از مدل به کاربر ارائه می شود تا بتواند طراحی را به صورت تکرار شونده، بدون نیاز به کمک افراد بینا، اصلاح و تکمیل کند.
Liang He درباره بازخورد همان همکلاسی می گوید: «او از نسخه نخست سیستم استفاده کرد و بازخوردهای بسیار خوبی داد که به بهبود سیستم کمک کرد. گام بعدی این است که این فرایند — یعنی کل پایپلاین از مدل سازی سه بعدی تا ساخت — را پشتیبانی کنیم.»
دسترسی و انتشار
نتایج این کار در Proceedings of the 27th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS ’25) با شرایط دسترسی آزاد منتشر شده است.
منبع: سیسوگ