萬用遙控器的18般武藝
作者:塾長 日期:2020-05-31 20:00
這陣子對於「Webduino Remote 萬用遙控器」有許多使用想像,決定寫這篇:一個萬用遙控器可表現的18個指令運用。
稱其萬用,只要程式多樣設計表現沒問題;遙控什麼與表現,可以以終為始來看。
在慶奇「Webduino」系列產品中,主要以「怪獸舞台(瀏覽器網頁)」、「Web:Bit(含擴充套件)」、「MoonCar自走車」與「KebbiAir」四大類。所以我以遙控器的「圖像前頁」與「按鈕後頁」做個組合分析,方便日後發想程式應用參考。基本上,遙控器做好了,除了改成對應自己程式的MQTT頻道與傳送訊息之外,幾乎不必常更動。
前頁的凱比可以按住上、下、左、右滑動,只要一放開,都會彈回中間。幾次操作下來,對於「上、下、左、右滑動」有時感覺不確定有達到,所以我把這四個參數,主要就來控制「MoonCar自走車」與「KebbiAir」的行動:前進、後退與左右轉彎,而放開回中心點,就形同「停止」。因此本來19個訊息可傳輸,我扣掉這一個剩18個。
前頁下方的四隻怪獸按鈕,建議對應「舞台與四隻怪獸」表現:怪獸移動、說話(文字)、語音(朗讀與辨識)與音效、按鍵輸入、YouTube影片播放....等,這些在「怪獸舞台(瀏覽器網頁)」、「KebbiAir臉部」都可以對應呈現。
後頁的十個按鈕,我建議留最後一個按鈕的名稱來展現此遙控器功能說明(按下去可以語音解說),一方面每個設計好的遙控器都有單一網址,但前頁都長得一樣,所以利用按鈕名稱來說明此遙控器功能。
接著,就是剛才四大類「Webduino」產品,以及Google試算表讀寫應用:讀取比對字串、播放語音、影音相片,寫入語音辨識文字、鍵盤或NFC輸入資料,以及感應器偵測數據等,未來應該還可以加上相片、聲音雲端連結與檔案儲存。
一個按鈕可以只控制一種產品(一個到多個),也可以多種多個產品「共舞」。
一頁遙控器只設定輸出一個MQTT頻道,所以可以一頁控制一機到多機(以KebbiAir為例),而所有參與者(包含老師與學生),可以拿同一個遙控器連結一起玩,也可以各自建立或發給遙控器來運用。
此外,我特別關注語音、影片與Google試算表讀寫應用的原因,主要思考的就是教育機器人在不同教學場域應用的需求,尤其可以在老師與學生之間,多了聲音、語言與多媒體、硬體及環境互動的豐富多樣性,也讓機器人的運作多了「人味」。針對教學實況與師生組合、領域特性,都可以自行修改活用。
以下是目前的應用分享,我從簡漸繁列出:
※法蘭斯 老師這張MQTT傳輸頁,真是精簡得經典!
※Web:Bit語音朗讀與辨識
※利用Google試算表讀寫Web:Bit語音朗讀與辨識
※結合語音辨識與NFC輸入建立Google試算表資料
使用了遙控器:
※執簡馭繁萬言遙控!
※我與凱比學飛!
※「萬用遙控器」混控試玩
※利用「Webduino Remote 萬用遙控器」設計IRS即時作答應用
繼續努力研究:
※對於AI機器人的教育想望
外形、機構、電控、程式、通訊與AI
作者:塾長 日期:2020-05-28 20:00
今天適逢台北市發布國中小AI教材,新聞「從生活中奠基科技素養 北市發布首套國中小AI教材」,我也把自己這段期間對於勁園國際提出的創客指標向度 「外形、機構、電控、程式、通訊與AI」面向的觀想陳述整理。一如我們看生物系統的「細胞、組織、器官、系統到個體」,那麼看一個創客作品、學習歷程,或者是科技產品,也可以從「外形、機構、電控、程式、通訊與AI」來剖析認識。
之前整理科學玩具,「拆組之交看機構動力」,那時就想先讓孩子們從外型展現,利用「組裝與拆卸」進入機構與控制領域,日後好繼續進行程式、通訊與AI控制教學。
而最近上課開始對凱比Air機器人、Webbit與Halocode等物聯網元件的組合運用,除了從「聲、光、動、辨、情、智」六面向探玩AI機器人,現在可以佐以「外形、機構、電控、程式、通訊與AI」來看。
最近拆卸幾台玩具、機器人的原因即在此,讓孩子們看到整體表現(外形、整體)的同時,也了解內部組成元件與機構組合。
以下是我個人的初步解讀,尚請大家指正。
外形,是純靜態、可見的描述,從一個看得到的元件到整體外觀,也可能陳述一個專業系統的概念。
機構,進一步看這些元件組織、連結而成的大、小組合與機轉,可展現特定目地與功能。可能是靜態,或可動態,增添了特有屬性、扮演什麼角色,以及運動機會,例如關節、自由度。
電控,屬於能量的轉換,讓這個物件系統運作起來。除了電力之外,也可能磁力或純物理重力作用。加上需要表現時間,有啟動的開始跟停止結束。
程式,讓這些表現,除了使用者單純電控操作,還可以設計自動、或者接受指令、與參與者互動,例如不同介面的混搭輸入、處理與輸出(IPO),還有事件觸發、條件反應等,提供使用者互動,更能由我們編程設計。
通訊,利用紅外線、無線網路、藍芽、NFC等通訊科技,促成個別物品與大環境、其他人事物之間的功能串接與表現,以物聯網為主的概念營運表現,繼而可積累大數據。
AI,綜上組成後,是否再具備AI功能?也從感知、處理與反應來自動化、個別化、適時適地呈現。
從這樣的層級推進,可融入於教學設計中,對於認知、情意與技能的活動規劃有個參考框架:可以細部欣賞與手做體驗,認識各產品具備的結構與表現功能,發想其在什麼主題、任務或學科中可發揮的機會,同時,參與者再能如何學習、操控、表現,進而創新創造?其,在程式、通訊與人工智慧區段,可以跨載具與雲之間,再組合出新系統,例如建造一個智慧城市系統,可能原本的機器人、智能車、IOT感應器等,又成為其中的每個小機構,最後達成新的應用情境。
這樣就和運算思維、設計思維、PBL規劃發展的想法都能契合,我還要持續擴充、豐富這樣的框架系統觀。
紙上再談兵:Robotics in Education
作者:塾長 日期:2020-05-27 21:53
下午玩成功凱比群舞時,在FB上說了「玩研兩年...」,心情其實是很複雜的。
從兩年來「AIR:AI Robot~我的教育機器人夢」開始,曾參加「老有所衷」:長照2.0 機器人解決方案比賽,也發想了自己對於AI機器人的教育想望 ,還有「STEAM與AIR的距離~我的Kebbi Air探究與實作」。假如,曾持續寫作、研究與報告,不也很好嗎?當然,其實真沒有,哈哈!
幾天前寫了紙上談兵:從iPad到SRL ,今晚又買了一本「iPads® in the Library: Using Tablet Technology to Enhance Programs for All Ages」,主要也想著新北普發兩萬多片iPad後該可以怎樣永續創新應用(這就是被提醒不要憂國憂民的關鍵啦,哈!)。那麼,是否也來紙上再談兵機器人的教育應用(Robotics in Education)呢?
之前找到RiE 2020, the 11th International Conference on Robotics in Education,除了2020年會延期,還有2019年的研究發表 集結成書很吸引我,為慶祝群舞成功,為提醒值得認真研究,下決心來狠K一番,紙上談兵目錄先,這些壯觀的標題我已看了好幾回,現在要認真玩真的!
Comprehensive View on Educational Robotics
On Measuring Engagement Level During Child-Robot Interaction in Education
The Effect of Commercially Available Educational Robotics:A Systematic Review
Workshops, Curricula and Related Aspects
On the Use of Robotics for the Development of Computational Thinking in Kindergarten: Educational Intervention and Evaluation
“ CREA ” : An Inquiry-Based Methodology to Teach Robotics to Children
Educational Robotics in Kindergarten, a Case Study
Comparison of LEGO WeDo 2.0 Robotic Models in Two Different Grades of Elementary School
STEAM Robotic Puzzles to Teach in Primary School. A Sustainable City Project Case
STEAM Approach to Autonomous Robotics Curriculum for High School Using the Robobo Robot
Design and Analysis of a Robotics Day Event to Encourage
the Uptake of a Career in STEM Fields to Pre-GCSE Students
Robotics Education To and Through College
Technological Literacy Through Outreach with Educational Robotics
Robotic Theater: An Architecture for Competency Based Learning
First Steps in Teaching Robotics with Drones
Project-Based Learning Focused on Cross-Generational Challenges
Technologies for Educational Robotics
A Generalized Matlab/ROS/Robotic Platform Framework for Teaching Robotics
Turtlebot 3 as a Robotics Education Platform
SLIM - A Scalable and Lightweight Indoor-Navigation MAV as Research and Education Platform
An Open Solution for a Low-Cost Educational Toy
Environment Virtualization for Visual Localization and Mapping
Contents Programming a Humanoid Robot with the Scratch Language
Integrating Robotics with School Subjects
Bringing an Educational Robot into a Basic Education Math Lesson
Inviting Teachers to Use Educational Robotics to Foster Mathematical Problem-Solving
Integrating Mathematics and Educational Robotics:Simple Motion Planning
Learning Symmetry with Tangible Robots
Lessons from Delivering a STEM Workshop Using Educational Robots Given Language Limitations
Using Robots as an Educational Tool in Native Language Lesson
Robotics Competitions
Educational Robotics Competitions and Involved Methodological Aspects
Participants ’ Perceptions About Their Learning with FIRST LEGO® League Competition – a Gender Study
Young Roboticists ’ Challenge - Future with Social Robots - World Robot Summit ’ s Approach: Preliminary Investigation
Evolution of Educational Robotics in Supplementary Education of Children
Contents Robot League – A Unique On-Line Robotics Competition
Autonomous Driving Car Competition
Cross Topics in Educational Robotics
Cross-Age Mentoring to Educate High-School Students in Digital Design and Production
Robot Tutors: Welcome or Ethically Questionable?
Teaching Robotics with a Simulator Environment Developed for the Autonomous Driving Competition
User-Driven Design of Robot Costume for Child-Robot Interactions Among Children with Cognitive Impairment
Setup of a Temporary Makerspace for Children at University:MAKER DAYS for Kids 2018
The Uncanny Valley of the Virtual (Animal) Robot
Cyber-Physical System Security: Position Spoofing in a Class Project on Autonomous Vehicles
結合語音辨識與NFC輸入建立Google試算表資料
作者:塾長 日期:2020-05-27 15:15
繼續玩Web:Bit教育版,這次我想達成「識別輸入者、持續輸入」的方式,將每個人的語音辨識資料寫入Google試算表裡。
請參考「示範影片」,積木的使用與規劃:
1.載入Google試算表網址與工作表名稱
2.重複執行
3.先以語句朗讀提示後,對話框先輸入資料,開始說話。
4.紀錄時間、對話框文字以及語音辨識資料。
執行怪獸舞台或凱比機器人,以及資料表紀錄、NFC裝置。
這也可以當點子蒐集器,想說的時候先加個分類項目,然後開始說,哈哈!
您也可參考「Web:Bit語音朗讀與辨識」、「利用Google試算表讀寫Web:Bit語音朗讀與辨識」。以及「輸入數字代碼或NFC感應,開啟新分頁連結」、「社群混成協作開發NFC應用」
利用Google試算表讀寫Web:Bit語音朗讀與辨識
作者:塾長 日期:2020-05-26 20:12
接續「Web:Bit語音朗讀與辨識」後,這次利用Google試算表作為朗讀字串與語音辨識後寫入字串到Google試算表的例子來實驗。
下圖為 Web:Bit教育版 提供的Google試算表積木,以及本次的程式積木組合。主要是讀取一個「開放讀寫權限」的Google試算表(雖然這我還有點顧忌,但先展現功能。)以及工作表名稱。
在語音朗讀與辨識後寫入,各有對應的Google試算表積木。
接著是積木與試算表關係,只要再執行前更改欄位內容,就可以即時進行新的語句應用喔!
請看「示範影片」,因為我是螢幕錄影,喇叭、麥克風都收音,所以喇叭播音後又被麥克風錄到,感覺有兩次聲音....,真實實況不會,當然,若是利用Kebbi Air玩這個功能,就由凱比表現聲音(還可以加上臉部表情、肢體動作),螢幕就只看到試算表被自動填入資料的過程。
還有上次那個「萬用遙控器設計IRS即時作答」,該怎麼把Google試算表的欄位讀寫應用,再以積木裡的「變數、迴圈、亂數、陣列(我猜需要用到)」來處理我也還在摸索,哈哈!
Web:Bit語音朗讀與辨識
作者:塾長 日期:2020-05-25 20:20
在Web:Bit教育版 的語音&音效積木裡,有很方便的語音朗讀與辨識服務,可以做為人與怪獸舞台網頁、凱比Air之間的溝通應用。我還要繼續研究以讀、寫進入Google試算表的方式來發想教學應用。
這篇先簡單介紹積木組合案例,您也可以直接修改積木內文來測試,記得啟用喇叭與麥克風喔!
點選「程式網頁」、點選執行後,先朗讀兩句話,再進行語音辨識,等你說完後辨識,才會繼續進行後面程式。
接著我把辨識後的文句再做為朗讀出來的語詞,可以進行復誦應用,也順道檢視辨識品質。
我與凱比學飛!
作者:塾長 日期:2020-05-24 20:40
我一直想著:把自己塞進機器人裡會是什麼樣子?當然,「塞」的形式與意涵可以有很多種。
最近看到幾個案例:「大前研一創辦大學辦遠端畢典 視訊+學士服機器人代領證書」,以及「南郵“雲畢業典禮”上熱搜,校長為機器人撥穗超有儀式感!」,或許觀眾與當事人感受,可能各有千秋。
不過,小草和輝聲老師常用凱比直接視訊通話、川劇變臉也表演得很合拍(影片) ,所以我也來玩一下內嵌YouTube影片分享。
這是上個月在國北碩班裡的介紹,「萬用遙控器」混控試玩的分享,我利用Web:Bit x Kebbi編程,利用凱比的臉(Android平板)播放YouTube,重點就在於錄製一個「全滿版我的臉」的影片,我是上回測試WebCam時順便錄 製,因為這樣可以即時看到畫面效果。雖然這樣在YouTube上觀看有點奇怪,但結合凱比的肢體動作,效果還不錯。
另外,讓多台凱比同步表現,也是利用「萬用遙控器 」操控的,很有意思吧!
看三賽自玩想
作者:塾長 日期:2020-05-21 21:31
近日注意到三項比賽,由於第一個今晚截止,雖是好奇看看沒要投稿,只是試著自玩想一番。三項競賽分別整理重點如下:
※國立臺北教育大學。2020第七屆校園創業競賽
一、活動主旨:
本校園創業競賽以促進學生創新創業風氣為宗旨,提供師生激發及實踐創意之良好環境,探索、開發與整合校內外資源。本活動目標在於持續激發青年學子的創意, 培養創業知能與團隊合作的精神,實踐課堂所學之理論知識應用在創業,並串聯各院系所之專業能力,藉以引領校園創業氛圍。為鼓勵創業風氣,競賽獲獎團隊可獲 得第一階起步獎勵金,得申請本校創業輔導,通過後將依照創業團隊階段性需求,透過深化輔導加以培育申請計畫或其他資源,協助團隊解決創業路上之困難,提升 創業實踐能量。
二、 競賽主題:
主題為新事業發展方向,以本校教學研究或重點特色之相關領域為主,諸如教育創新、科學教育、社會企業、健康體育、文化創意、藝術設計等。由參賽團隊提出已 具體可行之加值項目,經由建構一套完整且創新的技術、產品、營運模式與品牌行銷規劃,使之成為各領域市場上的明日之星。
※教育部前瞻基礎建設校園數位建設推動計畫推廣暨教學影片競賽
一、活動宗旨
為推廣前瞻基礎建設國民中小學校園數位建設建置成果,並鼓勵國民中小學教師瞭解及熟悉前瞻基礎建設校園智慧網路暨智慧學習教室相關教學設備使用方法,特辦理本次推廣暨教學影片競賽。期藉由本次競賽,推廣建置成果至所有師生及一般民眾,使其了解計畫之內涵與具體成果;期輔助國民中小學教師熟悉及運用新科技設備之操作,進而達成設備之近用、善用與樂用等積極目標,以提升整體數位教育之品質。
四、作品主題參賽作品分為兩大主題:
(一)前瞻成果願景組
影片主旨:參賽者可以從縣市之規劃觀點、或從學校推廣之觀點,傳達前瞻基礎建設校園智慧網路及智慧學習教室之建置成果;例如以硬體展示、示範之形式介紹各項設備暨建置成果,並建構未來之教育願景。
(二)教學示範推廣組
影片主旨:參賽者針對第一線使用設備的教師、以及負責管理、推廣之資訊組長、總務人員為對象,展示智慧網管或智慧學習教室各項硬體設備之使用方式、開關機操作形式,或對象為授課教師之教學情境模擬,示範各項資訊設備如何輔助教師日常教學等創意影片。
※2020智在家鄉 聯發科技數位社會創新競賽
參賽主題:
選定一個台灣鄉鎮市或區作為主題對象(可跨區但須註明),利用數位科技改善該地區的生活或環境的一個問題。為貼近問題真實的背景脈絡,需檢附地方訪談對象與意見回饋,如在地鄉親、地方政府、在地協會或團體等。另有歷屆得獎作品 可觀摩。
針對校園創業競賽,首先想起去年參加Pepper比賽「老有所衷」:長照2.0 機器人解決方案 ,能以學生角色來看待一個社會議題,利用AI機器人提供服務的經驗非常難得與深刻。接著,72天後我也再暫時成為「全職博士生」,對於「教育創新、科學教育、社會企業」很有興趣,即便這次不參加,未來仍可朝此方向努力。
而前瞻基礎建設校園數位建設推動計畫推廣暨教學影片競賽,則是自己廿多年(第一十 、第二十)來浸淫學習、成長最多的主題場域,當前新北與各縣市前瞻計畫發展多樣化的教學精彩,也可能面臨諸多挑戰。尤其這段期間在防疫停課不停學演練的滾動下,幾個月來,已帶起大家對於數位教學應用的認知跟行動,未來勢必也能在前瞻計畫的持續推進,再臻一番境界,讓人期待。
◎前瞻基礎建設國中小智慧學習教室建置參考指引
◎對新北「智慧前瞻」與「超前部署」的合理期待
最後的2020智在家鄉 競賽倒是時間充裕,讓我可以將自己看智慧學習與AI機器人加以整合,一來是自己的博士研究範疇,同時也希望為教學現場提供數位槓桿支點籌碼。加以5G應用於教學的想像空間還很大,我想投入開展【教育協集運動】多樣性、數位化與擴散力,適逢今年噗浪年會於七月底舉辦,結束後我真的可以趴趴走耶!
想過暑假後自己真的想做什麼嗎?我試著列出清單:想寫、想問、想玩的,當是自己的暑假作業。不過,看著看著,自己也心癢來想設計徵選或比賽吧!哈哈!