電腦科學與資訊工程

本研究中，我們對模型逆向攻擊在語音辨識系統中的影響及風險進行深入分析。隨著Siri、Google Home等智能助理設備在日常生活中的廣泛使用，其語者辨識系統的安全隱患引起了我們的注意。本研究目的在於深入理解模型逆向攻擊的運作機制，並探討其對語音辨識系統的攻擊效果。我們透過實施多樣化的攻擊策略，對不同的模型架構和數據處理方法進行了評估，並對人聲與非人聲的數據集進行了攻擊效果的比較。此外，我們亦實現了基於差分隱私的防禦算法，在多數模型架構下達到接近50%的防禦效果，顯著提高攻擊代價。研究整體揭示了語音辨識系統在面對模型逆向攻擊時的脆弱性，並藉由實驗分析推論出可能的防禦策略，期待能通過策略來增強模型的安全性。

Wibrazz is a wearable communication tool that allows the teacher, the therapist, the parent to communicate information to the child remotely using the device. Haptic (vibrationbased) feedback is becoming increasingly important in everyday life. A vibrating device that transmits information through clothing can help people with disabilities who have no or limited sensory use to live an integrated life in society without barriers.

In Brazil, approximately sixty million people suffer from or acquire some type of disease daily. However, the average time for blood count diagnoses, used to identify many of these diseases, remains very lengthy. This can lead to the worsening of conditions and delays in care, as well as a decrease in the patients’ quality of life. Moreover, in some cases, the waiting period can result in irreversible situations and even the death of the affected individuals. In this landscape, technological tools such as artificial intelligence software can help reduce the time taken for diagnostic reporting. In light of this, the project involves developing software to assist in the analysis of blood counts and optimize medical diagnoses. For this purpose, the methodology was divided into three stages. In the first, titled ”Medical Standardization”, a survey of the standard variables related to diseases that can be identified with the help of blood counts was conducted. Among the findings, diabetes, anemia, leukemia, dengue, polycythemia, tuberculosis, leprosy, meningitis, chlamydia, schistosomiasis, spotted fever, and malaria were the main diseases detected. Furthermore, hemoglobin, leukocytes, platelets, glucose, cholesterol, ions, and hormones were the key findings concerning the primary blood indicative factors for the mentioned diseases. In the second phase, the theoretical and practical foundations of the software were developed, based on artificial neural networks. In Python, regression models were also crafted to check the feasibility of the analyses. Finally, the last stage consisted of testing with real datasets, based on 1,227 anonymized blood counts. Among the artificial intelligence algorithm models tested, Support Vector (0.02) and Multiple Linear (0.61) had the lowest performances, while Polynomial (0.97), Random Forest (1.0), and Decision Tree (1.0) showed the best results. Given that the Random Forest and Decision Tree regression models achieved an accuracy of 1.0, while the Polynomial model scored 0.97, Support Vector 0.02, and Multiple Linear Regression 0.61, it is concluded that the blood count analysis system, with Python tools like regression, proved to be highly efficient. The closer the R² value is to 1.0, the better the programming fits the model, ensuring accurate analyses. Aside from that, in order to expand the number of analysis possible to do be done we decided to use a second tool called ”classification”, with which we made a bigger dataset to be used as a model to identify blood related diseases and the behavior of complex and diverse diseases. With that in mind, we performed a second evaluation of the models by doing an accuracy test, scored 87 percentage points and with a confusion matrix. With those results, we verified that the high performance of the tests indicates that Artificial Intelligence can be avaunt-guard to the elaboration of more efficient medical diagnosis, improving people’s lives quality and, overall, lowering the number of deaths in our country.

發展安全且可靠的身份辨識技術是當今的重要議題，而指靜脈因其高安全性及難以偽造特性成為我們的主題。本研究提出一種基於Transformer模型架構的指靜脈辨識模型稱為GLA-FD，旨在解決現有技術對指靜脈影像特徵表示與提取的局限性。透過開發特徵解耦與重建模組(FDRM)，模型能夠有效區分指靜脈的背景資訊與紋理特徵，並將其重新組合以提升辨識準確度。此外，本研究開發的全域-局部注意力模組(GLAM)能同時捕捉影像的全域與局部特徵，進一步強化模型對指靜脈特徵的理解。GLA-FD在FV-USM、PLUSVein-FV3、MMCBNU-6000、UTFVP、NUPT-FPV 資料集中的正確辨識率(CIR)達到100%、98.47%、99.75%、96.11%、99.82%，展現卓越的穩定性與泛化能力。此外，本模型在處理不同年齡層、國籍與影像模糊度的資料下，仍能保持高辨識準確度，顯示其在需要高安全性辨識的應用場景中具備廣泛的實用性。

在臺灣手語辨識，先前研究所使用的監督式學習需要大量標記樣本而限制可辨識詞彙量。為此，本研究借鑒自然語言處理領域中BERT 的遮罩想法，將未標記手語影片隨機遮蓋部分幀數，並讓模型學習預測被遮蓋的幀數以學習臺灣手語的特徵，並透過遷移學習來訓練辨識模型，此作法可克服現有臺灣手語資料缺少的問題。經過實驗，本研究訓練之詞彙辨識模型達成了242 個詞彙量，94.8%的準確率。 此外，先前研究皆未在手語句子翻譯上有成果。因此本研究基於預訓練模型，整合設計手語翻譯的系統，實驗中，系統在100 個句子的翻譯表現達到88%的準，且BLEU-4 分數取得20.98，證明自監督學習的方式在手語辨識、翻譯上是有效的。並展現出樣本需求少與辨識詞彙量可輕易擴大的潛力。

「在格狀平面中用矩形以互不重疊的方式鋪滿(2D rectangle tiling problem)」為一NP-complete問題(Dani`ele Beauquier et al ,1995)，目前多項式時間只能求出盡可能覆蓋最大面積的近似解。本研究所創的階梯演算法 stair algorithm 透過改變動態規劃紀錄狀態的方式，使狀態數大幅減少，進而改善求準確解的時間複雜度，也成功證明此演算法的正確性。本研究的演算法可被應用於平行計算中的負載平衡、積體電路設計等方面。隨後，本研究寫了一個互動展示品清楚呈現此演算法的功能。且以階梯演算法成功檢驗並比較 RTILE PROBLEM 的 7/3-approximation algorithm (Krzysztof Lorys and Katarzyna E. Paluch,2000 [4]) 與 11/5-approximation algorithm (Piotr Berman et al,2001[7])進行比較與分析。

在臺灣手語辨識，先前研究所使用的監督式學習需要大量標記樣本而限制可辨識詞彙量。為此，本研究借鑒自然語言處理領域中BERT 的遮罩想法，將未標記手語影片隨機遮蓋部分幀數，並讓模型學習預測被遮蓋的幀數以學習臺灣手語的特徵，並透過遷移學習來訓練辨識模型，此作法可克服現有臺灣手語資料缺少的問題。經過實驗，本研究訓練之詞彙辨識模型達成了242 個詞彙量，94.8%的準確率。 此外，先前研究皆未在手語句子翻譯上有成果。因此本研究基於預訓練模型，整合設計手語翻譯的系統，實驗中，系統在100 個句子的翻譯表現達到88%的準，且BLEU-4 分數取得20.98，證明自監督學習的方式在手語辨識、翻譯上是有效的。並展現出樣本需求少與辨識詞彙量可輕易擴大的潛力。

本研究中，我們對模型逆向攻擊在語音辨識系統中的影響及風險進行深入分析。隨著Siri、Google Home等智能助理設備在日常生活中的廣泛使用，其語者辨識系統的安全隱患引起了我們的注意。本研究目的在於深入理解模型逆向攻擊的運作機制，並探討其對語音辨識系統的攻擊效果。我們透過實施多樣化的攻擊策略，對不同的模型架構和數據處理方法進行了評估，並對人聲與非人聲的數據集進行了攻擊效果的比較。此外，我們亦實現了基於差分隱私的防禦算法，在多數模型架構下達到接近50%的防禦效果，顯著提高攻擊代價。研究整體揭示了語音辨識系統在面對模型逆向攻擊時的脆弱性，並藉由實驗分析推論出可能的防禦策略，期待能通過策略來增強模型的安全性。

背景：預測分子性質如溶解度、毒性及熔沸點對於基礎科學至關重要。然而，實驗測量這些性質耗時且昂貴，因此本研究使用多種機器學習模型藉由調整變相來準確預測熔、沸點。 方法：本研究使用超過一萬筆數據及兩種類型的機器學習方法：淺度與深度學習。淺度學習由 PyCaret實現，並以Mordred作為分子描述器；深度學習使用圖神經網路，包括（CMPNN和GCN），並調整隱藏層參數。 結果：CMPNN在目前嘗試的模型中表現最佳。發現影響沸點預測的關鍵特徵是piPC1，與鍵級相關；熔點則是AATS0d，與σ電子的 Moreau-Broto自相關有關。 結論：CMPNN模型在沸點與熔點預測中均表現最佳。沸點中深度學習模型優於淺度學習模型（p<0.05）。此外，使用SHAP成功找出piPC1和AATS0d對最關鍵。本研究不僅得出了高準確性的模型，還發現了影響分子性質的關鍵特徵，且可擴展至其他預測。

「在格狀平面中用矩形以互不重疊的方式鋪滿(2D rectangle tiling problem)」為一NP-complete問題(Dani`ele Beauquier et al ,1995)，目前多項式時間只能求出盡可能覆蓋最大面積的近似解。本研究所創的階梯演算法 stair algorithm 透過改變動態規劃紀錄狀態的方式，使狀態數大幅減少，進而改善求準確解的時間複雜度，也成功證明此演算法的正確性。本研究的演算法可被應用於平行計算中的負載平衡、積體電路設計等方面。隨後，本研究寫了一個互動展示品清楚呈現此演算法的功能。且以階梯演算法成功檢驗並比較 RTILE PROBLEM 的 7/3-approximation algorithm (Krzysztof Lorys and Katarzyna E. Paluch,2000 [4]) 與 11/5-approximation algorithm (Piotr Berman et al,2001[7])進行比較與分析。