AIGC多模態(tài)大模型應用工程師課程

近嶼智能精心設(shè)計的多模態(tài)大模型應用工程師課程，旨在帶領(lǐng)大家深入探索如何利用最前沿的人工智能技術(shù)，將簡單的文字轉(zhuǎn)化為豐富多彩的多媒體內(nèi)容，包括文本、圖像、語音、音樂和視頻。課程從基礎(chǔ)的文本生成（文生文）起步，逐步引導大家邁向更高階的視頻創(chuàng)作（文生視頻），采用循序漸進的教學方式，讓大家在輕松愉快的氛圍中掌握圖像、語音、音樂和視頻的創(chuàng)作技巧。

深入探索MLLM工具的使用、API調(diào)用、工具開發(fā)與增強，涵蓋AI創(chuàng)作、視覺藝術(shù)、音樂生成及多模態(tài)技術(shù)，旨在打造精通AI技術(shù)應用與創(chuàng)新的多模態(tài)大模型工程師。

B1階梯

熟練掌握各種多模態(tài)大模型工具（Qwen2-VL，GPT4o，可靈大模型等），完成短視頻文案、劇本創(chuàng)作，視頻剪輯、圖像創(chuàng)作、游戲設(shè)計、短視頻生成等工作，實現(xiàn)工作模式的升級和效率的提升。

B2階梯

學習多模態(tài)大模型的通用理論基礎(chǔ)，獲得多模態(tài)大模型的高級認知，在MLLM工具使用的基礎(chǔ)上，通過API調(diào)用完成批量化創(chuàng)作。

B3階梯

能夠根據(jù)應用需求，借助大模型應用框架，集成語言模型以及多模態(tài)模型構(gòu)建應用，擴展大模型能力。

B4階梯

針對多模態(tài)大模型能力的局限性，對多模態(tài)大模型的能力進行可控調(diào)優(yōu)。

文生文

介紹如何使用開源的Llama、ChatGlm或者閉源的蛙蛙寫作、通義、Kimi等進行AI文本創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過對開源的Llama、ChatGlm進行微調(diào)（SFT），讓大模型生成海量的類似風格的小說、劇本、軟文和廣告腳本等。

文生圖

會用開源的Flux、Stable Diffusion或者閉源的MidJourney進行AI圖片創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過對開源的Flux或者Stable Diffusion進行微調(diào)（SFT），讓大模型生成海量的類似風格的KV、電商詳情頁、海報和字體等。

AI語音生成

用開源的GPTSoVits或者閉源的剪映進行AI語音生成，如果你有一些可以模仿的人物音頻或者自己的歷史音頻集，可以通過對開源的GPTSoVits進行微調(diào)（SFT），讓大模型生成海量的類似風格的語音等。

AI音樂創(chuàng)作

用開源的AudioLDM或者閉源的SunoAI進行AI音樂創(chuàng)作，如果你有一些可以模仿的樂曲集、歌曲集或者自己的歷史作品集，可以通過對開源的AudioLDM進行微調(diào)（SFT），讓大模型生成海量的類似風格的純音樂或者帶歌詞的歌曲等。

AI視頻創(chuàng)作

用開源的CogVideo或者閉源的極夢、Dream Machine、Runway、Pika進行AI視頻創(chuàng)作，如果你有一些可以模仿的視頻作品集、電影或者自己的歷史作品集，可以通過對開源的CogVideo進行微調(diào)（SFT），讓大模型生成海量的類似風格的短視頻。

結(jié)合以上的一些或者全部的開源算法，用Langchain等技術(shù)框架開發(fā)一個集合AI文本創(chuàng)作，文生圖、文生音頻、文生音樂和文生視頻為一體的多模態(tài)大模型AI應用，例如：AI自動剪輯軟件筷子科技，非實時數(shù)字人合成軟件HeyGen和AI電商廣告生成軟件Fancy Tech等。

就業(yè)方向（部分）

多模態(tài)算法工程師

平面設(shè)計

UI設(shè)計

新媒體運營

游戲設(shè)計

品牌設(shè)計

電商

適合人群：

設(shè)計與創(chuàng)意行業(yè)從業(yè)者

原畫師：需要利用AI來增強創(chuàng)作過程，提高效率和創(chuàng)意表現(xiàn)。

AI設(shè)計師：專注于使用AI工具進行設(shè)計工作，創(chuàng)造視覺內(nèi)容。

AI美術(shù)師：結(jié)合美術(shù)功底與AI技術(shù)，進行藝術(shù)創(chuàng)作和視覺設(shè)計。

AI視覺設(shè)計：利用AI進行視覺設(shè)計，包括界面、插畫等。

媒體與娛樂行業(yè)從業(yè)者

剪輯師：通過學習AI技術(shù)，提高剪輯效率，實現(xiàn)自動化編輯流程。

娛樂媒體行業(yè)從業(yè)者：需要掌握AI工具來創(chuàng)作或優(yōu)化娛樂內(nèi)容，如視頻、音樂等。

AI內(nèi)容運營：負責管理和運用AI生成的內(nèi)容，進行有效的內(nèi)容策略規(guī)劃和執(zhí)行。

技術(shù)開發(fā)人員

多模態(tài)應用開發(fā)工程師：開發(fā)結(jié)合多種模態(tài)（如視覺、語音、文本）的AI應用。

多模態(tài)開發(fā)工程師：專注于創(chuàng)造能夠處理和學習多種類型數(shù)據(jù)的AI系統(tǒng)。

市場營銷與商業(yè)運營

市場營銷：利用AI進行市場分析、消費者行為預測和個性化營銷內(nèi)容創(chuàng)作。

AIGC內(nèi)容運營：專注于運營由人工智能生成的內(nèi)容，包括社交媒體、廣告等。

教育工作者

教育工作者：利用AI工具輔助教學，開發(fā)個性化學習內(nèi)容，提高教學效率。

新人與轉(zhuǎn)行者

想進入設(shè)計行業(yè)的應屆生：對于剛剛畢業(yè)、希望進入設(shè)計行業(yè)的學生，學習AI技能可以增加就業(yè)競爭力。

創(chuàng)意設(shè)計相關(guān)崗位的AI設(shè)計師：對于希望結(jié)合創(chuàng)意與技術(shù)，從事設(shè)計行業(yè)的人員。

核心亮點詳解：

雙模式課堂：結(jié)合直播與錄播課程，提供實時互動和答疑，以及隨時隨地的學習體驗

PBL地點：線上遠程/線下建議到上海總部學習

線上/線下自習室：提供線上騰訊會議自習室及線下上?？偛孔粤暿遥欣蠋煻綄W和答疑

實戰(zhàn)檢測機制：通過實際案例作業(yè)檢測學習效果

全程伴學服務(wù)：從入學到學籍期結(jié)束提供全程學習輔助

1V1技術(shù)答疑：專屬學管老師長期跟進學習薄弱點，學習小助手答疑7x24小時AI技術(shù)支持

積分獎勵機制：通過學習和積極性行為獲取積分，可在積分商城兌換

就業(yè)面試保障：制定個性化就業(yè)方案，匹配簡歷優(yōu)化及面試指導，至少5次崗位面試機會

課程升級策略：學員可聯(lián)系學管老師選擇課程升級服務(wù)，補繳額外費用即可轉(zhuǎn)入更高級別課程

就業(yè)指導

就業(yè)準備階段

確認學員基本信息：了解學員的基礎(chǔ)信息及就業(yè)意向和具體要求。

制定個性化就業(yè)方案：針對學員個性需求，為學員規(guī)劃求職方向。

簡歷與面試準備

簡歷檢測與修改：針對學員初始版簡歷，指導并輔助學員優(yōu)化簡歷并制作成品。

AI模擬面試：提供多次AI模擬面試，豐富學員面試經(jīng)驗并提升面試表達能力。

算法面試指導：課程提供2次算法面試指導直播課程。

面試能力提升

面試指導：可針對需面試崗位提供一對一視頻面試指導，包括技術(shù)能力溝通反饋。

面試技巧：提供面試禮儀與人事溝通技巧。

面試復盤：分析面試表現(xiàn)，并將在下一次面試指導中老師針對性給學員進行提升優(yōu)化。

先行者面試題共享

面試題共享學習：提供學長學姐整理的相關(guān)真實面試題與資料。

微軟證書

提供免費的考試輔導服務(wù)：全面的微軟認證考試準備，包括技術(shù)考試流程指導、講師視頻教程、考試題庫等，幫助考生全面掌握考試所需技能和知識點。

結(jié)業(yè)證書

完成階段課程后頒發(fā)，由近嶼智能JYI頒發(fā)，行業(yè)認可。涵蓋AIGC大模型實戰(zhàn)項目，在近嶼智能JYI的學習旅程中，學員將經(jīng)歷從基礎(chǔ)到進階，再到實戰(zhàn)的全面訓練，每一步都為學員的專業(yè)成長和實際應用能力的提升打下堅實的基礎(chǔ)。