|
國(guó)際學(xué)生評(píng)估項(xiàng)目(PISA) | ||
發(fā)布時(shí)間:2016-12-13 來(lái)源:山東省教科院 點(diǎn)擊數(shù):0次
|
||
國(guó)際學(xué)生評(píng)估項(xiàng)目(PISA) 國(guó)際學(xué)生評(píng)估項(xiàng)目(Program for International Student Assessment,PISA)是經(jīng)濟(jì)合作與發(fā)展組織(Organisation for Economic Co-operation and Development ,OECD)開(kāi)發(fā)的,目前世界上最具影響力、涉及范圍最廣的國(guó)際學(xué)生學(xué)習(xí)評(píng)估項(xiàng)目之一。PISA主要對(duì)即將完成義務(wù)教育的15歲學(xué)生進(jìn)行評(píng)估,測(cè)試學(xué)生是否具有現(xiàn)實(shí)生活和終身學(xué)習(xí)所必需的知識(shí)、技能等基本素養(yǎng),并由此分析學(xué)生成績(jī)與教育背景、學(xué)校因素以及情感態(tài)度價(jià)值觀(guān)之間的關(guān)系,其評(píng)估結(jié)果對(duì)多國(guó)的教育改革產(chǎn)生了深遠(yuǎn)的影響。 一、 PISA 的啟動(dòng)背景 1961 年正式成立的經(jīng)濟(jì)合作與發(fā)展組織(OECD)是在歐洲經(jīng)濟(jì)合作組織(OEEC)的基礎(chǔ)上經(jīng)過(guò)改組而來(lái)的。作為世界范圍內(nèi)有重要影響的經(jīng)濟(jì)組織,OECD 對(duì)教育的關(guān)注一直與其整體經(jīng)濟(jì)目標(biāo)緊密聯(lián)系在一起。 1. OECD 教育指標(biāo)體系 對(duì)學(xué)生的表現(xiàn)進(jìn)行國(guó)際比較評(píng)估的想法在OECD由來(lái)已久。事實(shí)上,早在70 年代,OECD 的綠皮書(shū)就開(kāi)始嘗試建立一個(gè)教育數(shù)據(jù)的收集與比較模式。但是直到80 年代中期,對(duì)教育成功指標(biāo)的測(cè)量才變?yōu)?/span>OECD的重點(diǎn)關(guān)注領(lǐng)域。1988 年,OECD 在巴黎召開(kāi)第38 屆年會(huì),開(kāi)始正式推動(dòng)國(guó)際教育指標(biāo)體系方案的建立,由OECD 的教育研究與改革中心(CERI)負(fù)責(zé)完成。1992年,OECD 出版了《教育概覽:OECD 指標(biāo)》(Educationat A Glance: OECD Indicators)一書(shū),提供了其成員國(guó)的教育系統(tǒng)在3 個(gè)領(lǐng)域(教育人口、經(jīng)濟(jì)與社會(huì)背景;教育花費(fèi)、資源和學(xué)校進(jìn)程;教育成果)的36 項(xiàng)核心指標(biāo)上的對(duì)比狀況,宣布了OECD 教育指標(biāo)體系的正式問(wèn)世。此后,OECD 的《教育概覽》逐步發(fā)展成年度刊物,同時(shí)教育指標(biāo)體系也在不斷革新和完善中。 2. PISA 的正式啟動(dòng) 一年一期的《教育概覽》大部分涉及的是教育的人力投資和財(cái)政資源,教育系統(tǒng)的合作,個(gè)人、經(jīng)濟(jì)和社會(huì)對(duì)教育投入的回報(bào)等,但一直缺乏對(duì)教育產(chǎn)出情況的有效考察。教育產(chǎn)出缺乏國(guó)家間共有和可信的指標(biāo),特別是在知識(shí)和技能方面的測(cè)評(píng)少有可信的數(shù)據(jù),使得決策者、納稅人、教育者和家長(zhǎng)都希望有一套評(píng)價(jià)其教育體系的有效工具。1995 年,為了滿(mǎn)足OECD 成員國(guó)希望獲得關(guān)于學(xué)生知識(shí)、技能及教育表現(xiàn)的常規(guī)、可靠的數(shù)據(jù)資料,PISA 項(xiàng)目被首次提出。雖然期間受到一些內(nèi)部力量的阻礙,OECD終在1997 年正式啟動(dòng)了PISA 項(xiàng)目。從提出設(shè)想起,經(jīng)過(guò)五年的研究與試點(diǎn)項(xiàng)目,OECD最終在PISA 調(diào)查的框架上達(dá)成了一致。2000 年,PISA 開(kāi)始了第一輪測(cè)評(píng)。此后,每三年舉行一輪測(cè)評(píng)。 二、PISA 的組織模式 作為一個(gè)國(guó)際比較研究項(xiàng)目,PISA 的組織和實(shí)施離不開(kāi)各參與國(guó)(地區(qū))教育主管部門(mén)的支持和幫助,因此其組織管理的模式也有其獨(dú)特性。 1. 指導(dǎo)監(jiān)管:PISA 管理委員會(huì) 管理委員會(huì)(PISA Governing Board)是由各OECD 成員國(guó)教育部任命的一位該國(guó)代表和PISA的各參與國(guó)(地區(qū))教育主管部門(mén)任命的一位觀(guān)察員所組成。管理委員會(huì)主席由委員會(huì)商議決定。管理委員會(huì)在OECD 教育目標(biāo)的指導(dǎo)下,確定每次PISA 測(cè)評(píng)的重點(diǎn),制定測(cè)評(píng)指導(dǎo)原則,以保證測(cè)評(píng)順利實(shí)施。 2. 日常管理:OECD 秘書(shū)處 OECD 秘書(shū)處(OECD Secretariat)負(fù)責(zé)PISA 的日常管理。包括監(jiān)督調(diào)查實(shí)施的情況、為PISA管理委員會(huì)管理行政事務(wù)、通過(guò)跨國(guó)交流得出一致意見(jiàn)等。它架起了PISA 管理委員會(huì)和PISA國(guó)際聯(lián)合處之間溝通協(xié)作的橋梁。OECD 秘書(shū)處的主席是Andreas Schleicher,他同時(shí)也是OECD 教育理事會(huì)下屬的指標(biāo)與分析部(Indicators and Analysis Divison)負(fù)責(zé)人。 3. 設(shè)計(jì)實(shí)施:PISA 國(guó)際聯(lián)合處 PISA 的具體設(shè)計(jì)和實(shí)施由多國(guó)機(jī)構(gòu)組成的PISA 國(guó)際聯(lián)合處(PISA Consortium,亦稱(chēng)國(guó)際承包商international contractor)來(lái)負(fù)責(zé)。該聯(lián)合處由一些國(guó)際大型的測(cè)評(píng)機(jī)構(gòu)組成,它以澳大利亞教育研究委員會(huì)(Australian Council for Educational Research,ACER)為首,其它聯(lián)合機(jī)構(gòu)還包括荷蘭的全國(guó)教育測(cè)量研究所(CITO),美國(guó)的Westat 公司和教育考試服務(wù)中心(ETS)以及日本的全國(guó)教育政策研究所(NIER)。 三、PISA 的評(píng)價(jià)內(nèi)容 1. PISA 評(píng)價(jià)的核心:素養(yǎng) 在 PISA 的測(cè)評(píng)框架中首先提出“素養(yǎng)”的概念,即“學(xué)生應(yīng)用所學(xué)知識(shí)和技能,分析、推理和進(jìn)行有效溝通,解決和解釋各種不同情境中問(wèn)題的能力”這個(gè)概念指導(dǎo)了PISA 測(cè)評(píng)內(nèi)容的制定。PISA關(guān)于“素養(yǎng)”的提出具有深遠(yuǎn)的意義。以往的測(cè)評(píng),更多的是關(guān)注學(xué)校里獲得的知識(shí),主要考查學(xué)生對(duì)課程的掌握情況。而PISA 認(rèn)為素養(yǎng)的獲得是一個(gè)終生的過(guò)程,它并不僅僅發(fā)生在學(xué)校里,經(jīng)過(guò)正規(guī)的學(xué)習(xí)來(lái)獲得;它還可以通 過(guò)與同伴、同事以及更廣泛社交圈的交往獲得。 2. PISA 的評(píng)價(jià)領(lǐng)域 PISA 評(píng)價(jià)主要集中在三個(gè)領(lǐng)域:閱讀素養(yǎng)、數(shù)學(xué)素養(yǎng)、科學(xué)素養(yǎng)。2003 年還首次增加了問(wèn)題解決能力的測(cè)評(píng)。每輪PISA 測(cè)評(píng)都有側(cè)重點(diǎn):2000 年的重點(diǎn)為閱讀素養(yǎng);2003 年為數(shù)學(xué)素養(yǎng);2006 年為科學(xué)素養(yǎng);到2009 年又回到以閱讀素養(yǎng)為主,直至2015 年項(xiàng)目告一段落,總計(jì)進(jìn)行兩個(gè)周期。具體測(cè)評(píng)周期及領(lǐng)域如下表所示。 1) 閱讀素養(yǎng):為了達(dá)到個(gè)人目標(biāo)、增進(jìn)知識(shí)、發(fā)展?jié)撃芤约皡⑴c社會(huì)活動(dòng),而理解、運(yùn)用、反思書(shū)面材料的能力以及投入閱讀的狀況。 2) 數(shù)學(xué)素養(yǎng):識(shí)別和理解數(shù)學(xué)在世界中所起的作用,做出有根據(jù)的數(shù)學(xué)判斷的能力,以及作為一個(gè)關(guān)心社會(huì)、善于思考的公民,為了滿(mǎn)足個(gè)人生活需要而使用和從事數(shù)學(xué)活動(dòng)的能力。 3) 科學(xué)素養(yǎng):具備科學(xué)知識(shí),運(yùn)用科學(xué)知識(shí)識(shí)別問(wèn)題,獲取新知,科學(xué)地解釋現(xiàn)象,根據(jù)證據(jù)得出結(jié)論;理解科學(xué)的本質(zhì)及社會(huì)作用;具備科學(xué)思想,參與科學(xué)決策。 3. PISA 的評(píng)價(jià)模型 PISA 將教育系統(tǒng)分為四個(gè)層次:教育與學(xué)習(xí)中的個(gè)人參與者、教學(xué)背景、教育服務(wù)的提供者、作為整體的教育系統(tǒng)。PISA 的測(cè)評(píng)模型即是圍繞教育系統(tǒng)的四個(gè)層次展開(kāi)的。這四個(gè)層次從宏觀(guān)、中觀(guān)、微觀(guān)三個(gè)方面出發(fā),不僅關(guān)注國(guó)家的經(jīng)濟(jì)、人口等因素;關(guān)注學(xué)校的因素;也關(guān)注學(xué)生個(gè)人的家庭、移民、興趣、愛(ài)好等因素。具體如下圖所示: 四、PISA 的評(píng)價(jià)過(guò)程 1. 框架制定 PISA 的框架制定主要由國(guó)際聯(lián)合處完成,在此過(guò)程還得到了各國(guó)(地區(qū))教育主管部門(mén)的支持和指導(dǎo)??蚣艿闹贫ㄖ饕ㄈ缦虏襟E:⑴由PISA 管理委員會(huì)、國(guó)際聯(lián)合處、OECD 秘書(shū)處共同制定測(cè)評(píng)指導(dǎo)原則,以保證測(cè)評(píng)順利實(shí)施;⑵由國(guó)際專(zhuān)家團(tuán)隊(duì)向PISA各參與國(guó)(地區(qū))深入咨詢(xún)后,確定各測(cè)評(píng)領(lǐng)域的技能和能力范圍,對(duì)測(cè)評(píng)領(lǐng)域進(jìn)行操作性界定;⑶評(píng)估各項(xiàng)任務(wù)的組織程序,以便向決策者和研究人員匯報(bào)參與國(guó)家(地區(qū))15歲學(xué)生在各測(cè)評(píng)領(lǐng)域的成績(jī);⑷確定構(gòu)建測(cè)評(píng)題目所需要重視的一系列關(guān)鍵特征并使其可操作化;⑸評(píng)估變量的有效性,即每個(gè)變量對(duì)各參與國(guó)(地區(qū))理解任務(wù)的難度;⑹準(zhǔn)備對(duì)結(jié)果的解釋方案。 2. 工具編制 由PISA 管理委員會(huì)和國(guó)際聯(lián)合處共同完成。PISA 管理委員會(huì)挑選閱讀、數(shù)學(xué)、科學(xué)等領(lǐng)域的世界級(jí)專(zhuān)家組成專(zhuān)家組,負(fù)責(zé)設(shè)計(jì)每次PISA 調(diào)查的理論框架,組織問(wèn)卷調(diào)查專(zhuān)家負(fù)責(zé)并指導(dǎo)PISA問(wèn)卷的制定。國(guó)際聯(lián)合處自行設(shè)計(jì)或邀請(qǐng)所有的PISA 參與國(guó)(地區(qū))提交具體的測(cè)試問(wèn)題,然后由國(guó)際聯(lián)合處及各參與國(guó)(地區(qū))審閱,只選取大家都無(wú)異議的題目,最終確定試題庫(kù)。試題庫(kù)中的每道題目都由各參與國(guó)(地區(qū))進(jìn)行評(píng)分。在正式測(cè)試之前,還會(huì)在所有參與國(guó)(地區(qū))進(jìn)行試測(cè),試測(cè)證明在某些國(guó)家太易或太難的題目都會(huì)在正式測(cè)試時(shí)取消。測(cè)試由各國(guó)專(zhuān)家翻譯成本國(guó)的文字,學(xué)生用本國(guó)語(yǔ)言作答。 3. 學(xué)生抽樣 在抽樣方法上,PISA 的目標(biāo)總體采用了基于年齡的界定。PISA 選取的樣本是在測(cè)試開(kāi)始時(shí)年齡在15 歲3 個(gè)月到16 歲2 個(gè)月之間的在校學(xué)生,不管學(xué)生在哪個(gè)年級(jí)或哪種教育機(jī)構(gòu)就讀,也不考慮他們接受的是否是全日制教育。但是,不包括未在教育機(jī)構(gòu)就讀或在國(guó)外上學(xué)的15 歲學(xué)生。每個(gè)國(guó)家(地區(qū))所制訂的特定樣本設(shè)計(jì)和樣本大小都是為了最大化學(xué)生層面估計(jì)值的抽樣效率。PISA在各國(guó)(地區(qū))的樣本范圍在4500 至10000 名學(xué)生之間。 4. 具體施測(cè) 在PISA 的具體施測(cè)中,各參與國(guó)(地區(qū))政府要任命一個(gè)國(guó)家項(xiàng)目經(jīng)理(PISA National Project Manager)來(lái)負(fù)責(zé)監(jiān)督每個(gè)參與國(guó)(地區(qū))的評(píng)價(jià)實(shí)施情況。PISA 的測(cè)評(píng)形式為紙筆測(cè)試,測(cè)試均在學(xué)生所就讀學(xué)校內(nèi)進(jìn)行。 測(cè)評(píng)包括兩部分:素養(yǎng)測(cè)試和個(gè)人背景與學(xué)習(xí)情況問(wèn)卷。每個(gè)學(xué)生的素養(yǎng)測(cè)試時(shí)間為2 小時(shí),但由于有不同的題本組合,因此總測(cè)評(píng)時(shí)間加起來(lái)一共約390 分鐘。在每位學(xué)生素養(yǎng)測(cè)試的2 小時(shí)內(nèi),每輪測(cè)評(píng)重點(diǎn)領(lǐng)域(如2009年為閱讀素養(yǎng))的測(cè)試時(shí)間占總測(cè)試時(shí)間的2/3。此外,PISA2009年還加入了額外的大多數(shù)國(guó)家(地區(qū))參與的學(xué)生電子文本閱讀測(cè)評(píng),時(shí)間為40 分鐘。 素養(yǎng)測(cè)試題目由問(wèn)答題與選擇題相結(jié)合。題目通常以單元形式組織。每個(gè)單元包含一段文字或一個(gè)圖表,都是學(xué)生在現(xiàn)實(shí)生活中可能遇到的問(wèn)題。學(xué)生的個(gè)人背景與學(xué)習(xí)情況問(wèn)卷約為30 分鐘,主要涉及學(xué)生的背景、學(xué)習(xí)習(xí)慣和對(duì)學(xué)習(xí)環(huán)境的認(rèn)知,以及參與學(xué)習(xí)的程度和動(dòng)機(jī);學(xué)校校長(zhǎng)則要做一份20-30 分鐘的問(wèn)卷,回答學(xué)校的人口分布特征及學(xué)校學(xué)習(xí)環(huán)境等問(wèn)題。PISA 還提供參與國(guó)(地區(qū))可供選擇的家長(zhǎng)問(wèn)卷,以獲得學(xué)生學(xué)習(xí)更多的信息。 5. 測(cè)試評(píng)分 PISA 通過(guò)分?jǐn)?shù)來(lái)劃分能力等級(jí),一共有六個(gè)能力水平。每個(gè)參與國(guó)(地區(qū))在一個(gè)具體領(lǐng)域中(如閱讀、數(shù)學(xué)或科學(xué))的得分是這個(gè)國(guó)家所有參與測(cè)試學(xué)生在該領(lǐng)域的平均分。PISA 不提供所有測(cè)試的總分,只提供每一特定領(lǐng)域的分?jǐn)?shù),并根據(jù)參與國(guó)(地區(qū))在各具體領(lǐng)域的平均分進(jìn)行排名。 各參與國(guó)(地區(qū))都有受各自國(guó)家項(xiàng)目經(jīng)理監(jiān)督的測(cè)試修正組。測(cè)試修正組根據(jù)國(guó)際聯(lián)合處和PISA 專(zhuān)家制定的指南手冊(cè)紀(jì)錄學(xué)生在PISA 測(cè)試中的得分。經(jīng)專(zhuān)家審閱后,將測(cè)試最后結(jié)果上交國(guó)際聯(lián)合處,再由國(guó)際聯(lián)合處上交到OECD 秘書(shū)處。 6. 評(píng)價(jià)報(bào)告 測(cè)評(píng)結(jié)束后,OECD 秘書(shū)處一般會(huì)在第二年下半年提供一份詳細(xì)的包括PISA 全部評(píng)估結(jié)果的報(bào)告。評(píng)估報(bào)告由大量的圖表及文字說(shuō)明組成,圖表通常包括各國(guó)平均分排名、影響成績(jī)的因素和分?jǐn)?shù)相關(guān)性等方面。 PISA 2009 的評(píng)估結(jié)果報(bào)告將于2010 年12 月7 日面向全球公布。 五、PISA 的國(guó)際影響 英國(guó)人將PISA 喻為“教育界的世界杯”競(jìng)賽。PISA 評(píng)價(jià)所反映的世界教育中的問(wèn)題引起了許多國(guó)家的重視,而更多的情況是,PISA 參與國(guó)根據(jù)學(xué)生在PISA 中表現(xiàn)的國(guó)際比較,反思本國(guó)教育的不足,實(shí)施改革措施。以德國(guó)為例,在PISA 2000 的評(píng)價(jià)中,德國(guó)學(xué)生的閱讀素養(yǎng)表現(xiàn)差強(qiáng)人意,在OECD 的30 國(guó)中排名第20 位,且分?jǐn)?shù)最高學(xué)生(前10%)和最差(末10%)的比例為1:8,該比例在參加測(cè)試的國(guó)家中是最大的,這意味著德國(guó)學(xué)生教育成就的嚴(yán)重不均衡。德國(guó)政府意識(shí)到問(wèn)題的嚴(yán)重性,開(kāi)始了一系列改革措施:⑴統(tǒng)一教育標(biāo)準(zhǔn),建立最低標(biāo)準(zhǔn);⑵加強(qiáng)學(xué)前教育,提早入學(xué)年齡;⑶增加教育投入,調(diào)整優(yōu)先投資項(xiàng);⑷延長(zhǎng)學(xué)時(shí),建設(shè)全日制學(xué)校;⑸關(guān)注移民子女,促進(jìn)民族融合;⑹加強(qiáng)教師培訓(xùn),賦予教師更多的權(quán)力和責(zé)任。 而另一方面,一些在PISA 測(cè)評(píng)中表現(xiàn)優(yōu)異的國(guó)家則成為其它國(guó)家教育觀(guān)摩的對(duì)象。這其中最為突出的是芬蘭。芬蘭的學(xué)生在PISA 2003 年的閱讀、數(shù)學(xué)和科學(xué)方面的測(cè)評(píng)中均取得了第一名的成績(jī),從而被塑造為基礎(chǔ)教育成功的典范。世界各國(guó)紛紛對(duì)其進(jìn)行調(diào)研,分析其教育成功的原因,以為借鑒。 PISA 的成功實(shí)踐已引起國(guó)人極大的關(guān)注。到目前為止,中國(guó)的香港、澳門(mén)、臺(tái)灣均參加了PISA2003\2006\2009 的測(cè)試,并且有突出表現(xiàn)。2006 年10 月國(guó)家教育部考試中心引進(jìn)并啟動(dòng)了PISA 2006中國(guó)試測(cè)研究項(xiàng)目,在天津、北京、濰坊三市進(jìn)行了試點(diǎn)性測(cè)試,獲得了關(guān)于我國(guó)15 歲青少年的表現(xiàn)及教育存在問(wèn)題的一些有價(jià)值結(jié)論。2009 年4 月17 日,PISA 2009 的測(cè)評(píng)在上海市152 所樣本學(xué)校同時(shí)進(jìn)行,參加測(cè)評(píng)的15 歲學(xué)生人數(shù)共5115 名。這是上海市也是中國(guó)大陸地區(qū)第一次參加PISA 的正式測(cè)評(píng)。 六、PISA 的主要特點(diǎn) PISA 作為一個(gè)相對(duì)年輕的國(guó)際評(píng)價(jià)項(xiàng)目,是建立在“終身學(xué)習(xí)”的動(dòng)態(tài)模型基礎(chǔ)之上的,其主要特點(diǎn)包括: 1. 良好的政策導(dǎo)向:根據(jù)政府制定政策的需要進(jìn)行設(shè)計(jì)和報(bào)告,以提供政策借鑒。獨(dú)創(chuàng)的“素養(yǎng)”概念:PISA 測(cè)評(píng)的是學(xué)生在各領(lǐng)域的素養(yǎng),而非限制在特定學(xué)科知識(shí)的獲得上。它不僅需要學(xué)生在閱讀、數(shù)學(xué)和科學(xué)等領(lǐng)域有一個(gè)扎實(shí)的知識(shí)基礎(chǔ),還需要理解基本的過(guò)程和原則,并在現(xiàn)實(shí)世界的不同情境中靈活地運(yùn)用。 2. 終身學(xué)習(xí)的相關(guān)性:終身學(xué)習(xí)不僅局限于學(xué)生在學(xué)校里掌握一定的知識(shí)和技能,最重要是要使他們?cè)趯W(xué)習(xí)生活中形成良好的學(xué)習(xí)和生活習(xí)慣;了解自己的思維過(guò)程、學(xué)習(xí)策略和方法。PISA評(píng)價(jià)與終身學(xué)習(xí)的理念形成了很好的契合。 3. 長(zhǎng)期的趨勢(shì)研究:PISA 的趨勢(shì)研究可以讓各參與國(guó)清楚地了解國(guó)內(nèi)教育結(jié)果在一段時(shí)期內(nèi)的變化情況,也可以結(jié)合教育環(huán)境的相關(guān)信息分析這種變化產(chǎn)生的可能原因。 4. 科學(xué)的背景信息收集:PISA 背景問(wèn)卷主要有兩個(gè)作用:一是提供學(xué)生的人口學(xué)維度的信息,以對(duì)學(xué)生成績(jī)進(jìn)行分類(lèi)比較;二是提供學(xué)生生活和學(xué)習(xí)的背景信息,以對(duì)學(xué)生成績(jī)差異作出解釋?zhuān)┘议L(zhǎng)、教師和教育決策者參考。 5. 廣泛的覆蓋面和國(guó)際合作:PISA 2009 的參與國(guó)(地區(qū))已達(dá)67 個(gè),覆蓋了世界經(jīng)濟(jì)的90%。PISA 測(cè)評(píng)凝聚了多國(guó)教育專(zhuān)家的智慧,由OECD、PISA 國(guó)際聯(lián)合處、各國(guó)專(zhuān)家共同參與測(cè)試工具的開(kāi)發(fā)和數(shù)據(jù)分析,是國(guó)際合作研究的典范。
|
||
上一篇:山東省教育廳等7部門(mén)關(guān)于進(jìn)一步做好中等職業(yè)學(xué)?!拔拿黠L(fēng)采”競(jìng)賽活動(dòng)工作的通知 | 下一篇:我院組織召開(kāi)山東省高職質(zhì)量保障與專(zhuān)業(yè)評(píng)估專(zhuān)家咨詢(xún)會(huì)議 | |
|
||
版權(quán)所有:山東省教育科學(xué)研究院 魯ICP備16004198號(hào)-1
地址:濟(jì)南市中區(qū)土屋路3—1號(hào) 后臺(tái)管理