企业服务器芯创技术路线选型评估10个核心问题解读(ARM、x86、龙芯)

2023-08-19 4279阅读 0评论

【前言】

企业服务器芯创技术路线选型评估10个核心问题解读(ARM、x86、龙芯) 第1张
(图片来源网络,侵删)

在Intel、AMD等国外基于X86指令架构的CPU厂商几乎占据市场主导地位的同时,我国相关行业作为全球最重要的计算机市场和引领全球数字化转型的国家,不断呼唤基于X86指令架构的CPU的生产。靠我们自己设计——“中国芯” 2018年以来,我国CPU产业和刚刚踩上加速器的骨干企业,就遭到了西方无情的打压和制裁。 在试图将其“扼杀”在摇篮里的同时,却引起了亿万人民的关注。 国家、行业、科技界围绕这个“卡脖子”领域吹响了“补短板”的号角。 华为、海光、飞腾、兆芯、龙芯、申威等国内比较有实力的厂商通过各种渠道和方式推出了不同指令集和架构的各类通用CPU产品,并搭载在国内各服务器厂商的产品中。 ,这说明产品迭代速度快,技术架构差异很大,厂商重点关注的场景不同,发展特点也不同。

作为“国家芯片”的典型厂商,其技术路线主要有三个方向:

1、采用主流X86指令集的海光、兆芯通过接受主流厂商的技术注入获得有限的专利授权,从而推出了与现有应用代码基本兼容的产品。 他们具有天然的软件生态优势,并且部分产品表现出相对良好的单核性能; 但由于其专利授权是2016年国外厂商的技术,很难获得最新的技术授权,因此只能走增加物理CPU核心数的技术发展道路。

2、采用主流ARM指令集的华为和Phytium,其技术授权来源于英国ARM公司的商业专利授权。 购买相应的IP授权后,他们设计自己的产品。 由于目前大多数手机应用程序都是基于该架构指令集开发的,因此相应的产品也具有相对良好的软件生态和应用程序代码兼容性,并且具有核心数多、能耗比高的特点; 最新高性能服务器的 IP 许可证已出售)。

3、采用自主开源指令集的厂商,代表为采用完全自主CPU指令集LoongArch的国产芯片鼻祖“龙芯”,以及采用开源指令集RISC-V的国内厂商联盟(如:中科院、阿里、腾讯),这些新厂商的产品进步非常快。 基于多年的努力,龙芯团队在2021年实现了主流INTEL产品的单核综合性能,而RISC-V联盟厂商则得益于参与厂商众多。 发展速度令人欣喜; 但两者都因软件生态缺失、代码编译困难等原因,短期内难以获得众多应用开发者的青睐。

作为企业数字化转型的核心驱动力,应用开发者关注的是代码开发生态(无论运行快慢,出现问题都可以找到支持),而重点关注测试和运营维护人员关注的是性能(单核、多核)和稳定性。 X86架构经历了足够的时间打磨。 不过,其他技术厂商还需要经过大量时间和技术积累的考验。

最后,面对国信新创的大潮,企业IT选型架构师和IT专家又该如何应对在新创技术路线上的选择呢? 不久前,社区重点组织交流了企业服务器芯创技术路线(ARM、x86、龙芯)选型中关心的一些核心问题。 给同事带来帮助。

*以下问题和意见分享来自社区成员,不代表社区倾向; 本文若涉及产品技术参数等,请以官方发布为准

1、信创服务器与商用服务器的故障率对比如何?

【问题描述】您有统计过信创服务器与现有商用芯片服务器相比整体故障率吗?

@summit某城市商业银行架构管理岗:

说一下我们使用的服务器,仅供参考。 XC服务器主要有浪潮(Phytium S2500)、长城(Phytium S2500)、紫光恒越(海光7280)、百信恒山(鲲鹏920)。 恒山(鲲鹏920)资源利用率达到90%以上没有问题; 浪潮(Phytium S2500)和长城(Phytium S2500)在资源利用率达到70%-80%左右时出现问题,可能与相关产品有关。 适应不兼容有关。 从性价比角度考虑,建议该类型服务器主要用于非关键应用的开发测试环境或生产环境。

@朱向东中原银行技术支持:

如果将信创服务器与商用服务器进行比较,由于服务器中布满了电子元件,电子元件存在故障、老化现象。 无论是新创服务器还是商用服务器,设备基本上都有发生设备故障的现象,一般分为三个阶段:

1)初期故障期是指新购买的服务器在机架安装前后,由于设备设计、材料制造不良、材料储存不良、运输颠簸、接口松动、操作不当等原因造成的设备故障。 某些组件出现故障的情况相对较少。

2)偶发故障期是指设备投入生产后,设备零部件尚未达到使用寿命,但部分零部件出现故障。 这种失败是不可预测的。 如果服务器设备长时间处于高负载运行状态,硬盘故障率可能会更高。 一般高IO连续运行一年以上,硬盘的故障率就会增加。

3)磨损故障期,即设备投产后三至五年内,设备零部件磨损过度,导致故障率增加。 如果加强设备维护,及时更换即将达到使用寿命的零部件,故障率可能会降低,但维护成本也会增加。 如果太高,这个时候就应该考虑更新装备了。

对于整体故障率的比较,不同厂家的服务器产品的故障率还是有一定的特点的。 当然,根据用户在不同场景下使用服务器的情况,故障率的特点也有所不同。 用户需要积累一些运维数据来进行分析。

@yufu338平安科技信息技术经理:

故障率相当相似,但由于信创服务器较少,数据仅供参考; 信创服务器最大的问题不是故障率,而是故障后修复能力弱。 很多故障无法进行根因分析,而且由于美国的制裁,鲲鹏、海光平台的服务器无法得到国外关键部件厂商的技术支持,有些故障根本无法解决。

@actor168 中国联通软件研究院研发工程师:

从我个人的经验来看,它们几乎都是一样的。 服务器故障来自多个方面:内存条坏了、磁盘坏了、网卡坏了、莫名死机、CPU坏了。 目前,这些硬件的制造工艺是相同的,但设计不同。 不同,故障率基本相同。

2、ARM、x86、龙芯各有优缺点。 从未来5年的角度来看,哪个平台更有优势?

【问题描述】文章称,X86指令集专利授权是国外厂商2016年的技术,很难获得最新的技术授权; ARM指令集明确拒绝向中国企业出售最新高性能服务器的IP授权; RISC软件生态不够完善,代码编译困难,各有优缺点。 从来没有见过他们遇到过比较大的卡脖子的情况。 如果从短期来看,比如5年内,目前哪个平台更有优势?

@kingdonwang 中国人民银行清算中心系统工程师:

ARM的优势在于功耗比,应用主要在移动互联网,同时也渗透到新兴的后端服务器业务领域(归属于互联网厂商); X86的优势在于性能和完善的生态。 田野要孤独; 龙芯的优势在于技术和供应链的独立可控。 另外,龙芯可以在部分Linux上运行.net应用程序(虽然场景不多)。

个人对未来5年的评价:ARM应该在后端服务器领域收缩; X86的市场份额也会因国内新创的推动而萎缩,但仍会占据主流; PC和服务器份额的快速发展或将成为“国家芯”的领头羊。

有人说RISC-V也会快速发展。 我并不完全同意这一点。 “国芯”在ARM和X86技术专利上都遭受了不小的打击,至今仍无法摆脱这两家公司的阴霾。 今天所谓的开源并不意味着未来不会改变(MIPS指令集因为龙芯的发展已经从开源变成了闭源),而且关键领域必须由中国人控制他们自己。

ARM在中国和全球的发展空间已经越来越窄。

随着美国芯片大棒的挥动,ARM明确宣布将停止向中国企业授权新的服务器大核架构,这意味着无论ARM还是X86,仍然可以出售“国产”CPU厂商(海光、兆芯等)酷睿、飞腾、勉强算阿里倚天),将无法推出更新CPU架构的更高性能产品,只能靠堆芯来摊煎饼。 中国芯的发展之路已经走到了尽头~~

中国芯的未来在哪里? 借用一句名句“路就在你脚下”,只有掌握了CPU设计的基础,你才不会受制于人——龙芯发布了自己的指令集LoongArch,性能突飞猛进。 根据模拟计算,即将推出的3A6000可以达到Intel 11第一代酷睿的单核性能; RISC-V的性能也取得了长足的进步,并且因其开源的特点,赢得了高通、INTEL等国际公司的青睐和关注。 但两者都还处于发展初期,都面临着软件支撑和行业生态等发展问题。 需要下大力气完善产业生态,不断拓展应用场景、增强服务支撑、扩大兼容性。 从芯片制造的角度来看,估计“卡脖子”的时间会更长。 7nm及以下芯片制造工艺短时间内无法突破。 涉及的产业链很长,技术壁垒更深。 双手“弯道超车”,更要承受,不为一时之利,相信国人的智慧(看看AMD、英伟达、台积电的老大们)。 总之,当前的中国芯片需要“努力+时间”才能走上自我循环的良性发展道路。

PS,我的一个哥们是中芯国际的。 从去年底开始,他加班的次数越来越多,他不再对国内芯片行业感到愤怒。 这一定是一个好兆头。

@某金融企业系统工程师:

就我个人而言,我更看好ARM。 鲲鹏的性能目前在几款国产芯片中是比较优秀的。 生态也比较丰富,开源的大多都有ARM版本。 但目前最重要的是可用性。

@actor168 中国联通软件研究院研发工程师:

短期内哪个生态更好,哪个供应充足,哪个性能最好,ARM>x86>>龙芯>>RISC-V;

长期:龙芯

@晨晨金融公司:

我们只测试了海光和鲲鹏两个平台。 目前鲲鹏的性能优于海光,海光的适应性也优于鲲鹏。

3、对于国内IT的整体适应性,如果厂商互相推挤,如何有效协调解决问题?

【问题描述】国产CPU、服务器、操作系统、虚拟化平台存在适应性等诸多问题。 遇到问题时,很难定位原因。 各个制造商互相推动。 如何有效协调各厂家,共同解决问题?

@zzy3620 北部湾银行系统环境管理:

作为用户,还是需要从集成的角度对问题进行全面的分析,并牵头协调各级厂家共同排查问题。 对于能够明确定位的兼容性问题,为了快速解决问题,需要针对金融行业不同的本地厂商进行适配。 研发资源和技术支持资源得到评估,协同和研发能力更强的厂商往往能够更快地解决问题,但从根本上来说,仍然需要两家产品厂商进行对接。

@cpc1989 保险公司存储工程师:

一方面,新创项目的实施可以从两条主线进行。 新创云主要对应新创基础硬件+操作系统一体化解决方案,新创适配应用对应新创操作系统+其他软件一体化解决方案,围绕这两条主线,选择实施更丰富的厂商经验和案例较多,可以大幅降低实施难度。

另一方面,遇到适应问题时,往往是多种因素共同作用的结果。 从解决问题的思路来看,无论是硬件还是软件层面,更换一些组件效率更高。 选择成熟的实施方案,避免兼容性问题。

@陈立某保险公司:

由于平台和发行版本众多,很难自由组合,实现技术栈的自由。 通常,某个芯片与某个操作系统版本和某个中间件服务配合。 这样的话,对问题的响应就会比较快。 ,但是不同的系统不可能使用不同的技术。

一种解决方案是在该技术方案中寻找技术能力较强的制造商,或者培养技术能力较强的员工来率先定位。

4、鲲鹏的ARM架构何去何从?

【问题描述】目前面对制裁,鲲鹏(ARM架构)、海光(X86,AMD授权)等需要授权的国产架构应该怎么做,如何更新迭代,如何开发? 也像神威一样,公版已经不再更新了,那么如何迭代呢?

@kingdonwang 中国人民银行清算中心系统工程师:

架构授权比指令集授权控制更严格,技术灵活性空间很低。 海光和鲲鹏的CPU架构都因专利限制而难以继续发展。 只听到自己声音的尴尬。 ARM给华为鲲鹏的IP授权最多只能到V8,AMD给海龙的IP授权也只能是10年前的ZEN一代。 这样一来,CPU单核性能基本不可能取得突破,只能依靠核心数量。 问题是拼接技术和安装空间能否无限放大? 我对授权途径的前景并不乐观。 与其坐以待毙,不如做一些能掌控自己命运的事情——自己的指令集+IP+应用生态。

@gavin_zhang 某股份制银行系统架构师:

鲲鹏和海光的情况或许不太一样,鲲鹏的极限要稍微低一些。

鲲鹏已经买断了v8的授权云服务器检修,后续基于V8的架构将不会受到实体清单的影响。 目前最大的问题是晶圆制造,等待国产芯片技术的突破。 生态其实还好。 移动设备和Mac都使用相同的ARM架构,并且许多开源设备都有ARM版本。

海光在授权和制造方面存在诸多问题。 最大的优势是x86指令集,可以兼容大多数现有应用程序。

目前最好的是龙芯,loongArch是我们自己的指令集。 目前最大的问题还是制造业。 可惜生态游戏有点差强人意,而且服务器CPU才刚刚推出。

5、如何尽量减少应用改造,实现国产芯片的平滑升级?

【问题描述】在国产芯片的选型过程中,最大的障碍是新型国产芯片与现有操作系统、应用程序、基础平台的兼容性。 最大限度地减少转型成本和可移植性的能力将是一个优先事项。 芯片选择。 但在数据库、高并发应用场景等一些关键应用中,芯片性能也将是一个重要考察点。

@吴守长安徽省农村信用联社:

目前,围绕国产芯片的操作系统、应用程序和数据库已经基本形成了一定的生态环境,在实际生产和部署过程中会遇到很多问题。 目前,部分业务系统可以首先在x86虚拟化芯片上部署国产操作系统及相关应用、数据库、验证相关功能。 在国产芯片上同时部署相应的应用程序和数据库。 稳定性满足一定要求后,即可发布并作为生产环境使用。 目前鲲鹏芯片上下游厂商众多,可以作为首选。 对于高性能要求、高并发的情况,可以通过集群找到相应的解决方案。

@ljm327 银行系统运维工程师:

目前各厂商无论是基础平台还是应用层面,基本上都有针对国产各种芯片的技术方案,也都有兼容性测试证书。 选择案例多的市场问题不大。

如果选择海光或者鲲鹏芯片,我认为芯片性能并不是一个需要考虑太多的因素,因为在大多数场景下,CPU的性能是有很多富余的。

6、国产CPU更换费用是多少?

【问题描述】国产CPU的性能比国外同规格的CPU要弱,需要更多的国产CPU才能支持同样的业务量。 在这种情况下如何尽可能的降低成本呢?

@吴守长安徽省农村信用联社:

其实在这一点上,我并不认为是国产CPU性能弱的问题,因为无论是x86还是ARM,还是国产还是ADM、Intel,CPU的主频都没有太大的区别。 除了CPU之外,还应该考虑内存、IO存储等一系列部件的性能。 服务器是一个整体。 现在拥有大内存、大缓存、高速交换机和NVME存储磁盘,这将提高整个服务器的性能并降低整体成本。 在许多情况下,瓶颈并不在于服务器本身。 我们要从业务、应用、数据库三个方面找原因。 只有充分了解自己的业务,才能更好地提高系统的并发能力,比如通过负载均衡技术、集群技术等等。

@朱向东中原银行技术支持:

从市场销量来看,基于国产CPU的服务器价格略高。 关于如何降低成本,我个人的看法:

一是在选型设备时尽可能准确地适应应用场景,多做POC测试,现场对多种产品进行压力测试。 性能指标能够满足未来五年业务发展的需要,因为电子设备的使用年限而言,一般情况下,五年后就需要更换。 原则是在不超出规格或减少配置的情况下选择最佳配置,以降低成本。

二是根据自身情况尽量选择大规模采购。 当进货数量达到一定数量时,厂家或代理商会申请相应的折扣。 数量越大,折扣越大。 另外,尽可能多地引入品牌供应商,通过公开招标的方式进行市场竞争,或许可以降低一些成本。

@zzy3620 北部湾银行系统环境管理:

目前同等处理性能的国产CPU价格相对较高。 为了降低成本,就必须提高CPU的性能。 在部署过程中,尽可能将业务高峰部署在一起,通过虚拟化尽可能提高CPU的使用效率。 尽量准确评估业务所需的CPU算力,合理采购。

7、金融行业信创服务器核心系统更换,产品稳定性和故障率怎么样?

@summit某城市商业银行架构管理岗:

根据中国人民银行XC试点单位项目建设要求,主要分为管理类、设备类、通用类、核心类四类。 核心类是指核心系统。 目前基本没有全站更换,都是局部XC改造或者双轨建设。 XC产品替代品主要包括操作系统、数据库、中间件、服务器等。

1)操作系统主要是同心V20和麒麟V10。 目前麒麟已经投入市场比较早,服务器端用的比较多,稳定性也比较好。 同心操作系统主要桌面市场占有率较高,同时也在进军服务器端。 。

2)中间件主要是东方通、金蝶、普源、宝兰德等,主要替代产品是nginx和weblogic,东方通应用比较广泛,只需使用其tonghttpserver和tongweb来替代; 对于某些应用程序对Redis的要求,经过测试,金蝶的AMDC单线程性能比东方通的RDS要高,多线程性能相差无几。 具体选择根据业务系统的需求而定。

3)数据库主要有大盟、仁达金仓、神州通用、南大通用等,目前使用较多的是大盟、仁达金仓。 我们使用仁达金仓,基本可以满足业务系统的要求。 测试指标也可以达到5000并发,tpmC可以达到65万左右。

4)服务器主要为鲲鹏920、Phytium S2500、海光7280等CPU品牌。 目前主流服务器厂商都有相关CPU的服务器。 性能从高到低依次为海光7280(32C)、鲲鹏920(48C)、Phytium S2500(64C)。 目前海光和鲲鹏的稳定性比飞腾要好,并且鲲鹏和飞腾的应用适配可以在这两类CPU服务器上兼容和迁移。 其他龙芯和兆信目前在金融行业使用较少慈云数据自营海外云服务器,高稳定高性价比,支持弹性配置,大多数只在桌面上使用。

8、从技术角度来看,新创在不同应用场景下企业服务器CPU的选型对比如何?

【问题描述】从技术角度来看,在追求稳定可靠的基础上,不同的应用场景对计算资源的要求不同,也对应着不同的技术选型要求: 1)云平台,重点针对虚拟化计算资源方面,需要关注物理CPU对虚拟化技术的支持、物理CPU与虚拟CPU的比例、虚拟CPU的处理能力等指标; 核心性能、CPU超线程或多核能力、IO吞吐量等; 3)软件定义存储,底层存储介质的不同IO能力适应不同的算力需求; 4)其他应用。 想问一下,在以上四类应用场景中,不同CPU应用和技术选择的优缺点?

@actor168 中国联通软件研究院研发工程师:

云平台首选x86/amd64架构,他们在虚拟化方面的积累比ARM多很多,所以海光>鲲鹏;

对于数据处理平台,具体情况具体分析。 在我们的场景中,Kakfa和MongoDB的测试结果分别是intel>鲲鹏>海光;

存储类,在这个场景下,发现ARM优于海光;

商业应用:鲲鹏与海光几乎相同,差别不大。

@kingdonwang 中国人民银行清算中心系统工程师:

云平台提供的能力重点关注通用计算能力,重点关注CPU性能; 业务需求对代码适应性有要求云服务器检修,对硬件设施的整体稳定性也有要求,所以对CPU的主频、核心数、以及程序代码开发的门槛等都有要求。在目前的条件下,首先推荐海光X86,其次是Phytium ARM;

至于数据处理平台,不知道是否是面向AI的。 业务方面应该是人工智能业务领域。 重点是GPU,只要CPU能够很好地调度GPU资源就可以了。 主操作系统与AI平台的兼容性很重要,与云平台相比,性能要求较低,ARM架构是不错的选择;

对于软件定义存储来说,业务的核心是IO性能和容量。 一般来说,CPU的一般计算能力不高,只要SDS软件适配并兼容CPU指令集即可。

@匿名用户:

云平台,兼容性方面,c86稍好一些,不过ARM目前看起来支持没有任何问题,其他的还没有测试过;

对于数据处理平台来说,在并发能力方面,ARM由于其核数较多,并发能力更强;

软件定义存储,鲲鹏自己的存储全部在ARM上,有很多技术积累;

对于其他应用,c86 需要的改动最少,但性能一般。

9、如何更好的发挥芯创CPU的优势?

【问题描述】金融行业当前正在经历广泛的信用创新变革。 一方面是政策要求。 另一方面,不能为了信用创新而依赖信用创新。 相反,我们应该思考如何在实践中更好地利用鲲鹏。 / 海光的优势? 比如多numa、多核,我们在实际使用中怎样才能更好的提高应用程序的性能呢? 海光和鲲鹏在使用时应该注意什么? 有没有一些具体的案例? 希望能与您交流。

@吴守长安徽省农村信用联社:

其实这个侧重点很好理解。 一般金融公司预算充足,海光和鲲鹏可以同时使用多个渠道。 但建议使用一套业务系统,尽量使用技术路线,这样会减少后期运维过程中的工作量。 如果要重点的话,数据库部署可以采用高性能的芯片,比如单核频率高的芯片。 对于多核、频率不一定高的芯片,可以部署资源池进行应用部署。 Only in this way can the advantages of the chip be brought into play.

@Anonymous User:

Most of the single-core capabilities of Xinchuang CPU are not strong, and the number of cores is relatively large. Multi-threading can be used to improve CPU computing power. However, due to the context switching of threads, it is not appropriate to have too many threads.

Binding cores can indeed improve performance, but it also reduces the ability to schedule multi-processes. It needs to be used with caution. Only core processes, such as SDN control processes and other services that are extremely sensitive to delay, are bound to cores.

10. Among the many domestic chips, how do small and medium-sized financial enterprises choose?

[Problem description] Among the many domestic chips, how should our small and medium-sized financial institutions choose, so as not to bury their own future?

@朱向东Zhongyuan Bank technical support:

At present, there are six major domestic CPU manufacturers.

Representative products of Haiguang CPU include Haiguang 1, Haiguang 2, Haiguang 3, Haiguang 4, etc., which are X86 (AMD) instruction set system. Currently, Haiguang 3 is mainly promoted in the market. Haiguang CPU mainly has the latest authorization of X86 and has strong performance. , rich application ecology and other advantages, but the current degree of autonomy is relatively low, the equity structure is complex, and there is no desktop authorization. Therefore, its products mainly cover the server field, but not the desktop field.

The representative products of Loongson CPU include Loongson 1, Loongson 2, Loongson 3, etc., which are the LongISA+MIPS instruction set system. Loongson started the earliest, has many adaptation manufacturers, and has a high degree of autonomy. Conducive to commercial market expansion. The current products cover the desktop and server fields;

Kunpeng CPU representative products mainly include Kunpeng 920, which is a simplified instruction set system of ARMv8. ARM has a broad prospect, an extremely rich product line, the strongest performance, and a high degree of acceptance in the DZ and commercial markets. Products cover server, desktop, embedded, and HW storage and other fields;

Phytium CPU representative products include Tengyun S series, Tengyun D series, and Tenglong E series, which are ARMv8 simplified instruction set systems. ARM has broad prospects, extremely rich product lines, the strongest performance, and a high degree of acceptance in DZ and commercial markets. The product started late, and its performance is relatively weak. At present, the products cover server, desktop, embedded and other fields;

Representative Zhaoxin CPU products include ZX-C, ZX-D, KX-5000, KX-6000, and KH-20000, which are the X86 (VIA) instruction set system and have a wide coverage in Shanghai. The X86 application ecology is rich, but the early X86 Authorization at the kernel level, lack of market development, the current products cover server, desktop, embedded and other fields;

Representative products of Shenwei CPU include SW1600, SW1610, SW26010, which are ALPHA and SW64 instruction set systems. They have a high market share in JF, with low-level applications and supercomputing as the main force, but the development of commercial products is insufficient. Currently, products cover servers, desktops, and domains. 。

For small and medium-sized financial institutions, it is recommended to choose a product with a wide ecological coverage and the best processing performance, combined with the adaptation of its own application system to domestic chips, and choose a product with the best migration and transformation work.


免责声明
1、本网站属于个人的非赢利性网站,转载的文章遵循原作者的版权声明。
2、本网站转载文章仅为传播更多信息之目的,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所
提供信息的准确性及可靠性,但不保证信息的正确性和完整性,且不对因信息的不正确或遗漏导致的任何
损失或损害承担责任。
3、任何透过本网站网页而链接及得到的资讯、产品及服务,本网站概不负责,亦不负任何法律责任。
4、本网站所刊发、转载的文章,其版权均归原作者所有,如其他媒体、网站或个人从本网下载使用,请在
转载有关文章时务必尊重该文章的著作权,保留本网注明的“稿件来源”,并白负版权等法律责任。

手机扫描二维码访问

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
评论列表 (暂无评论,4279人围观)

还没有评论,来说两句吧...

目录[+]