#楼主# 2021-10-28

跳转到指定楼层
本帖最后由 魔王大人 于 2021-10-28 01:03 编辑

CDN经验教程
设备相关
盒子、X86
X86指CPU架构为X86的电脑、服务器、工控机、笔记本……
X86CPU包括AMD、Intel(Intel部分产品使用ARM,非X86架构)
盒子指玩客云、斐讯N1、我家云……CPU为ARM架构的设备(部分NAS的CPU属X86架构)
X86比盒子性能强(过老、低端、迷你型X86除外)可连接多硬盘,可用虚拟机,适合较大上行宽带
盒子性能弱,只能连接少量硬盘,适合较小上行宽带,以玩客云3为例,能吃满20-40M上行
建议:如上行宽带大于100M甚至更多、NAT类型优良、连接数无限制,建议用X86,因每个盒子,至少配一个硬盘,在跑满相同大带宽时,需要硬盘多,成本大,X86较划算
小上行宽带、连接数有限制、NAT类型不佳,建议用盒子或已有的X86,避免投资后无法回本

虚拟机
部分虚拟机可直接运行在主机上,例如ESXI,部分虚拟机必须运行在Windows或Linux操作系统上,例如Hyper-V、VMware Workstation,承载虚拟机软件的操作系统和虚拟机软件会损耗一部分性能,安装在虚拟机里的系统性能只能小于真实主机
建议:
主机跑一个业务,无其他用途,直接安装ISO
主机跑多个业务,或有其他日常用途,装虚拟机
虚拟机建议用无需底层系统的软件,例如ESXI,如必要底层系统,建议用服务器版Linux底层,例如CentOS,稳定性、性能略高于服务器版Windows且远高于个人版Windows
CPU选择
仅建议考虑两种
洋垃圾(老服务器CPU)
优点:便宜,可装多CPU
缺点:功耗大
锐龙(AMD在售锐龙CPU)
优点:功耗小,可以搭配较新内存条和其他硬件
缺点:一个主板只能安装一个CPU
建议:
使用Intel官方在售的家用CPU,性价比极差,不建议,土豪请忽视此条
买二手CPU无需担心寿命问题,CPU正常使用,几乎十几年也不会坏,损坏率极低
核心数、线程数、主频要求,各CDN官网都给出了建议,请前往官方查看
使用超线程技术CPU,频率高对CDN业务有帮助
想一直挂CDN,直到机器报废,不在意电费,或宽带大,收益远超电费,选择洋垃圾
想日常使用的同时开虚拟机挂CDN,或CDN项目灭绝后,或未来不挂CDN后自用,选择锐龙
硬盘选择
CDN对硬盘的需求
CDN是将文件打碎后经索引,放在硬盘里,读取时,并不是读取一个大文件,而是许多散碎文件,考验硬盘随机读取速度(每秒随机读取量)和随机读取IOPS(每秒随机读次数)
机械盘vs固态盘
机械盘
优点:不意外断电、不震动、无强磁……情况下,寿命接近无限。存满不掉速
缺点:随机读速度和随机读IOPS极低。占用CPU极大,如果CPU性能可无成本扩展,或CPU性能远超带宽所对应的官方推荐搭配CPU的性能,请忽略该提示*使用性能极差的固态盘也有可能出现该问题
运行时遇震动、断电等情况,会损坏

固态盘
优点:随机读速度和随机读IOPS较高
缺点:擦写寿命有限,存满易掉速(使用slc颗粒或使用远超标注容量的mlc、tlc、qlc颗粒模拟slc缓存的硬盘除外)
slc、mlc、tlc、qlc是四种不同类型的储存颗粒
速度、寿命、价格排行(从高到低)
slc>mlc>tlc>qlc
*排行仅适用于同代产品,例如intel产品线中,部分新tlc速度要优于老mlc
颗粒体积相同时,容量排行(从大到小)
qlc>tlc>mlc>slc
mlc、tlc、qlc可以通过软件算法让它的速度达到slc,但对主控芯片要求高,且会损失一定的容量,例如用mlc模拟slc速度,硬盘实际容量2t,标注容量1t,牺牲1t空间,可达全容量100%模拟slc,且全程不掉回mlc的速度,损失容量越大,可模拟slc速度的容量越多,一般可以30%-50%容量达到slc就算是不错的硬盘了,主控会将正在写入或常用的数据存储在slc模拟区域,空闲时再将之前写入在slc模拟区域的内容转换为本硬盘颗粒的模式,既保证存储容量大,又能提升写入速度并让常用的数据快速提取。实际容量和标注容量相差小的硬盘,使用全盘模拟slc算法,寿命低,可能会出现达到一定容量后掉速现象
如果颗粒类型、品质、容量相同,主控就成为了硬盘性能的关键

建议:
用性能较低的盒子或X86,配合小上行宽带,可搭配机械盘或固态盘,盒子性能无法处理大量数据,对硬盘读取速度要求小,机械盘的劣势不明显,收益差距小
用性能高的X86,配合大上行宽带,务必用固态盘,因设备本身性能强,可同时处理大量数据,对硬盘随机读取速度要求大,机械盘的劣势较明显,会造成CPU索取数据时等待机械盘读取数据时间过长,占用大量CPU通道而不断开,使CPU负载大幅上升,一个固态盘随机读取IOPS可以达到机械盘十几倍,优秀固态甚至数十倍
如使用多机械盘阵列或存储服务器,则可一定程度上用数量多来弥补机械盘速度的不足,但会消耗大量CPU资源
固态盘颗粒
自有颗粒
能生产存储颗粒的厂家很少,这些厂家使用自己生产的颗粒制造硬盘。例如三星、闪迪、紫光等
第三方颗粒
通过购买上述厂家的颗粒,生产成品贴上自己的品牌名,例如金士顿、七彩虹、铭瑄等

建议:
较好的颗粒,厂家会优先提供给自家品牌使用,其他使用第三方颗粒的贴牌厂,采购的颗粒大多是白片或者黑片,建议优先购买自有颗粒的厂商,颗粒质量一般都高于第三方颗粒,部分特别高价的产品除外,比如海盗船固态使用三星较好的颗粒,就要比西数使用自家颗粒的好一些

原片、白片、黑片
原片:通过质检后,又经过筛选,挑出性能较好的颗粒
白片:通过质检的颗粒
黑片:未通过质检,但勉强能用的颗粒
原片代表厂商:三星、Intel、金士顿、西部数据、大多数英睿达、闪迪、东芝、浦科特、希捷、建兴、部分影驰……
白片代表厂商:阿斯加特、部分英睿达、光威、部分惠普、部分威刚、金百达、金盛维、海康威视、部分台电、铭瑄、ShineDisk(不是闪迪)、宇瞻、部分影驰、部分金士顿
黑片代表厂商:七彩虹、金泰克、金邦、士必得、部分台电、部分联想
以上列举的厂商未必完整,且随着时间推移,厂商产品有退步、进步的可能,仅供参考
固态硬盘接口
PCI-E、NVME、SATA、USB(转接线、硬盘盒)
以上不同接口速度有差距,可自行百度,但对于CDN,并无优劣,USB也足以满足目前最快的硬盘随机读取速度传输,接口并不是最小瓶颈,颗粒速度才是最小瓶颈,只要硬盘随机读取速度不大于USB速率,经过转接后性能无损失(极差的转接线或电脑配置极低,会有少量协议损耗),对CDN业务无影响
更快的接口厂商会搭配较快颗粒,也有例外,如台电NVME随机读取不如三星SATA或经过转接线改装的USB硬盘
单硬盘vs多硬盘
使用很大的单固态或者机械,并不能成倍提升收益,即便缓存量多,命中率高,但是同一时间被命中的缓存较多时,短时间内无法取出,如果接口充足,建议用多硬盘,总容量相等情况下,多硬盘效果一定远高于单硬盘
RAID磁盘阵列(结论经网心云确认)
阵列分为多级,商用使用RAID5,特殊情况下少量使用RAID0或RAID1或RAID0与RAID1组合, CDN需要速度快,以RAID0为例,单文件平均分割多份存入多个磁盘中,读取时多个磁盘同时提供经分割的数据合并成一个文件,硬盘数量翻倍则读写速度翻倍,CDN运行时需要读取很多散碎文件,这些散碎文件随机存放在多个硬盘中,即便没有RAID,读取时多个磁盘也都在提供不同数据,每个磁盘都不会闲置
多个磁盘缓存量、命中率相同时,磁盘阵列对性能没提升
多个磁盘缓存量、命中率其中一个不同时,磁盘阵列对性能有提升,前两者差距越大,阵列后性能提升越大(*但如果没做RAID时,缓存部署一段时间后,足够跑满宽带或多个磁盘负载全部100%,则做RAID后对性能无提升)
建议:RAID只能在极少数场景下略微提升性能,如果缓存很多且其中某些硬盘没有达到100%负载,排除调度问题后依然跑不满宽带,可做RAID,但不一定有提升,即便有提升也很有限。除此之外其他场景RAID均无法提升性能,不建议做,以减少后期维护成本,做RAID0其中一块硬盘出现故障,所有缓存都必须丢弃重新部署
硬盘温度
机械盘比固态盘更耐热,温度升高机械盘不易掉速,但因机械盘随机读取和随机读IOPS极低,即便没有因高温掉速,速度也不会比因高温掉速的固态盘快
固态盘当中的主控芯片会因负载大而发热,反应迟钝,建议首选金属外壳的固态盘或无外壳nvme配合导热片(后者性价比较低)多硬盘堆叠请注意间距,保持风道畅通,塑料外壳固态盘如无保修防拆贴或已过保,建议拆外壳并用经绝缘处理的石墨贴包裹散热,保内有防拆贴的产品不建议拆解,会影响质保
硬盘售后
固态盘存储颗粒擦写达到一定次数,会损坏,一些先进的主控拥有全局磨损平衡算法,写入新数据时,写入到擦写次数少的位置
到达保修期前,可疯狂写入,损坏硬盘达到保修换新目的,有些硬盘在保修条例里加入了写入数量限制,这种需要在写入量快要达到的时候,做一个很小的分区,1M即可,对这个分区疯狂写入,这样不会触碰到写入限制,还可以损坏硬盘去保修,对于全局磨损平衡算法的主控,以上方法不可取,需将硬盘存入99.99……9%的数据,对剩余的0.00……1%的空间疯狂写入,也不会增加多少写入量,写入工具可使用脚本+linux自带的dd命令,win平台可用按键精灵脚本,复制粘贴删除反复(详细操作请百度)不嫌累的可手动写入

机械盘只需在读写时震动,即可损坏
硬盘推荐(部分数据来源于我爱网心云
转播转播 分享淘帖
回复

使用道具

该用户从未签到

9

主题

27

帖子

113

积分

小学生

Rank: 2

积分
113
魔王大人 发表于 2021-10-28 00:42:53
硬盘推荐(部分数据来源于我爱网心云
回复

使用道具 举报

该用户从未签到

9

主题

27

帖子

113

积分

小学生

Rank: 2

积分
113
魔王大人 发表于 2021-10-28 00:43:44
魔王大人 发表于 2021-10-28 00:40
CDN经验教程

设备相关

路由器的配置
upnp
开启后不会强制把内部所有设备“推”到出口,会等内网设备请求把自己“推”到出口,适合具有主动映射功能的设备,各CDN都具备该功能
dmz
强制把内部某台设备“推”给出口,在保证稳定的情况下,一条出口只能“推”1台内网设备,9成硬路由强制限制只能设置1个dmz内网主机
nat1
强制把内部所有设备“推”给出口
"推"可以理解为映射,很多小白不懂映射是什么意思,所以用更为形象的词语代替
以上三者任选其一开启即可,nat1在某些路由内会显示为full cone nat,比如openwrt路由,需在防火墙找到该选项,有些路由系统不支持nat1,或者需要授权或收费,比如高恪就需要刷3000系列CDN专用固件
软路由固件对比
软路由系统分ARM和X86
ARM版运行在MTK(联发科)、高通、海思等芯片上
X86版运行在Intel、AMDCPU上
ARM版局限性大,一般不通用,某个设备只能刷固定的几个系统,或者某个固件只能刷固定某个型号的设备,即便是相同的固件厂商,版本不同功能差异也很大,由于没有太多的实验设备,且篇幅太长,不做讲解,请自行前往“恩山论坛”或“路由网”等平台学习
X86几乎没有局限性,只要该软路由固件支持X86架构,就能刷
例举几个目前使用广泛的X86软路由固件:
爱快、高恪、openwrt
爱快
优点:有在线客服系统(免费版不支持远程调试,仅提供有限的咨询)nat1免费,64位有虚拟机
缺点:dhcp默认没配置,其他部分配置也需自行设置
适宜人群:有点网络知识但又不精通的人群
特别说明:有些人会说爱快CPU消耗量比高恪高很多,高恪默认调整了CPU软、硬中断机制,爱快并没对此强行限制,将该机制的调试权提供给用户自由调试,由于内容过于专业,一两句说不清,也非多数人能听懂,请参考爱快官方文档https://m.ikuai8.com/zhic/ymgn/lyym/xtsz/2020-07-31-07-00-43/CPU.html

高恪
优点:官方根据多数用户习惯调好了多数配置,配置选项时会根据当前配置智能提示可能需要的其他配置,除了支持X86设备以外,还有大量的ARM设备固件
缺点:官网部分页面无法访问,nat1功能需使用专用固件,版本较多较杂乱
适宜人群:稍微有点网络常识的半小白,官方把常用的设置完毕,无需太过操心各种设置

openwrt
优点:源码开放,可根据需求定制功能节约资源、提升性能,功能纯净无强制流氓捆绑功能,插件多,免费,专业技术文档全
缺点:无客服,获取源码后需自行编译,用网上其他人编译的固件可能被植入黑产功能,例如IP共享等,非专业人员很难发现异常,建议自己编译或者找靠谱组织或个人编译固件
适宜人群:网络工程与Linux嵌入式相关专业的从业人员

建议:普通人用高恪,有点网络知识用爱快。专业人员来用openwrt,openwrt对于其他固件有压倒性优势,几乎无短板,其代码被广泛运用在思科、华为、网件……世界网络设备巨头的项目中,足以证明该系统具有其他“小厂杂牌军”固件无可匹敌的优势存在
多拨、多路汇聚
多拨次数受运营商限制,多拨后宽带是否叠加也受运营商限制,单线多拨需光猫改为桥接,可联系运营商报修故障上门处理,或维修师傅远程处理
多拨后实现宽带叠加需配置负载均衡,建议在配置时选择“实时连接数”,虽在人为测速时会出现测不出来叠加速度的情况,但不影响叠加,反而对叠加有利,因测速软件开通连接数很少,可能会被全部负载给某条连接数少的线路,这样只能测出来1条线路的速度,但CDN运行中连接数很多,不会出现所有连接全部在1条线路的情况,选择“实时连接数”会对每条线路当前连接数评估,哪条比较空闲,新产生的连接就分配给哪条
验证是否可叠加宽带时,选择“新建连接数”验证过后改回即可

路由扩展WAN口需要VLAN交换机,扩展LAN口普通交换机即可,普通交换机不需要考虑性能,也可扩展pcie网卡或usb网卡后自行决定该网口是WAN或LAN
网络选择
务必选电信或联通。别选小运营商,如长宽、教育、广电……一般没有自己的出口,会租用电信或联通的出口,并混合使用,会频繁切换运营商,导致缓存反复失效、生效,而且没有公网、全锥,NAT类型极差。移动的有线业务并不是很优秀,部分地区同样需要租用电信、联通的出口,办理移动宽带之前,请先确认当地移动是否有本运营商的公网出口,可借用邻居家的移动宽带测试或咨询移动装维人员
测试公网
百度搜索“IP”,会弹出IP,用此IP对比拨号获取IP,如IP相同,为公网,如不同,为内网,内网类型如何需看运营商的每层nat是如何设置的
公网失效
部分地区运营商的公网IP间隔一段时间就会被撤销,需要重新申请即可
索要公网IP
可尝试向运营商申请开通公网,可能需填写理由,理由不建议写“我要挂CDN”,可能会被拒绝申请公网,建议填写非商用、非公用、非盈利目的的理由
丢包高、延迟高
该问题主要出现在高峰期,会影响收益,出口被占满会导致丢包和延迟提升,但提升有限,只会造成延迟增加100ms以内、丢包保持个位数的百分比,如丢包延迟巨高,请考虑以下两个原因并试图解决
网络设备性能限制
路由器、交换机、光猫、光电转换器等网络设备,都是有转发性能极限的,尝试更换,因网线导致的延迟丢包高可能性极小,除非网线很长,遇到高温导致电阻增大、短路或遇到强磁等,正常人生活环境中很难遇到这样的环境
*普通交换机并无处理能力,不受性能影响
连接数限制
运营商机房性能有限,不同地区不同运营商可能会对宽带连接数限制,宽带合同上只写了限制带宽,没有写限制连接数,询问运营商客(sha)服(bi)大概率也得不到答案,达到一定连接数后无法再增加连接数,即便宽带没跑满,客户机也无法开启新连接,会导致网络拥堵、强制断开重新拨号……导致无法跑满宽带或高峰期频繁掉线的情况,只能等待旧连接传输完毕自动关掉,客户机才能开启新连接

连接数和缓存量、缓存热门度、磁盘性能有关,磁盘性能达到瓶颈会导致缓存排队读取,增加连接数,走老连接的缓存不能在短时间内读取完毕,导致老连接无法及时关闭,占用CPU、路由性能、连接数数量(连接数≠实时流量,但连接数不高,流量一定高不起来)
*路由器里看到的连接数,会超过运营商限制的连接数,因为其中有一部分是内网连接数,外网连接数限制也并非绝对,可能会有20%左右的溢出,获取连接数限制目前只能尝试性询问运营商或自行测试,当连接数达到限制时,会出现严重丢包、延迟飙升、宽带占用不满、频繁掉线等现象
回复

使用道具 举报

该用户从未签到

9

主题

27

帖子

113

积分

小学生

Rank: 2

积分
113
魔王大人 发表于 2021-10-28 00:45:26
魔王大人 发表于 2021-10-28 00:42
硬盘推荐(部分数据来源于我爱网心云

硬盘推荐(部分数据来源于我爱网心云
回复

使用道具 举报

  • TA的每日心情
    可爱
    2024-3-27 15:08
  • 83

    主题

    2281

    帖子

    430

    积分

    版主

    Rank: 7Rank: 7Rank: 7

    积分
    430

    最佳新人活跃会员热心会员

    影x小春 发表于 2021-10-28 11:06:59
    昨天在群里看到了!确实很不错 介绍很详细!
    回复

    使用道具 举报