本期我们带来是part 3部分，我们的主题是deep sik本地化部署全攻略。在本期的视频里面，我们会主要给大家讲述以下五个部分，为什么需要本地化部署，部署前的关键准备，核心安装的流程，可视化界面的搭建以及典型问题的处理。首先一下我们来聊聊为什么需要本地化的部署，这个就涉及到一个数据主权和隐私保护的问题。因为很多单位涉及到敏感数据不上云的合规的要求。在许多行业和地区，对于敏感数据的处理都有严格的合规要求，如金融、医疗等领域，将敏感的数据存储在本地，不上传云端，可确保企业完全掌控数据的主权，避免因数据跨境传输的问题导致的一些不合规的情况，让云端部署也存在一些潜在的泄露风险。
 
云端服务虽然便捷，但存在数据泄露的潜在风险。例如云端服务器可能遭受黑客的攻击，导致用户的敏感信息被窃取。而deep sik本地化部署可将敏感的信息保留在本地，避免有此类的风险。除此之外，本地部署对隐私保护的优势就是DFC。本地化部署了以后，数据上传至云端，所有的处理和计算都在本地完成，使得用户的隐私得到很好的保护，不担心数据传输和存储过程的泄露。
 
我们再聊一聊有哪些场景会涉及到离线环境。首先就涉及到一个无网络实验室的需求。在很多保密的实验室里面，科研人员需要进行数据的处理和分析的工作。Deep本地的部署可以为科研人员提供AI的能力，满足实验室对数据处理和数据推理的需求。其次就是我们的保密单位的特殊要求，我们的保密单位对数据的安全和隐私要求的提高，不允许数据上传至云端。Deep sik本地化部署在保密单位离线环境中为其提供可靠的AI服务和文件分析、信息检索等功能。最后就是其他场景，除了是我们的实验室和保密单位以外，还涉及到一些偏远地区，网络信号不稳定，也需要离线可用的AI工具。而desk的本地化部署能够在这些场景下为用户提供相应的AI支持。
 
接下来就是涉及到我们的一个硬件配置。首先我们涉及到一个我们的显卡的问题，我们这里就以RTX3060和RTX4090为例。RTX3060是较为常见的显卡，性能能满足一般AI的需求。而RTX4090性能更强，在处理复杂的AI任务时，能提供更快、更精准的更或者说更高效的服务。值得一提的是，现在在国内已经买不到RTX4090的显卡，现在都是RTX4090D这个显卡。这个显卡是4090的阉割版，他同样能完成4090的相应的任务。
 
除此之外就是关于我们硬件的内存的需求，运行deep set它最低的内存要求是八个G我们一般情况下都是建议在16个G以上。但涉及到一些较大的模型，如70B或者671B等情况，对内存的要求会更高。一般情况下我们都建议配置在64G或者128G的内存。
 
接下来就是我们的磁盘空间，在dip下载模型的时候，一般的磁盘空间要求就是最少至少在20个G以上。但根据模型的不同的大小不同，可能选择不同的存放空间。比如说我们的deep CR一满血版大致就在四百多个G，当然我们的23B或者70B这个时候也要要预留个大概30个G左右的一个硬盘。
 
好，接下来是我们的系统兼容性的一个验证。TPCL如果在windows版本上安装，那要求就在V10以上的版本上才能运行。如果在linux系统上，那就是U8220.40及以上版本才可以良好的运行。所以说大家要除了对操作系统要有所选择，对操作系统的版本也要进行一个相应的选择。
 
剩下就是我们的奥拉马的链接工具的一个要求。我们这里给大家推荐的是alana的deep seek的安装工具，它其实就是到alama的官网对deep sit进行一个安装。如果你是windows的操作系统，还要对环境变量进行一个配色。主要就是它的一个pass的一个环境变量，还有auto pass的环境变量。稍等我马上为大家进行一个演示。在这里我也给大家演示一下。
 
首先我们进入我们的操作系统，然后选择环境变量。这里选择我们pass的环境变量，在这里对奥拉马的路径进行一个配置。奥拉马命令的路径。接下来就是我们的这个allama models路径的一个配置。在这两个都已经配置好的情况下，我们直接点击确定它就可以生效。但有的时候会涉及到一个操作系统这种配置的延后性，所以说一般情况下建议是最好重启一下这个操作系统，它生效的会更及时。
 
接下来我们再向大家演示一下，如何验证这个奥拉法是否安装成功，还有这个deep c是否下载成功。在这里我也给大家做一个演示，首先我们可以对奥拉玛的版本进行一个子检测，这里就已经提示出奥拉玛的版本。接下来我们可以验证一下，这个就是我们是否安装了模型。以这里为例，我按的是R1342B这个模型。好，在这里我再运行一下这个模型，就是通过阿拉马转后面跟deep seek模型的具体名称。好，当我们执行成功以后，就代表着我们的模型已经安装成功。
 
再接下来我们就涉及到我们的模型仓库选择的一个策略的问题。首先根据我们模型大小的不同，其实它的性能差异是比较明显的。如7B这个模型相对就是轻量级的模型，对硬件要求就较低，但它的推理速度就较快，但在复杂任务上的表现就不如大模型。我们的14B70B14B就属于是中型的模型，相对来说它是比较适中的一种情况。在我们的70B及以上的模型，也它就是一个比较大型的一个模型，对硬件的配置相对来说要求就特别高。但他推理的速度就相对来说就比较慢，但是他能对模型做出更加复杂的推理。
 
在这里我还是跟大家演示一下我们这个获取模型的一个方式。首先打开我们的chat box，然后点击设置，选择奥拉马，输入主机的IP地址及端口号。我这里先重置一下，然后点击或者取模型。好，这个时候我们再添加模型。好，这样我们的模型就已经添加成功。我们可以新起一个绘画，选择到我们刚刚获取的deep sik r1342B这个模型。好，这个是我们的模型就已经本地化部署成功。
 
有的时候我们会出现一个服务端，它的模型老师我已经部署了，运行也是OK的，老是获取不成功。那往往就是涉及到端口被禁被占用。所以说这个时候我们可以使用我们相应的端口的工具来进行一个检测。这个命令就是let's state杠ANO这个命令来查看端口的使用情况。在我们良好加载完了以后，这样我们的模型就已经部署成功。