news 2026/6/22 21:15:35

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/22 18:02:33

PEFT框架深度解析:自定义扩展开发的高级实战指南

PEFT框架深度解析:自定义扩展开发的高级实战指南 【免费下载链接】peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft 在大型语言模型快速发展的今天,参数高效微调…

作者头像 李华
网站建设 2026/6/22 14:19:07

Inter字体:重塑数字时代的屏幕阅读体验

Inter字体:重塑数字时代的屏幕阅读体验 【免费下载链接】inter The Inter font family 项目地址: https://gitcode.com/gh_mirrors/in/inter Inter字体作为21世纪数字排版的革命性突破,正在重新定义屏幕阅读的视觉标准。这款专为数字环境深度优化…

作者头像 李华
网站建设 2026/6/22 18:06:30

仅限高级工程师知晓:VSCode中Azure QDK模板的隐藏用法(限时公开)

第一章:VSCode Azure QDK 项目模板的核心价值VSCode 结合 Azure Quantum Development Kit(QDK)提供的项目模板,为量子计算开发者构建了高效、标准化的开发起点。这些模板不仅预置了量子程序的基本结构,还集成了编译、仿…

作者头像 李华
网站建设 2026/6/22 19:03:14

Jellyfin Bangumi插件终极指南:打造完美中文番剧库

还在为Jellyfin中的动漫资源信息不全而头疼吗?想要像专业视频网站一样拥有精美的番剧封面和完整的中文元数据吗?Jellyfin Bangumi插件正是您需要的解决方案!这款专为中文用户设计的插件,能够自动从Bangumi番组计划同步高质量的中文…

作者头像 李华
网站建设 2026/6/22 18:41:53

19、Linux 系统管理命令与实用工具全解析

Linux 系统管理命令与实用工具全解析 在 Linux 系统中,掌握各类管理命令和实用工具对于系统的高效运行和维护至关重要。下面将详细介绍一系列常用的命令和工具及其使用方法。 定时执行命令 watch -n 60 my_command 命令可以让 my_command 每隔 60 秒执行一次,默认间隔为…

作者头像 李华
网站建设 2026/6/22 17:48:18

如何在Windows/Mac/Linux上完美安装VSCode与Qiskit依赖?一文讲透!

第一章:VSCode与Qiskit环境搭建前的准备 在开始使用 VSCode 进行 Qiskit 量子计算开发之前,必须确保系统具备必要的软件依赖和开发工具链。合理的环境准备不仅能提升后续开发效率,还能避免因依赖冲突导致的运行时错误。 系统要求确认 操作系…

作者头像 李华