JetBrains中的Rsync怎么用
基本介绍
由于我不想在本地搭建各种开发环境，与是开发任务的代码均上传服务器运行。但是经常遇到问题是SFTP上传速度太慢，如果项目文件过多的话，上传会很浪费时间。与是JetBrains提供了Rsync上传方案。下面介绍一个怎样使用。
- JetBrains-创建远程服务器配置
- JetBrains-rsync介绍
- Rsync官网
核心区别
| 特性 | rsync | SFTP (SSH File Transfer Protocol) |
|---|---|---|
| 协议 | 基于 SSH 或自定义协议 | 基于 SSH（安全文件传输协议） |
| 主要用途 | 增量同步（仅传输差异部分） | 文件上传/下载（完整传输） |
| 传输效率 | 极高（只传变化的字节） | 较低（每次全量传输） |
| 是否支持断点续传 | 支持（--partial） |
部分客户端支持（如 lftp） |
| 命令行友好度 | 适合脚本自动化 | 需交互式操作（但有 CLI 工具） |
| 权限保留 | 可保留权限、时间戳（-a） |
默认不保留，需手动设置 |
| 适用场景 | 大文件增量备份、镜像同步 | 单文件上传、简单文件管理 |
Ktransformers Doc
基本信息
转载自：Ktransformers
防止丢失、学习记录备忘。
Ktransformers
🎉 Introduction
KTransformers, pronounced as Quick Transformers, is designed to enhance your 🤗 Transformers experience with advanced kernel optimizations and placement/parallelism strategies.
KTransformers is a flexible, Python-centric framework designed with extensibility at its core. By implementing and injecting an optimized module with a single line of code, users gain access to a Transformers-compatible interface, RESTful APIs compliant with OpenAI and Ollama, and even a simplified ChatGPT-like web UI.
Our vision for KTransformers is to serve as a flexible platform for experimenting with innovative LLM inference optimizations. Please let us know if you need any other features.
MinerU文档
基本信息
GitHub：MinerU
Gitee：MinerU【网络原因，个人迁移备份】
转载自：MinerU
防止丢失、学习记录备忘。
项目介绍
MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中，我们将会集中精力解决科技文献中的符号转化问题，希望在大模型时代为科技发展做出贡献。 相比国内外知名商用产品MinerU还很年轻，如果遇到问题或者结果不及预期请到issue提交问题，同时附上相关PDF。
主要功能
- 删除页眉、页脚、脚注、页码等元素，确保语义连贯
- 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
- 保留原文档的结构，包括标题、段落、列表等
- 提取图像、图片描述、表格、表格标题及脚注
- 自动识别并转换文档中的公式为LaTeX格式
- 自动识别并转换文档中的表格为LaTeX或HTML格式
- 自动检测扫描版PDF和乱码PDF，并启用OCR功能
- OCR支持84种语言的检测与识别
- 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
- 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
- 支持CPU和GPU环境
- 兼容Windows、Linux和Mac平台
LLama-Factory高级选项
基本信息
GitHub：LLaMA-Factory
Gitee：LLaMA-Factory【网络原因，个人迁移备份】
转载自：LLaMA-Factory
防止丢失、学习记录备忘。
加速
LLaMA-Factory 支持多种加速技术，包括：FlashAttention 、 Unsloth 、 Liger Kernel 。
FlashAttention
FlashAttention 能够加快注意力机制的运算速度，同时减少对内存的使用。
如果您想使用 FlashAttention,请在启动训练时在训练配置文件中添加以下参数：
1 | flash_attn: fa2 |
Unsloth
Unsloth 框架支持 Llama, Mistral, Phi-3, Gemma, Yi, DeepSeek, Qwen等大语言模型并且支持 4-bit 和 16-bit 的 QLoRA/LoRA 微调，该框架在提高运算速度的同时还减少了显存占用。
LLama-Factory基本使用
基本信息
GitHub：LLaMA-Factory
Gitee：LLaMA-Factory【网络原因，个人迁移备份】
转载自：LLaMA-Factory
防止丢失、学习记录备忘。
安装
Linux
CUDA 安装
CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。
首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA
- 保证当前 Linux 版本支持CUDA. 在命令行中输入
uname-m&&cat/etc/*release，应当看到类似的输出
1 | x86_64 |
LLama-Factory的dataReadme描述
基本信息
GitHub：LLaMA-Factory
Gitee：LLaMA-Factory【网络原因，个人迁移备份】
防止丢失、学习记录备忘。
dataset_info.json 包含了所有可用的数据集。如果您希望使用自定义数据集，请务必在 dataset_info.json 文件中添加数据集描述，并通过修改 dataset: 数据集名称 配置来使用数据集。
目前支持 alpaca 格式和 sharegpt 格式的数据集。
Mac arch切换x86_64
主要用于在配备Apple Silicon（如M1或M2芯片）的Mac电脑上切换运行环境，以便安装和使用特定版本
确认当前模式
打开mac终端
此步骤是为了确认当前终端会话是在原生的Apple Silicon架构（即ARM架构）上运行。新出的Mac设备默认采用这种架构。
- 输入
1 | arch |
- 返回结果
1 | arm64 |
切换x86_64
这一步是进入一个模拟x86_64架构（传统Intel架构）的shell环境。这样做是因为某些软件或开发工具可能还没有完全支持Apple Silicon，通过这个命令可以在新的硬件上运行这些旧版软件。
- 输入
1 | arch -x86_64 zsh |
- 再确认是否切换完成
- 再次执行命令arch
1 | arch |
确定现在的返回结果是i386：实际上，这里的预期输出应该是x86_64而非i386，因为-x86_64参数启动的是针对64位Intel架构的兼容模式。
- 返回结果
1 | i386 |
至此切换结束。
DoH和DoT选择
DNS-over-TLS (DoT)
是一种通过TLS（传输层安全）协议加密DNS查询和响应的技术。它旨在提供更高的隐私性和安全性，防止DNS数据在客户端和递归解析器之间的传输过程中被窃听或篡改。使用DoT时，DNS查询通常通过端口853发送，这个端口是专门为DoT服务预留的。
DNS-over-HTTPS (DoH)
也是用来加密DNS查询和响应的一种技术，但它使用的是HTTPS协议来封装DNS请求。这使得DNS查询看起来就像普通的HTTPS流量一样，可以与其它网页流量混在一起，增加了拦截和审查的难度。DoH的通信一般通过标准的HTTPS端口443进行。
两者的区别主要在于：
- 协议基础：DoT基于TLS直接加密DNS流量，而DoH则将DNS查询封装在HTTPS请求中。
- 端口使用：DoT通常使用专门的端口853，而DoH使用的是HTTPS常用的端口443。
- 网络管理影响：由于DoH流量难以与其他HTTPS流量区分开来，这对企业或组织的网络管理提出了挑战，因为传统的基于端口的过滤规则不再有效。而DoT由于使用了专用端口，更易于管理和控制。
- 部署和兼容性：DoT可能更容易集成到现有的DNS基础设施中，因为它只是为DNS添加了一个安全层。DoH可能需要对应用程序进行更多的更改，以支持通过HTTPS发送DNS查询。
- 两者的目的都是为了提高DNS的安全性和隐私保护，但它们实现的方法不同，并且各有优缺点，在不同的场景下可能会选择不同的方案。