Back to skills
SKILL.md
Neuralset Neuro Ai Framework
ASecurityNeuralSet unified Python framework for Neuro-AI research, harmonizing diverse neural recordings (fMRI, M/EEG, spikes) with deep learning embeddings
- 3 stars
- 0 votes
- 0 copies
- 7 views
- Added September 11, 2026
Works with
Security analysis
96/100- Installs packages at runtime which could introduce malicious dependencies
npx -y skills add hiyenwong/ai_collection --skill neuralset-neuro-ai-framework --agent claude-codeAre you the author of Neuralset Neuro Ai Framework?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/hiyenwong-neuralset-neuro-ai-framework)---
name: neuralset-neuro-ai-framework
description: NeuralSet unified Python framework for Neuro-AI research, harmonizing diverse neural recordings (fMRI, M/EEG, spikes) with deep learning embeddings
category: neuroscience
authors: ["Jean-Rémi King", "Corentin Bel", "Linnea Evanson", "Julien Gadonneix", "Sophia Houhamdi", "Jarod Lévy", "Josephine Raugel", "Andrea Santos Revilla", "Mingfang Zhang", "Julie Bonnaire", "Charlotte Caucheteux", "Alexandre Défossez", "Théo Desbordes", "Pablo Diego-Simón", "Shubh Khanna", "Juliette Millet", "Pierre Orhan", "Saarang Panchavati", "Antoine Ratouchniak", "Alexis Thual", "Teon L. Brooks", "Katelyn Begany", "Yohann Benchetrit", "Marlène Careil", "Hubert Banville", "Stéphane d'Ascoli", "Simon Dahan", "Jérémy Rapin"]
arxiv_id: "2605.03169"
submission_date: "2026-05-04"
doi: "https://doi.org/10.48550/arXiv.2605.03169"
github: "https://github.com/neuralsign/neuralset"
tags: ["neuro-ai", "python framework", "data harmonization", "fMRI", "EEG", "MEG", "spike recordings", "deep learning embeddings", "lazy loading", "memory-efficient", "scalable infrastructure"]
activation_keywords: ["neuro-ai", "neural data preprocessing", "fMRI EEG MEG harmonization", "deep learning embeddings for neuroscience", "lazy loading", "memory-efficient neural data", "PyTorch-ready neural data", "neural dataset scaling", "computational provenance"]
---
# NeuralSet: A High-Performing Python Package for Neuro-AI
## 概述
NeuralSet是统一的Python框架,高效处理多样化神经记录(fMRI, M/EEG, spikes)和复杂实验刺激(文本、音频、视频),将神经预处理管道与预训练深度学习嵌入无缝集成。
## 核心创新
### 1. 模态无关的数据统一
**问题**:当前神经科学软件工具分散,按记录模态隔离,无法跨模态整合。
**解决方案**:
- 单一接口统一处理fMRI、EEG、MEG、spike recordings
- 标准化数据提取管道,消除模态差异
- 支持复杂实验刺激(文本、音频、视频)的嵌入生成
**数据流架构**:
```
原始数据 → 模态适配器 → 标准化提取 → 深度嵌入 → PyTorch张量
[fMRI, EEG, MEG, spikes] + [text, audio, video] → unified interface
```
### 2. 惰性加载与内存效率
**机制**:
- 解耦实验元数据与惰性数据提取
- 仅加载当前所需数据片段,避免全数据集内存占用
- 支持大规模自然数据集处理(GB级→TB级)
**实现策略**:
```python
# 惰性加载伪代码
class NeuralDataset:
def __init__(self, metadata_path):
self.metadata = load_metadata(metadata_path) # 小型元数据
self.data_paths = parse_data_paths(metadata)
self.lazy_loader = LazyLoader() # 惰性加载器
def get_sample(self, index):
# 仅加载单个样本,不预加载全数据集
return self.lazy_loader.load(self.data_paths[index])
def __iter__(self):
# 流式迭代,内存占用恒定
for i in range(len(self)):
yield self.get_sample(i)
```
**内存优化**:
- 元数据(KB级)与实际数据(GB级)分离
- 按需加载,峰值内存降至样本级别
- 支持无限大小数据集迭代
### 3. PyTorch-ready接口
**标准化输出**:
- 直接输出PyTorch张量,无需手动转换
- 标准化维度:`[samples, channels, time]` 或 `[samples, features]`
- 集成PyTorch DataLoader
**接口示例**:
```python
from neuralset import NeuralDataset
from torch.utils.data import DataLoader
# 模态无关加载
fmri_set = NeuralDataset("path/to/fmri/", modality="fMRI")
eeg_set = NeuralDataset("path/to/eeg/", modality="EEG")
spike_set = NeuralDataset("path/to/spikes/", modality="spikes")
# PyTorch DataLoader集成
loader = DataLoader(fmri_set, batch_size=32, shuffle=True)
for batch in loader:
# batch已是PyTorch张量
model(batch)
```
### 4. 深度学习嵌入集成
**预训练模型集成**:
- 文本:BERT、GPT、LLaMA嵌入
- 音频:wav2vec、HuBERT嵌入
- 视频:CLIP、ViT嵌入
- 神经数据:预训练神经编码模型
**嵌入生成流程**:
```
刺激 → 预训练模型 → 嵌入向量 → 对齐神经数据
文本 → BERT → 768维向量 → 对应fMRI时间点
音频 → wav2vec → 512维向量 → 对应EEG窗口
视频 → CLIP → 512维向量 → 对应spike序列
```
### 5. 计算可追溯性
**全管道追踪**:
- 记录每个数据样本的处理路径
- 版本控制预处理步骤
- 重现性保证:相同元数据→相同输出
**追溯机制**:
- 元数据包含处理版本、参数、时间戳
- 数据指纹(hash)确保一致性
- 自动记录数据变换历史
## 方法论框架
### 架构层次
1. **元数据层**(Metadata Layer)
- 实验设计信息
- 数据路径映射
- 处理参数配置
2. **数据适配器层**(Adapter Layer)
- fMRI适配器:NIfTI→标准张量
- EEG/MEG适配器:Raw/BDF→标准张量
- Spike适配器:MEA→标准张量
3. **嵌入层**(Embedding Layer)
- 文本嵌入器
- 音频嵌入器
- 视频嵌入器
4. **接口层**(Interface Layer)
- PyTorch Dataset接口
- DataLoader集成
- 分布式训练支持
### 关键组件
| 组件 | 功能 | 实现 |
|------|------|------|
| MetadataParser | 解析实验元数据 | JSON/YAML |
| LazyLoader | 惰性数据加载 | h5py/npy lazy |
| ModalityAdapter | 模态标准化 | 适配器模式 |
| EmbeddingGenerator | 生成深度嵌入 | 预训练模型 |
| ProvenanceTracker | 追溯处理历史 | 日志+hash |
### 数据标准化
**统一维度规范**:
- fMRI:`[samples, voxels, time]`
- EEG/MEG:`[samples, channels, time]`
- Spikes:`[samples, neurons, time_bins]`
- 刺激嵌入:`[samples, embedding_dim]`
**时间对齐**:
- 神经数据与刺激时间戳精确对齐
- 自动处理采样率差异
- 支持动态时间窗口
## 应用场景
### 1. 跨模态神经-AI研究
- **多模态融合**:同时分析fMRI+EEG+行为数据
- **刺激-神经对应**:文本/音频/视频刺激→神经响应建模
- **大规模研究**:TB级数据集处理(自然观看实验)
### 2. 预训练神经编码模型
- 利用NeuralSet统一接口训练多模态编码器
- 跨数据集迁移学习
- 标准化基准测试
### 3. 计算神经科学管道
- 替代分散工具(MNE, Nilearn, SpikeInterface)
- 单一框架完成预处理+分析
- 降低入门门槛
### 4. 实验重现
- 完整计算追溯
- 版本化处理步骤
- 一键重现他人研究
## 技术实现要点
### 安装与使用
```bash
pip install neuralset
```
```python
from neuralset import NeuralDataset
# 加载fMRI数据(自然观看实验)
fmri_set = NeuralDataset(
"data/movie_fmri/",
modality="fMRI",
stimulus_type="video",
embedding_model="CLIP" # 自动生成视频嵌入
)
# 加载EEG数据(语言任务)
eeg_set = NeuralDataset(
"data/speech_eeg/",
modality="EEG",
stimulus_type="audio",
embedding_model="wav2vec"
)
# 惰性迭代(内存高效)
for neural, stimulus in fmri_set:
# neural: fMRI张量 [voxels, time]
# stimulus: CLIP嵌入 [embedding_dim]
correlation = compute_correlation(neural, stimulus)
```
### 分布式训练支持
```python
# 高性能集群执行
from neuralset import DistributedDataset
dist_set = DistributedDataset(
"cluster://hpc/neural_data/",
modality="fMRI",
backend="ray" # 或 "dask", "slurm"
)
# 分布式DataLoader
dist_loader = DistributedLoader(dist_set, batch_size=128)
```
### 扩展新模态
```python
from neuralset import register_adapter
# 注册自定义模态适配器
@register_adapter("new_modality")
class NewModalityAdapter:
def load(self, path):
# 自定义加载逻辑
return standardized_tensor
```
## 性能优势
| 特性 | 传统工具 | NeuralSet |
|------|----------|-----------|
| 模态支持 | 单模态 | **多模态统一** |
| 内存效率 | 全数据加载 | **惰性加载** |
| 数据集规模 | GB级限制 | **TB级支持** |
| DL集成 | 手动转换 | **PyTorch-ready** |
| 计算追溯 | 手动记录 | **自动追踪** |
| 重现性 | 低 | **高** |
## 与现有工具对比
| 工具 | 模态 | 惰性加载 | DL集成 | 追溯性 |
|------|------|----------|--------|--------|
| MNE | EEG/MEG | 部分 | ✗ | 低 |
| Nilearn | fMRI | 部分 | ✗ | 低 |
| SpikeInterface | Spikes | ✗ | ✗ | 低 |
| h5py | 通用 | ✓ | ✗ | 低 |
| **NeuralSet** | **全模态** | **✓** | **✓** | **高** |
## 局限与未来方向
### 当前局限
1. 预训练嵌入模型依赖外部库
2. 复杂预处理(如EEG滤波)需配置
3. 大规模集群需特定后端
### 未来扩展
1. 更多预训练嵌入模型集成
2. 端到端预处理管道(滤波、artifact removal)
3. 实时数据处理支持
4. Web界面可视化
## 学术影响
- **降低入门门槛**:单一框架替代多工具学习
- **加速研究**:数据加载时间从小时→分钟
- **提升重现性**:计算追溯消除"不可重现"问题
- **促进跨领域合作**:统一接口便于数据共享
## 关键术语
- **NeuralSet**:神经科学-AI统一Python框架
- **惰性加载**:Lazy loading,按需加载避免内存溢出
- **计算追溯**:Computational provenance,记录处理历史
- **模态适配器**:Modality adapter,标准化不同记录格式
- **深度嵌入**:Deep embedding,预训练模型的特征向量
- **PyTorch-ready**:直接输出PyTorch张量格式
---
**Activation**: 当讨论神经科学数据处理、多模态神经数据、深度学习与神经科学融合、大规模神经数据集、预处理管道、数据标准化、计算重现性时激活此技能。
**Related Skills**:
- `mle-toolbox-eeg-meg` (EEG/MEG分析)
- `neuroset-neuro-ai-framework` (相关)
- `brain-dit-fmri-foundation-model` (fMRI基础模型)Attribution
Related skills
View all in tools →Comments
Loading comments…
Newsletter
Get the weekly list of safe new skills, and the ones we pulled.