Neurrate Neural Semantic Narration

---
name: neurrate-neural-semantic-narration
description: NEURRATOR (神经叙述器) - 从单个神经元活动生成自然语言描述的框架，实现单细胞分辨率视觉语义叙述
version: 1.0.0
category: neuroscience
tags: [neural-encoding, single-neuron, natural-language, clip, multimodal, mouse-visual-cortex]
arxiv: 2606.18667
activation_words: [神经元叙述, neurator, 单细胞分辨率, 神经编码, 视觉语义, CLIP嵌入, Neuropixel]
---

# NEURRATOR: Neural Semantic Narration at Single-Cell Resolution

## Core Concept

**从单个神经元活动生成自由形式自然语言叙述** - 开创性框架将神经脉冲活动解码为对观看场景的自然语言描述，实现单神经元分辨率级别的语义表征理解。

## Key Innovation

1. **学习编码器**: 将任意神经元子集的脉冲序列映射到CLIP patch-embedding空间
2. **冻结多模态LLM**: 从CLIP嵌入生成自然语言描述
3. **稀疏自编码器验证**: 无语言端训练，纯视觉驱动
4. **分子定义细胞类型**: 从遗传标记的抑制性细胞类型解码视觉贡献

## Technical Architecture

```python
# 核心架构
class NEURRATOR:
    def __init__(self):
        self.spike_encoder = SpikeToCLIPEncoder()  # 脉冲→CLIP嵌入
        self.multimodal_llm = FrozenCLIPLLM()       # 多模态语言模型
        self.sae_validator = SparseAutoencoder()    # SAE验证
        
    def narrate(self, spike_trains, neuron_subset):
        # 1. 编码脉冲到CLIP空间
        clip_embeddings = self.spike_encoder(spike_trains, neuron_subset)
        
        # 2. LLM生成描述
        description = self.multimodal_llm.generate(clip_embeddings)
        
        # 3. SAE验证语义一致性
        validated = self.sae_validator.validate(description)
        return validated
```

## Experimental Results

- **数据集**: Neuropixel记录的小鼠视觉皮层（自然电影观看）
- **规模**: 从数千神经元到单神经元叙述
- **应用**: 量化解码保真度与群体大小和皮质区域的关系
- **发现**: 分子定义的抑制性细胞类型贡献特定视觉特征

## Biological Insight

**"神经叙述" (Neurration)** - 将细胞身份从分类目标转变为视觉系统的功能性探针，提供神经系统中生物学见解的新单位。

## Methodology Steps

1. **数据准备**: Neuropixel多通道记录 + 自然电影刺激
2. **编码器训练**: 学习脉冲→CLIP嵌入映射
3. **叙述生成**: 多模态LLM生成自然语言描述
4. **SAE验证**: 稀疏自编码器验证语义一致性
5. **细胞类型分析**: 遗传标记细胞的功能贡献量化

## Implementation Notes

- CLIP patch-embedding空间作为视觉语义表示
- 无需语言端训练数据
- 支持任意神经元子集组合
- 适用于分子定义的细胞类型探针

## Applications

- 单神经元功能表征
- 细胞类型特异性解码
- 视觉系统信息流分析
- 神经编码语义理解

## References

- arXiv:2606.18667 (2026-06-17)
- Authors: Arnau Marin-Llobet, Richard Hakim, Sara Matias, Venkatesh N. Murthy, Na Li, Demba Ba
- Primary Category: q-bio.NC (Neural and Cognitive Computing)